Geçen hafta, üç test sitesinde sorunsuz çalışan gayet düzgün bir Python betiğini tam 40 dakika boyunca debug ettim — ta ki dördüncü sitenin Cloudflare arkasında olduğunu anlayana kadar. Scraper sürekli "Checking your browser…" sayfasında dönüp duruyor, karşılığında da sadece challenge HTML dönüyordu. Tanıdık geldi mi?
Bu duvara tosladıysan yalnız değilsin. Artık 24 milyondan fazla aktif web sitesi Cloudflare kullanıyor; bu da internetteki tüm web sitelerinin yaklaşık %22’sine denk geliyor. Yani ister lead oluşturma, ister fiyat takibi, ister emlak araştırması, ister rekabet analizi yapıyor ol, Cloudflare web verisi toplamaya çalışan herkes için en yaygın engellerden biri hâline gelmiş durumda.
Sorun şu ki, çoğu rehber bütün aşma yöntemlerini düz bir liste halinde sıralıyor ama senin durumunda hangisinden başlaman gerektiğini söylemiyor. Bu rehber ise farklı bir yol izliyor: sıralı bir karar ağacı, açık açık verilmiş güvenilirlik tahminleri ve çoğu yazının tamamen es geçtiği kodsuz bir seçenek.
- Zorluk seviyesi: Başlangıçtan orta seviyeye kadar (kullandığın yönteme bağlı)
- Gerekli süre: Kodsuz yöntem için yaklaşık 10–30 dakika; kod tabanlı yöntemlerde değişir
- Gerekenler: Chrome tarayıcısı (kodsuz yol için), isteğe bağlı olarak Python 3.9+ (kod yöntemleri için) ve hedef URL
Cloudflare Koruması Nedir? (ve Neden Scraper’ını Engeller?)
Cloudflare, ziyaretçi ile sitenin orijinal sunucusu arasına giren bir reverse proxy’dir. Her istek önce Cloudflare’ın edge katmanına gider; orada da Cloudflare sayfayı mı sunacağına, ziyaretçiye doğrulama mı göstereceğine yoksa doğrudan engelleyeceğine karar verir. Burada kritik nokta şu: Cloudflare’ın scraper’ının kötü niyetli olduğunu bilmesi gerekmez. İsteği sadece yeterince otomatik ya da şüpheli olarak sınıflandırması yeterlidir.
Cloudflare’ın Bot Management sistemi tek bir kilit gibi değil, katmanlı bir güvenlik kontrol noktası gibi çalışır. IP itibarını, HTTP başlıklarını, TLS parmak izlerini, JavaScript çalıştırmayı, tarayıcı parmak izini ve davranış kalıplarını inceler. Python requests kütüphanesi Cloudflare korumalı bir sayfaya GET isteği gönderdiğinde, aynı anda birkaç katmanda tökezler: yanlış TLS el sıkışması, JavaScript çalıştırma yok, çerez yok, tarayıcı parmak izi yok. Basit header taklidi yöntemlerinin yıllar önce neden işe yaramaz hâle geldiği de tam olarak bu.
En sık göreceğin belirtiler şunlardır: 403 Forbidden, 503 ile birlikte "Checking your browser…", 1020 Access Denied, sonsuz challenge döngüleri, hiç çözülmeyen Turnstile bileşenleri ve JSON beklerken karşına çıkan HTML challenge sayfaları.
Pasif Tespit: Cloudflare Sayfa Açılmadan Önce Neleri Kontrol Eder?
Sayfayı görmeden önce bile Cloudflare’ın pasif katmanı isteğine bir puan verir:
- IP itibarı: Veri merkezi IP’leri, bulut ortamı aralıkları ve bilinen proxy çıkışları işaretlenir. Residential ve mobil operatör IP’leri çok daha güvenilir kabul edilir. 2026’daki topluluk raporları, yerel residential taramaların sorunsuz geçtiğini; Docker ya da VPS ortamlarının ise engellendiğini tutarlı biçimde anlatıyor.
- HTTP başlık analizi: Cloudflare, User-Agent, Accept-Language, başlık sırası ve HTTP sürümünü karşılaştırır. Chrome 136 gibi davranıp TLS el sıkışmasında “Python” kokusu veriyorsan, bu seni ele verir.
- TLS parmak izi alma (JA3/JA4): TLS el sıkışması sırasında istemcin, desteklediği şifre takımları, eklentiler ve protokol tercihleri gibi bir desen bırakır. JA3/JA4 bunu tek bir kimliğe indirger. Gerçek Chrome ile Python
requestsbetiği çok farklı “izler” bırakır. - HTTP/2 parmak izi alma: Tarayıcılar ve HTTP kütüphaneleri, HTTP/2 SETTINGS çerçevelerinde, pseudo-header sıralamasında ve öncelik davranışında farklılık gösterir. Cloudflare’ın JA4 Signals çalışması, tek bir isteğin kimliğinin ötesine geçer ve istekler arası kalıpları zaman içinde takip eder.
- AI Labyrinth: Bu, Cloudflare’ın daha yeni tuzağıdır. Şüpheli crawler’ları doğrudan engellemek yerine onları AI tarafından üretilmiş yem sayfalara yönlendirir; bu sayfalar gerçekçi görünür ama crawler kaynaklarını boşa harcar. Scraper’ının yakalandığını bile fark etmeyebilir.
Aktif Tespit: Tarayıcında Çalışan Challenge’lar
Pasif kontroller net sonuç vermezse, Cloudflare aktif challenge’lara geçer:
- JavaScript challenge’ları: O klasik "Checking your browser…" ara sayfası. Cloudflare’ın JavaScript Detections sistemi, otomatik istekleri yakalamak için görünmez script’ler çalıştırır.
- Turnstile: Cloudflare’ın CAPTCHA alternatifi. Turnstile widget modları arasında Managed, Non-Interactive ve Invisible seçenekleri bulunur. Gözle görünür bir bulmaca göstermeden fare hareketlerini, tarayıcı ortamını, TLS parmak izini ve daha fazlasını analiz eder.
- Canvas ve WebGL parmak izi alma: Bu kontroller, gerçek tarayıcıdan farklı render yapan headless tarayıcıları ele verir.
- Davranışsal sinyaller: İstek zamanlaması, kaydırma kalıpları, tıklama dizileri. 3 saniyede 50 sayfa çekip hiç mouse hareketi göstermeyen bir scraper, insana hiç benzemez.
Pratik sonuç şu: Cloudflare aktif bir challenge’a geçtiyse, requests, httpx ve hatta curl_cffi gibi düz HTTP istemcileri geçemez. Gerçek bir tarayıcı ortamı çalıştıran bir şeye ihtiyacın var.
Cloudflare Koruma Seviyeleri: Aynı Betik Neden Bir Sitede Çalışıp Başka Birinde Çalışmaz?
Çoğu aşma rehberinin tamamen atladığı nokta burası. Cloudflare koruması her sitede aynı değildir. Free plan üzerindeki, "Security Level: Medium" ayarlı bir site ile Enterprise planında, Bot Management ve Turnstile açık bir site arasında dağlar kadar fark vardır. Birinde sorunsuz çalışan betik, diğerinde doğrudan duvara çarpar.
| Cloudflare Seviyesi | Tipik Savunmalar | Aşma Zorluğu | Genelde Ne İşe Yarar |
|---|---|---|---|
| Free plan (düşük güvenlik) | Bot Fight Mode, temel WAF kuralları, IP itibarı | ⭐ Düşük | İç API keşfi, uygun başlıklarla curl_cffi, gerçek tarayıcı oturumu |
| Pro plan (orta) | Super Bot Fight Mode, Managed Challenge, JavaScript tespitleri | ⭐⭐ Orta | Gerçek tarayıcı oturumu, stealth browser automation, residential proxy’ler |
| Business | Daha güçlü WAF, Bot Analytics, önemli yollarda daha sıkı challenge’lar | ⭐⭐⭐ Orta–Yüksek | Tarayıcı oturumu üzerinden çıkarım, oturum kalıcılığı, residential/mobil proxy’ler, ücretli scraping API’leri |
| Enterprise / Bot Management | Bot skorları, JA3/JA4 alanları, uç nokta bazlı kurallar, Turnstile, AI Labyrinth | ⭐⭐⭐⭐ Yüksek | İç API (erişilebiliyorsa), gerçek kullanıcı oturumu araçları, kurumsal seviye scraping API’leri |
Cloudflare’ın fiyatlandırma sayfası Free plan’ı 0 dolar, Pro’yu ayda 20 dolar, Business’ı ayda 200 dolar ve Enterprise’ı özel fiyatlandırma olarak listeliyor. Bot Fight Mode Free plan’daki basit aç/kapat seçeneği; Super Bot Fight Mode Pro/Business için daha fazla kontrol ekliyor; Enterprise Bot Management ise ayrıntılı bot skorları ve uç nokta bazlı kurallar sunuyor.
Karşılaştığın seviyeyi kabaca nasıl anlarsın: Cloudflare markalı bir blok mesajı ve challenge script’i olmadan gelen bir 403, çoğu zaman WAF ya da parmak izi reddi anlamına gelir. cf-turnstile div’i veya challenges.cloudflare.com/turnstile/v0/api.js script’i Turnstile olduğunu gösterir. "Checking your browser" ara sayfası ise Managed Challenge demektir. Ana sayfa açıldıktan sonra belirli sayfalarda başarısız oluyorsan, bu genellikle uç nokta bazlı WAF ya da Bot Management kurallarına işaret eder.
Yaklaşımını seçmeden önce koruma seviyesini belirle. Saatlerce debug yapmaktan kurtarır.
Cloudflare’ı Aşmak İçin “Önce Bunu Deneyin” Karar Ağacı
Rastgele yöntem denemek yerine sıralı bir yol izle. En kolay ve en güvenilir yöntemle başla, sadece gerekiyorsa bir üst seviyeye çık:
| Adım | Önce Bunu Deneyin | Neden | Başarısız Olursa → |
|---|---|---|---|
| 1 | İç/gizli API var mı bakın | Cloudflare’ı tamamen atlar; en hızlı ve en güvenilir yöntem | Adım 2 |
| 2 | Yerleşik tarayıcı render’ı olan kodsuz araç kullanın (ör. Thunderbit) | Kurulum gerektirmez, JS challenge’larını otomatik işler | Adım 3 |
| 3 | TLS parmak izi taklidi (curl_cffi) | Hızlı, hafif, tarayıcı gerektirmez | Adım 4 |
| 4 | Stealth browser automation (SeleniumBase UC / Puppeteer stealth) | JS challenge + parmak izi tespitlerini yönetir | Adım 5 |
| 5 | FlareSolverr + Docker | Açık kaynak, sunucu dostu | Adım 6 |
| 6 | Ücretli scraping API (ScrapingBee, ZenRows, Scrapfly vb.) | Tüm mücadeleyi sağlayıcıya devreder | — |
Mantık şu: önce ücretsiz ve zahmetsiz yöntemler, en sonda kod ağırlıklı ve ücretli seçenekler. Durumuna uyan adıma atla.
Mart 2026 topluluk benchmark’ı curl_cffi’nin test edilen 20 alanın 16’sını geçtiğini (%80), FlareSolverr’ın yaklaşık %55–70 aralığını karşıladığını ve ücretli proxy toplayıcılarının ortalama yaklaşık %97 başarıya ulaştığını iddia ediyordu — ancak aynı başlık, Cloudflare güncellemeleriyle bu sayıların değiştiğini de söylüyordu. Tüm başarı oranlarını kesin veri gibi değil, yol gösterici tahminler gibi değerlendir.
Adım 1: Mücadeleyi Atla — Cloudflare’ın Arkasındaki İç API’yi Bul
Karşılaştığım dört ayrı forum başlığı, Cloudflare ile doğrudan savaşmak yerine sitenin iç API’sini bulmayı öneriyor. Ve dürüst olmak gerekirse bu, atılacak en akıllı ilk adım. Sitenin iç API’si varsa Cloudflare’ı tamamen atlarsın — hile yok, fingerprint spoofing yok, stealth eklentisi yok.
Sistematik yaklaşım şu:
- Chrome DevTools’u aç → Network sekmesine git → XHR/Fetch ile filtrele.
- Sayfayla etkileşime gir: arama yap, filtre uygula, sayfa değiştir, kaydır. Network sekmesinde görünen JSON yanıtlarını takip et.
- İstek URL’sini ve başlıklarını incele. Çoğu zaman API uç noktası Cloudflare koruması taşımaz ya da ön yüz sayfasından daha zayıf korunur.
- İsteğe sağ tıkla → Copy → Copy as cURL. Bunu terminaline ya da Postman’e yapıştırıp dene.
- Aynı isteği Python’da yeniden oluştur (
requestsveyacurl_cffikullanarak) ve aynı başlıkları, çerezleri ve sorgu parametrelerini gönder.
API yapılandırılmış JSON döndürüyorsa, geleneksel bir scraper’a hiç ihtiyaç duymayabilirsin. Ocak 2026 tarihli bir Reddit başlığı tam da bu senaryoyu anlatıyordu: Cloudflare tarafından curl_cffi kullansa bile engellenen bir kullanıcı, çalışan tek yolun API yanıtını doğrudan araya girerek almak olduğunu fark etmişti.
Pratik ipucu: cURL kopyası çalıştıktan sonra gereksiz başlıkları tek tek çıkar. sec-ch-ua, çerezler, CSRF token’ları ve referer gerekli olabilir; tarayıcı önbellek kontrolleri ise çoğu zaman gerekmez. Tarayıcıdan alınan cURL’ü koda taşırken TLS parmak izini User-Agent ile uyumlu tut.
Sınırlamalar: Her sitenin erişilebilir bir API’si yoktur. Bazı API’ler kimlik doğrulama, CSRF token’ı, imzalı istek parametreleri veya oturuma bağlı çerezler ister. Ama çalıştığında, bu yöntem neredeyse %99 başarıya yaklaşan ve bakım gerektirmeyen bir çözüm olur.
Tarayıcı tabanlı scraping için Thunderbit’i dene
Adım 2: Kodsuz Yol — Bir Tarayıcı Eklentisiyle Cloudflare’ı Aş (Thunderbit)
Rakip rehberlerin hepsi okuyucunun Python ya da JavaScript yazdığını varsayıyor. Oysa bu anahtar kelime, lead listesi oluşturan satış ekiplerini, rakip fiyatlarını izleyen e-ticaret operasyonlarını ve emlak verisi çeken analistleri de çekiyor. Bu kişiler Docker konteyneri kurmak istemiyor.
Bir tarayıcı eklentisiyle Cloudflare’ı aş Get Started Free
Thunderbit gibi bir Chrome eklentisi, gerçek tarayıcı oturumunun içinde çalıştığı için Cloudflare kontrollerinin çoğunu doğal olarak aşar. Chrome’un gerçek TLS parmak izini, çerezlerini, oturum açma durumunu ve davranış sinyallerini kullanır — Cloudflare’ın güvendiği şeyler tam olarak bunlardır. Stealth eklentisi yok, xvfb-run yok, terminal komutu yok.
Adım Adım Uygulama
- Chrome Web Store’dan Thunderbit Chrome Eklentisi yükle.
- Chrome üzerinden Cloudflare korumalı sayfaya git. Cloudflare senden doğrulama isterse normal bir kullanıcı gibi geç — Turnstile kutusunu işaretle, "Checking your browser" sayfasının kapanmasını bekle. Sen gerçek bir kullanıcı, gerçek bir tarayıcıdasın; Cloudflare seni geçirir.
- Thunderbit yan panelinde "AI Suggest Fields" düğmesine tıkla. Yapay zekâ sayfayı tarar ve "Ürün Adı", "Fiyat", "Puan" ya da ilgili başka sütunlar önerir.
- Önerilen alanları gözden geçir. İhtiyacın olmayanları sil, ne istediğini düz İngilizceyle anlatarak özel alanlar ekle.
- "Scrape" düğmesine tıkla. Thunderbit, görünür sayfadaki verileri çeker.
- Veriyi Google Sheets, Excel, Airtable, Notion, CSV veya JSON olarak dışa aktar.
Sayfa numaralandırmalı sitelerde Thunderbit hem tıklamalı sayfa geçişini hem de sonsuz kaydırmayı yönetir. Detay sayfaları için (örneğin elinde ürün bağlantıları varsa ve her bir ürün sayfasındaki teknik özellikleri çekmek istiyorsan), subpage scraping özelliğini kullan — Thunderbit her bağlantılı detay sayfasını ziyaret eder ve tablonu zenginleştirir.
Kendi deneyimime göre bu iş akışı, tipik 50–100 satırlık bir veri setini kurulumdan dışa aktarılan tabloya getirmek için yaklaşık 5–10 dakika sürüyor.
Tarayıcı Tabanlı Scraping Ne Zaman En İyi Sonucu Verir, Ne Zaman Vermez?
Sınırlamaları dürüstçe anlatmak istiyorum. Tarayıcı tabanlı scraping, oturum hızına bağlıdır. Yüzlerce ila birkaç bin sayfalık orta ölçekli işler için idealdir. Milyonlarca sayfayı planlı olarak taraman gerekiyorsa, kod tabanlı ya da API yöntemlerine yönelmelisin.
Thunderbit’in Cloud Scraping seçeneği, kamuya açık sitelerde aynı anda 50 sayfaya kadar çekim yaparak işlemi hızlandırabilir. Geliştirici iş akışları veya daha büyük ölçek için Thunderbit’in Web Scraper API çözümü JavaScript render etme, anti-bot koruması ve proxy rotasyonunu halleder; ayrıca istek başına 50–100 URL’lik toplu işleme desteği sunar.
Ama makul ölçekte lead, fiyat ya da emlak ilanı çeken iş kullanıcıları için? Çoğu zaman ihtiyaç duyacağın tek yöntem budur. Kod yok, proxy yok, bakım yok.
Adım 3: curl_cffi ile TLS Parmak İzi Taklidi (Hafif Kod Yaklaşımı)
Python konusunda rahatsan ve kodsuz yol iş akışına uymuyorsa, curl_cffi en hafif kod seçeneğidir. Bu, gerçek tarayıcıların TLS parmak izlerini taklit edebilen bir Python libcurl sarmalayıcısıdır. requests veya httpx’ten farklı olarak TLS el sıkışman Chrome ya da Safari’den geliyormuş gibi görünür.
2026 itibarıyla desteklenen taklit hedefleri arasında chrome136, safari184 ve birçok tarihî profil yer alıyor. Kütüphane Nisan 2026’da da PyPI sürümü yayınlamış, yani aktif olarak bakımı sürüyor.
Ne zaman kullanılır: Özellikle pasif parmak izi kontrolüne dayanan, aktif JavaScript challenge’ı veya Turnstile içermeyen Free ya da Pro seviyesindeki Cloudflare korumalı siteler.
Basit örnek:
from curl_cffi import requests
url = "https://example.com/products"
resp = requests.get(
url,
impersonate="chrome136",
headers={
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"accept-language": "en-US,en;q=0.9",
},
timeout=30,
)
print(resp.status_code)
print(resp.text[:500])
İnsanların sık takıldığı nokta: User-Agent ile taklit hedefini uyumlu tut. Chrome 136 taklit ediyorsan, Chrome 120 için yazılmış bir User-Agent gönderme. Bu tür uyumsuzluk bir sinyaldir.
Sınırlamalar: curl_cffi JavaScript çalıştırmaz. Site bir "Checking your browser" challenge’ı ya da Turnstile bileşeni sunuyorsa bu yöntem başarısız olur. Ayrıca tarayıcı challenge’ından gelen çerez tabanlı oturum durumuna ihtiyaç duyan sitelerde de işe yaramaz. Bunu, yalnızca pasif koruma için hızlı ve ucuz bir ilk deneme olarak düşün.
Aynı ailenin alternatifleri: tls-client ve curl-impersonate benzer TLS taklit yetenekleri sunar.
Adım 4: Stealth Tarayıcı Otomasyonu (Puppeteer Stealth ve SeleniumBase UC)
Site JavaScript çalıştırma, aktif challenge’lar veya Turnstile gerektiriyorsa TLS taklidi yeterli olmaz. O noktada tam bir tarayıcı gerekir. İki ana seçenek var:
- SeleniumBase UC Mode (Python): Dokümantasyonda UC Mode otomasyonun daha insan gibi görünmesi ve anti-bot servislerinden kaçınması için açıkça anlatılır. Cloudflare Turnstile örnekleri de içerir.
puppeteer-extra-plugin-stealthile Puppeteer (Node.js): Hâlâ yaygın kullanılıyor ama 2026’da giderek daha kırılgan hâle geldi. Topluluk raporlarında CDP (Chrome DevTools Protocol) tespit bayrakları ve uyumsuz tarayıcı profilleri nedeniyle hatalar anlatılıyor.
Her iki araç da gerçek bir Chromium tarayıcısı başlatır ama tespit edilebilir otomasyon sinyallerini yamalar: navigator.webdriver, WebGL metadata’sı, eklenti listeleri ve daha fazlası.
Gerçekten önemli yapılandırma ipuçları:
- Headless değil, headed mod kullan. SeleniumBase dokümanı, UC Mode’un headless modda tespit edilebilir olduğunu söylüyor. Linux sunucularda sanal ekran kullan.
- Viewport boyutunu ve User-Agent’ı rastgeleleştir, ama bunların birbirleriyle ve proxy’inin coğrafi konumuyla tutarlı kalmasına dikkat et.
- İşlemler arasına gerçekçi gecikmeler ekle. Sayfa yüklemeleri arasında 200 ms beklemek doğrudan "bot" diye bağırır.
- İlk challenge’dan sonra çerezleri ve tarayıcı profillerini kalıcılaştır. Challenge’ı her istekte yeniden çözme.
- Daha iyi IP itibarı için residential proxy’lerle eşleştir.
Bu yaklaşımın riski bakım yüküdür. Chrome güncellendiğinde, Cloudflare yeni bir sinyal eklediğinde, bir stealth eklentisi geride kaldığında ya da hedef site yola özel Turnstile eklediğinde otomasyon yığını kırılabilir. Bir ScrapeOps benchmark’ı birçok stealth tarayıcı kurulumunun zaman dilimi/ülke/dil/proxy coğrafyası uyuşmazlığından doğan "franken-fingerprint" kombinasyonları nedeniyle parmak izi testlerinde başarısız olduğunu gösterdi.
Bu yöntem güçlüdür ama operasyonel olarak pahalıdır. Devam eden düzeltmeler için zaman bütçesi ayır.
Proxy Rotasyonu: IP Neden Parmak İzi Kadar Önemli?
Tarayıcı tarafında kusursuz stealth olsa bile, tek bir IP’den fazla istek göndermek hız limitlerini tetikler. Cloudflare, residential ve mobil IP’lere veri merkezi IP’lerinden çok daha fazla güvenir.
- Residential proxy’ler: 2026’da giriş seviyesinde yaklaşık 1,50–8+ ABD doları/GB. Daha güvenilir ama daha pahalı.
- Datacenter proxy’ler: Daha ucuzdur ama ciddi Cloudflare hedeflerinde çabuk başarısız olur.
- Rotasyon stratejisi: İstek bazında değil, oturum bazında rotasyon yap. İstek bazında rotasyon, oturuma bağlı çerezleri ve
cf_clearance’ı bozar. Bir oturum içinde IP, çerez ve parmak izini tutarlı tut.
Büyüklük için sihirli bir "minimum proxy havuzu" yoktur. Düşük hacimli bir lead scrape birkaç yapışkan residential oturumla çalışabilir; yüksek hacimli bir fiyat takip sistemi ise yüzlerce çıkış noktası ve yeniden deneme mantığı gerektirebilir.
Adım 5: FlareSolverr — Açık Kaynak Cloudflare Aşma Sunucusu
FlareSolverr, Cloudflare challenge’larını çözmek ve yeniden kullanım için çerez/başlık döndürmek amacıyla Docker konteyner içinde Chromium ve undetected-chromedriver kullanan açık kaynak bir proxy sunucusudur. Mayıs 2026’da v3.5.0 sürümü yayınlandığı için hâlâ aktif olarak geliştiriliyor.
Ne zaman kullanılır: Sürekli challenge çözebilen bir servise ihtiyaç duyan sunucu taraflı scraping hatlarında — örneğin her gece çalışan ve taze cf_clearance çerezlerine ihtiyaç duyan otomatik işler.
Nasıl çalışır: Scraper’ının bir URL’yi FlareSolverr API’sine gönderir. FlareSolverr sayfayı tarayıcıda açar, challenge’ı çözmeye çalışır ve HTML ile çerezleri geri döner. Sonrasında bu çerezleri normal HTTP istemcinde sonraki isteklerde yeniden kullanabilirsin.
Kurulum özeti: Docker Compose ile konteyneri çalıştır, yerel API uç noktasına POST isteği gönder. ScrapeOps’ta iyi bir anlatım var.
Açık konuşmam gereken sınırlamalar:
- Etkileşimli Turnstile challenge’larını veya Enterprise Bot Management’i güvenilir biçimde çözemez.
- GitHub sorunları ve Reddit başlıkları tutarsız davranışlar gösteriyor: challenge tespiti kaçırılabiliyor, Turnstile zaman aşımına uğruyor, sayfa çökebiliyor.
- Docker altyapısı ve sürekli bakım gerektirir.
- Kaynak tüketimi yüksektir — her challenge çözümü bir tarayıcı bağlamı başlatır.
Tahmini güvenilirlik: orta koruma hedeflerinde %60–80. Enterprise’da daha düşük, basit challenge sayfalarında daha yüksek. FlareSolverr yetmezse, ücretli API’leri düşünme zamanı gelmiştir.
Adım 6: Cloudflare İşini Senin Yerine Yapan Ücretli Scraping API’leri
Bazen matematik basittir: kendi stealth altyapını sürdürmek, abonelik ücretinden daha fazla mühendis zamanı harcatır. Ücretli scraping API’leri tüm mücadeleyi özel bir sağlayıcıya devreder — sen URL gönderirsin, onlar parmak izi alma, proxy, challenge çözme ve yeniden denemeleri halleder.
Nasıl karşılaştırılırlar:
| Sağlayıcı | Cloudflare Desteği | JS Render Etme | Residential Proxy | Yapılandırılmış Çıktı | Fiyatlandırma Modeli |
|---|---|---|---|---|---|
| ScrapingBee | Evet | Evet | Evet | Yalnızca HTML | İstek başına kredi |
| ZenRows | Evet (>%99 başarı iddiası) | Evet | Evet (premium) | HTML, bazı ayrıştırma | Çarpanlı CPM |
| Scrapfly | Evet (CF, Akamai, DataDome listelenir) | Evet | Evet | HTML, bazı ayrıştırma | Kredi bazlı |
| Browserless | Evet | Evet (headless Chrome) | Evet (yerleşik) | HTML, ekran görüntüleri | Birim bazlı |
| Thunderbit API | Evet | Evet | Evet | AI şemasıyla yapılandırılmış JSON/CSV | Ücretsiz katman + ücretli planlar |
Ne zaman mantıklı olur: Yüksek hacimli scraping, kurumsal düzeyde güvenilirlik ihtiyacı ya da ekibinin scraping altyapısıyla uğraşmak istememesi. Maliyet aralığı: küçük-orta kullanım için kabaca ayda 30–500+ dolar, kurumsal hacimlerde daha da yukarı çıkar.
Thunderbit API’si ayrı anılmayı hak ediyor çünkü yalnızca ham HTML değil, yapılandırılmış veri çıkarır. Extract uç noktası istek başına 50 URL’ye kadar toplu işlem yapabilir ve AI destekli bir şemaya göre JSON/CSV döndürebilir — kendin parse etmek yerine temiz, analiz edilebilir veriye ihtiyacın varsa çok faydalı.
Dürüst Güvenilirlik Tablosu: Gerçekte Ne Çalışıyor, Ne Kırılıyor?
2025–2026 boyunca topluluk raporlarını, GitHub sorunlarını ve sağlayıcı iddialarını takip ettim. Aşağıdaki karşılaştırma açık sözlüdür. Bunlar laboratuvar ölçümü değil, yön gösterici tahminlerdir:
| Yöntem | Tahmini Başarı Oranı | Bakım Yükü | Ne Zaman Kırılır… | Maliyet Aralığı |
|---|---|---|---|---|
| İç API (varsa) | ~%90–99 | Düşük | API değişirse, kimlik doğrulama eklenirse, token’lar imzalı hâle gelirse | Ücretsiz |
| Tarayıcı eklentisi (Thunderbit) | ~%85–95 (gerçek oturum) | Düşük (AI, layout değişimlerine uyum sağlar) | Site özel bir auth akışı isterse, her eylemde agresif Turnstile varsa | Ücretsiz katman mevcut |
curl_cffi / TLS taklidi | ~%70–85 | Orta (parmak izi güncellemeleri) | Cloudflare JA3 kontrollerini değiştirirse, aktif JS challenge gerekirse | Ücretsiz |
| Puppeteer + stealth eklentisi | ~%70–90 | Yüksek (eklenti güncellemeleri geride kalır) | CDP tespiti, yeni parmak izi sinyalleri, headless tespiti | Ücretsiz + proxy maliyeti |
| FlareSolverr | ~%60–80 | Yüksek (Docker, bağımlılık kayması) | Enterprise seviyesinde koruma, Turnstile etkileşimi | Ücretsiz + altyapı maliyeti |
| Ücretli scraping API | ~%85–95 | Düşük (sağlayıcı bakım yapar) | Sağlayıcı güncelleme yapmadıysa; bütçe aşıldıysa | Ayda yaklaşık $30–500+ |
En önemli sütun başarı oranı değil, Ne Zaman Kırılır sütunudur. Her yöntemin bir başarısızlık biçimi vardır. En iyi strateji, hedefin için çalışan en düşük eforlu yöntemi seçmek ve bir yedek plan bulundurmaktır.
Kalıcı bir çözüm yok. Cloudflare sürekli güncelleniyor. Bu gerçekten bir silahlanma yarışı.
Cloudflare’ın Radarından Uzak Durmak İçin İpuçları (Hangi Yöntemi Kullanırsan Kullan)
Hangi yöntemi seçersen seç, birkaç alışkanlık seni Cloudflare radarından daha uzun süre uzak tutar:
- Hız limitlerine uy. İstekler arasında gerçekçi gecikmeler ekle — kullanıcı gibi gezinmek için en az 2–5 saniye. Bir siteyi makine hızında bombardımana tutmak, engellenmenin en hızlı yoludur.
- Parmak izini tutarlı tut. User-Agent, TLS parmak izi, tarayıcı sürümü, saat dilimi, yerel ayar ve IP coğrafyası aynı hikâyeyi anlatmalı. Alman IP’den gelen,
en-USyerel ayarıyla ve Python TLS el sıkışması yapan Chrome 136 User-Agent’ı çelişkidir. - Challenge geçildikten sonra çerezleri ve oturumları yeniden kullan. Challenge’ı her istekte tekrar çözme.
- Oturum ortasında IP değiştirme. Cloudflare oturum sürekliliğini takip eder.
- Kullanım durumun ve bütçen uygunsa residential veya mobile IP’ler kullan.
- Yumuşak blokları izle: JSON beklerken challenge HTML’si, boş tablolar, giriş yönlendirmeleri veya AI Labyrinth yem sayfalarına benzeyen içerikler.
- Yoğun trafik saatlerinden kaçın; site operatörleri o zamanlarda WAF kurallarını sıkılaştırabilir.
- Yedek yollar kur: önce API → sonra tarayıcı oturumu → sonra ücretli sağlayıcı.
Thunderbit kullanıcıları için özel bir not: AI, sayfa düzeni değişikliklerine otomatik uyum sağlar; böylece CSS seçicileri bakımında daha az, veriyi gerçekten kullanmada daha çok zaman harcarsın.
Hukuki ve Etik Konulara Kısa Bir Not
Bu makalenin odağı değil ama atlanamayacak kadar önemli.
Kamuya açık verilerin toplanması, bazı durumlarda ABD’de olumlu içtihatlara sahiptir — hiQ v. LinkedIn CFAA gerekçesi Yüksek Mahkeme iadesinden sonra da ayakta kaldı, ancak taraflar 2022’de uzlaştı ve tablo nüanslıdır. Daha yakın zamanda, Reddit 2025’te Anthropic’e dava açtı ve bunun kullanıcı yorumlarının toplandığı iddiasını gündeme getirdi; aynı yılın ilerleyen döneminde Reddit ayrıca Perplexity ve veri toplama firmalarına da dava açtı.
AB’de kişisel veri söz konusu olduğunda GDPR devreye girer ve AB AI Act, AI eğitimi için hedeflenmemiş scraping konusunda özel yükümlülükler getirir.
Pratik temel kurallar:
- Her zaman sitenin Kullanım Şartları’nı kontrol et.
- Cloudflare koruması, site sahibinin otomatik erişimi kontrol etmek istediğine işarettir — bu niyete saygı göster.
- Meşru bir dayanağın yoksa kişisel veri toplamaktan kaçın.
- Ticari veya yüksek hacimli iş akışlarında mümkünse resmi API’leri, lisanslı veriyi veya yazılı izni tercih et.
- Emin değilsen, kendi kullanım senaryon ve yargı alanın için hukuk danışmanına başvur.
Thunderbit, kamuya açık verileri kullanarak lead oluşturma, fiyat takibi ve pazar araştırması gibi meşru iş senaryoları için tasarlanmıştır.
Sonuç: Önce Ne Denenmeli, Sonra Ne Yapılmalı?
Bu makaledeki en büyük zaman kazandıran şey bir araç ya da kod parçası değil — başlamadan önce koruma seviyesini belirlemek. Bu tek başına, asla çalışmayacak bir yöntemi saatlerce debug etmeni engeller.
Buradan başla:
- İç API var mı kontrol et (ücretsizdir, hızlıdır ve çoğu zaman gözden kaçar).
- Kod yazmayan bir iş kullanıcısıysan, Thunderbit’in Chrome Eklentisini dene — gerçek tarayıcı oturumun, Cloudflare’a karşı en güçlü kozdur.
- Geliştiriciysen ve hedef yalnızca pasif parmak izi kontrolü kullanıyorsa,
curl_cffidene. - Stealth tarayıcılara, FlareSolverr’a veya ücretli API’lere ancak daha basit yöntemler başarısız olursa geç.
Tek bir yöntem kalıcı değildir. Ölçeğine uygun aracı bir yedek planla birleştirirsen, 403 sayfalarına bakarak geçirdiğin süre ciddi biçimde azalır.
Daha derine inmek istersen, Thunderbit blogunda kodsuz web scraping, AI ile web scraping ve en iyi AI web scraper’ları konularını ele aldık. Eklentinin nasıl çalıştığını görmek istersen, Thunderbit YouTube kanalı üzerindeki anlatım videolarına göz at.
Cloudflare korumalı siteler için Thunderbit’i dene
Thunderbit AI Web Scraper’ı dene Get Started Free
SSS
1. Cloudflare koruması tamamen aşılabilir mi?
Hayır, özellikle Turnstile, JA4 parmak izi ve AI Labyrinth içeren Enterprise seviyesindeki Bot Management’a karşı tek bir yöntem %100 başarı garanti etmez. En güvenilir yaklaşımlar, gerçek tarayıcı parmak izlerini iyi IP itibarıyla birleştirir. İç API bulmak, Cloudflare’ı tamamen atladığı için "tam" aşmaya en yakın yöntemdir — ama her sitede böyle bir API yoktur.
2. Scraping yaparken Cloudflare’ı aşmak yasal mı?
Bu, bulunduğun yargı alanına, sitenin Kullanım Şartları’na ve hangi verileri topladığına bağlıdır. Kamuya açık verilerin toplanması bazı ABD davalarında olumlu içtihatlara sahiptir (hiQ v. LinkedIn), ancak teknik erişim kontrollerini aşmak, ToS ihlali yapmak veya kişisel verileri meşru bir dayanak olmadan toplamak hukuki risk yaratabilir. Ticari iş akışlarında mümkünse resmi API’leri veya lisanslı veriyi tercih et; emin değilsen hukuk danışmanına başvur.
3. Kodsuz şekilde Cloudflare’ı aşmanın en kolay yolu nedir?
Gerçek Chrome oturumunun içinde çalışan Thunderbit gibi tarayıcı eklentileri, Cloudflare challenge’larını otomatik olarak işler — sen siteyle normal bir kullanıcı gibi etkileşime girersin, ardından eklenti veriyi çıkarıp dışa aktarır. Python yok, Docker yok, proxy ayarı yok.
4. Scraper’ım neden bazı Cloudflare sitelerinde çalışırken bazılarında çalışmıyor?
Cloudflare’ın koruma seviyesi plana (Free, Pro, Business, Enterprise) ve yapılandırmaya göre ciddi biçimde değişir. Free planlı bir sitedeki basit JS challenge’ına karşı çalışan bir yöntem, Enterprise sitede Turnstile veya tam Bot Management karşısında başarısız olabilir. Aşma yöntemini seçmeden önce mutlaka koruma seviyesini belirle — basit bir JS kontrolü mü, Managed Challenge mı, Turnstile bileşeni mi görüyorsun, buna bak.
5. Cloudflare aşma yöntemleri ne sıklıkla bozulur?
Stealth eklentileri ve TLS taklidi gibi kod tabanlı yöntemler, Cloudflare tespit mekanizmalarını güncelledikçe zor hedeflerde birkaç haftadan birkaç aya kadar bozulabilir. Ücretli API’ler ve gerçek tarayıcı oturumu araçları genelde daha dayanıklıdır; çünkü altyapı veya kullanıcı oturumu katmanında uyum sağlarlar. İç API’ler ise site arka ucunu yeniden tasarlamadıkça ya da kimlik doğrulama modelini değiştirmedikçe nadiren kırılır. Uzun vadede en güvenli strateji, tek bir yönteme bağımlı olmak yerine birden fazla yedek yöntem bulundurmaktır.
Daha Fazla Öğrenin
