Ekibimizde birkaç ayda bir Slack’te aynı soru ortaya çıkıyor: “Bunun için bir Scrapy spider’ı mı yazsak?” Ve her defasında cevabım, soruyu kimin sorduğuna ve neyi başarmaya çalıştığına göre değişiyor. Aslında bu yazının özeti de bu; ama hakkını verip nedenini biraz açayım.
Yaklaşık on yıldır SaaS ve otomasyon dünyasının içindeyim — önce Automation Anywhere’de, şirketlerin web sitelerinden veri kopyala-yapıştır kısmı dışında neredeyse her şeyi otomatikleştirdiğine tanıklık ettim; şimdi ise Thunderbit’i geliştiriyorum. Thunderbit’te çözdüğümüz tam mesele de “web sitesinden kopyala-yapıştır” işi. Scrapy ise, “agentic AI” ifadesi daha kimsenin akşam yemeği sohbetinde kullanmadığı zamanlardan beri internetin veri hatlarını sessizce ayakta tutuyor. İkisini karşılaştırmak aslında bir kazanan seçmek demek değil; Thunderbit vs Scrapy meselesi daha çok İsviçre çakısını tam donanımlı bir makine atölyesiyle kıyaslamak gibi. İkisi de sana kesilmiş bir metal parçası verir, ama süreç, gereken beceri ve sonunda toparlayacağın dağınıklık tamamen farklıdır.
Kısa Cevap
Detaya girmeden önce kısa versiyonunu istiyorsan: Thunderbit, yönetilen ve agentic bir web scraper’dır — sayfayı açarsın, bir kez tıklarsın, araç yapıyı senin yerine çözer; ister tarayıcıda, ister Web App, Open API, MCP Server ya da CLI üzerinde çalış. Scrapy ise olgun, açık kaynaklı bir Python framework’üdür — spider’ı sen yazarsın, selector’ları sen belirlersin, pipeline’ı sen kurarsın ve verine dokunan kodun her satırı sana aittir.
İkisinin de evrensel anlamda “daha iyi” olduğunu söylemek doğru olmaz. Farklı sorunları çözen farklı insanlar için tasarlanmışlardır. Açıkçası, rakip içeriklerin bunu tek bir hükme indirgemesi de bu yazıyı düzgünce kaleme almak istememin nedenlerinden biri.
Bir Bakışta
İlk kez aradığımda var olmasını istediğim tablo buydu. Bulduğum her “Thunderbit vs Scrapy” yazısı ya bu iki aracı daha geniş bir Scrapy vs BeautifulSoup karşılaştırmasının içine gömüyordu ya da sana yüzeysel, puansız bir liste widget’ı sunuyordu. Biz gerçeğini hazırladık.
| Boyut | Scrapy | Thunderbit |
|---|---|---|
| Nedir | Açık kaynaklı Python framework’ü (spider’lar, pipeline’lar, middleware, async motor) | Agentic, kodsuz web scraper — tarayıcı eklentisi, Web App, Open API, MCP Server, CLI |
| Kurulum | Python ortamı kurun, spider yazın, selector tanımlayın, pipeline ayarlayın | Hedef sayfayı açın, One Click Extract’e tıklayın — desteklenen ve yetkili sayfalarda çıkarma otomatik başlar (isteğe bağlı olarak Run Now) |
| Gereken beceri | Python, XPath/CSS selector’ları, async kavramları | Tarayıcı akışında kod gerekmez; API/CLI/MCP tarafında standart geliştirici yapılandırması gerekir |
| JS/dinamik içerik | scrapy-playwright veya Selenium benzeri entegrasyon gerekir | Kullanıcının açık olan tarayıcıda render edilmiş sayfa üzerinden çalışır, desteklenen giriş yapılmış oturumlar dahil — her sitede garanti değildir |
| Anti-bot ile başa çıkma | Manuel middleware (proxy rotasyonu, ban tespiti), garantili aşma yok | Desteklenen ve yetkili sayfalarda yönetilen render etme, yine garantili aşma yok |
| Ölçek / tekrarlanan işler | Büyük, scriptlenebilir ve zamanlanmış taramalar için tasarlanmış | Zamanlama, planın/surface’in desteklediği yerlerde mevcut; hedefli veya orta hacimli işler için daha uygun |
| Dışa aktarma | Özel kodlama (JSON, CSV, veritabanı, pipeline’lar) | Excel, Google Sheets, Airtable, Notion gibi desteklenen hedeflere ve indirme formatlarına dışa aktarma |
| Bakım | Spider’lar tasarım değişince bozulur; düzeltmek için geliştirme zamanı gerekir | AI destekli çıkarma, bazı düzen değişikliklerine uyum sağlayabilir ama yapısal bozulmalara karşı bağışık değildir |
| Maliyet modeli | Ücretsiz/açık kaynak + geliştirme süresi + barındırma + proxy maliyetleri | Abonelik/kredi bazlı — rakam vermeden önce fiyatlandırma sayfasını kontrol edin |
Thunderbit Nedir?
Thunderbit, oldukça sinir bozucu bir gözlemden doğdu: web’den veri çekmeye ihtiyaç duyan çoğu kişi geliştirici değil ve web kazıma araçlarının çoğu sanki kullanıcı mutlaka geliştiriciymiş gibi davranıyor. Var oluş nedenimizin özü tam olarak bu boşluk.
Temel tarayıcı akışı, iyi anlamda sıkıcı olacak şekilde tasarlandı. Veri almak istediğin sayfayı açarsın, One Click Extract’e tıklarsın ve işi agent devralır — sayfayı okur, nelerin çıkarılabilir olduğunu (ürün listeleri, ilanlar, iletişim bilgileri, ekranda ne varsa) çözer ve alanları otomatik olarak hazırlar. Hemen başlatmak istersen Run Now düğmesi de var; ama sen kahveni yudumlarken otursan bile çıkarma zaten kendi kendine başlar. Selector yok, şema yazma yok, “inspect element” arkeolojisi yok.
Tek tık tarayıcı akışının ötesinde Thunderbit, ne inşa ettiğine bağlı olarak birkaç farklı yüzeyde de çalışır:
- Chrome Extension, “Şu an bu sayfaya bakıyorum ve bu veriyi istiyorum” senaryosu içindir.
- Web App, kodla uğraşmak istemeyen iş kullanıcıları için bulut tabanlıdır ve tekrarlayan veri toplama ihtiyacını karşılar.
- Open API, backend ve uygulama iş akışları için Distill ve yapılandırılmış Extract uç noktaları sunar.
- MCP Server, Claude, Cursor veya Windsurf içindeki AI agent’ların Thunderbit’i doğrudan bir araç olarak çağırmasına imkan verir.
- CLI, terminalde yaşayan geliştiriciler ve coding agent’lar için uygundur.
Ayrıca uyumlu sitelerde sayfalama ve alt sayfa zenginleştirmeyi de destekler; alanları regex yerine düz dilde verilen talimatlarla netleştirebilirsin. Bunların hiçbiri, dünyanın her sitesinde kusursuz çalışacağı anlamına gelmez — birazdan o dürüstlük kısmına geleceğim — ama satış operasyonlarıyla ilgilenen biri ya da emlak analisti kod editörü açmak zorunda kalmasın diye tasarlanmıştır.
2026’da Scrapy Nedir?
Scrapy, eskimiş bir araç olarak köşede tozlanan bir şey değil. Resmi Scrapy sitesi mevcut kararlı sürümün 2.17.0 olduğunu listeliyor ve proje düzenli olarak güncelleniyor — en yeni sürüm, indirme işleyicisi yoluna HTTP/2 ve SOCKS proxy desteği bile ekledi. Bu, “AI eski framework’ü öldürdü” hikâyesi değil. Scrapy hâlâ çok canlı ve dürüst olmak gerekirse işini hâlâ çok iyi yapıyor.
Temelinde Scrapy, asenkron bir crawling motoru etrafında kurulmuş bir Python framework’üdür. Bir Spider sınıfı yazarsın, başlangıç URL’lerini (veya bir start metodunu) tanımlarsın ve Scrapy callback fonksiyonlarıyla Response’ları işleyen Request’ler gönderir. Sonrasında veriyi CSS ya da XPath selector’larıyla (ya da eski usul istiyorsan regex ile) seçer, Item’lara paketler ve temizleme, doğrulama ve saklama için pipeline’lardan geçirirsin. Resmi genel bakış dokümanları tüm bu döngüyü adım adım anlatır ve öğrenince gerçekten zarif bir sistem olduğu görülür.
Bu öğrenme yatırımının karşılığında gerçek kontrol elde edersin: cookie ve session yönetimi, kimlik doğrulama akışları, önbellekleme, robots.txt uyumu, tarama derinliği sınırları ve IP’nizin sinirli bir sunucu yöneticisi tarafından banlanmasını engelleyen AutoThrottle. Ayrıca geniş bir middleware ve extension ekosistemi vardır — proxy rotasyonu, özel indirme işleyicileri, izleme kancaları ve son zamanlarda Playwright tabanlı render etme eklentileri ve hatta spider iskeletini senin için üreten AI coding-agent yardımcı araçları.
Bir noktayı net söylemek gerekir: Scrapy’nin çekirdek motoru bir HTTP crawler’dır, tarayıcı değil. JavaScript’i kendi başına render etmez. Buna ihtiyacın varsa scrapy-playwright, Selenium tarzı bir middleware ya da harici bir render hizmeti devreye alırsın. Bu tam olarak bir kusur değil — çekirdek framework’ü hafif ve hızlı tutan bilinçli bir tasarım tercihi — ama “JS ağırlıklı bir siteyi ele alma” işinin varsayılan davranış değil, proje kararı olduğu anlamına gelir.
Temel Fark: Yönetilen Agentic İş Akışı mı, Kod Sahipli Framework mü?
İlk veri setine ulaşma süresi
Burada sana uydurma kronometre rakamları vermeyeceğim — çok fazla makalenin “Scrapy öğrenme eğrisi çok dik” deyip işin nasıl olduğunu hiç göstermediğini gördüm. Onun yerine gerçek adımları sayalım.
Diyelim ki bir ürün listeleme sayfasını Scrapy ile kazıma yolu:
- Bir Python sanal ortamı kur ve Scrapy’yi yükle.
- Bir şablondan spider oluştur.
- Sayfanın HTML’ini inceleyip her alan için XPath/CSS selector yaz.
- Temizleme ve dışa aktarma için bir item pipeline yapılandır.
- Spider’ı çalıştır, selector uyuşmazlıklarını ayıkla, yeniden çalıştır.
Aynı iş için Thunderbit yolu:
- Sayfayı tarayıcında aç.
- One Click Extract’e tıkla.
- Agent çıkarılabilir alanları belirleyip çalışmaya başlar (veya sen Run Now’a basarsın).
Python ortamı gerektiren beş adım ile sıfır ortam kurulumu gerektiren üç adım arasındaki fark bu. Adım sayısının tek önemli ölçüt olduğunu söylemiyorum — Scrapy’nin beş adımı sana tam olarak ne olacağı üzerinde çok daha fazla kontrol verir — ama hedefin gerçekten “bu tabloyu bugün bir elektronik tabloya alayım” ise, adım farkı tüm hikâyeyi anlatır.
Kontrol ve genişletilebilirlik
İşte Scrapy’nin öne çıktığı yer burası ve aksiymiş gibi davranmak sana haksızlık olur. Kaynak kodun sahibi sen olduğun için, kelimenin tam anlamıyla her şeyi inşa edebilirsin: özel yeniden deneme mantığı, garip sayfalama desenleri, çok adımlı kimlik doğrulama akışları, mevcut veri ambarınla entegrasyon, mimarin ne gerektiriyorsa. Thunderbit’in agentic yaklaşımı, “kod yazmadan hızlıca yapılandırılmış veri al” için optimize edilmiştir; bu da tanım gereği her düğmeyi sana sunmak yerine senin adına kararlar aldığı anlamına gelir. İşletme verisi çekme görevlerinin %80’i için bu harika bir takas. Kalan %20’lik kısım — gerçekten tuhaf, özel crawling mantığı — için ise istediğin gibi eğip bükebileceğin bir framework istersin.
Bakım ve operasyon sahipliği
Spider’lar bozulur. Bu Scrapy’ye yönelik bir eleştiri değil — ister agentic ister elle kodlanmış olsun, her scraper hedeflediği web sitesinin insafına kalır. Ama bir Scrapy spider’ı, bir site HTML’ini yeniden tasarladığı için bozulduğunda, ekibinizden birinin bunu fark etmesi, teşhis etmesi ve yamalaması gerekir. Bu, her seferinde gerçek geliştirme süresi demektir.
Thunderbit’in AI destekli çıkarımı, sabit kodlanmış bir selector yolunu eşleştirmek yerine sayfa yapısını yorumladığı için bazı düzen değişikliklerine otomatik uyum sağlayabilir. Yine de açık konuşayım: bu bağışıklık demek değil. Yeterince büyük yapısal değişiklikler onu da zorlayabilir. Fark daha çok şu soruda yatıyor: uyumu kim sağlıyor — en iyi tahmini yapan bir algoritma mı, yoksa gece 11’de XPath’i elle yeniden yazan bir geliştirici mi?
Pratik Senaryolar
Tek seferlik dizin veya ürün tablosu
Tek bir sayfadan ya da kısa bir sayfa listesinden restoran listeleri, ürün fiyatları veya etkinlik detayları alman gerekiyorsa, bir Scrapy projesi kurmak gerçekten gereksiz derecede fazla olur — bir kez kullanıp bir daha dokunmayacağın bir spider yazmış olursun. Bu doğrudan Thunderbit’in tarayıcı eklentisi alanıdır: aç, tıkla, çıkar, Google Sheets’e aktar, bitti.
İş kuralları içeren büyük özel tarama
Şimdi düşün ki on iki farklı domain üzerinde 50.000 ürün sayfasını taraman, özel deduplikasyon mantığı uygulaman ve tüm çıktıyı proprieter bir fiyatlandırma modeline aktarman gerekiyor. Burası Scrapy’nin doğal yaşam alanıdır. Pipeline mimarisi, eşzamanlılık kontrolleri, middleware ekosistemi — bunların hepsi, bu ölçekte ve bu kadar özel mantıkla çalışan işler için vardır.
Dinamik, JavaScript ağırlıklı site
Bu alanda iki araç da yardıma ihtiyaç duyar, sadece farklı türde. Scrapy’nin scrapy-playwright gibi açık bir render entegrasyonu eklemesi gerekir; bu da ek bağımlılık ve sürekli bakım yükü getirir. Thunderbit’in tarayıcı eklentisi, sayfayı tarayıcında zaten render edilmiş haliyle kullanır — desteklenen bazı giriş yapılmış oturumlar dahil — bu da kurulumun büyük kısmını ortadan kaldırır. Ancak net olay şu: agresif anti-bot sistemlere ya da sıra dışı dinamik içerik desenlerine karşı hiçbir yaklaşım garantili zafer değildir. Aksi yönde konuşan biri bir şey satıyordur.
AI agent veya uygulama entegrasyonu
Claude veya Cursor içinde bir AI agent iş akışı kuruyor ve canlı web verisini muhakeme döngüsünün bir parçası olarak çekmesini istiyorsan, özel Scrapy entegrasyon kodu yazmak ciddi bir iştir. Thunderbit’in MCP Server özelliği tam da bunun için tasarlanmıştır — çıkarımı, agent’ının doğrudan çağırabileceği bir araç olarak sunar.
Doğruluk, Ölçek ve Bakım
Scrapy’nin doğruluğu, en iyi anlamda deterministiktir — iyi yazılmış bir selector, alttaki HTML değişene kadar, her seferinde tam olarak söylediğin alanı çeker. Bu öngörülebilirlik, bir şeyin neden başarısız olduğunu tam olarak bilmen gereken production pipeline’ları için gerçekten değerlidir.
Thunderbit’in agentic tespiti farklı çalışır. Sayfaya bir insanın bakacağı şekilde yorum yapar ve muhtemelen fiyat, başlık, açıklama olan alanları seçer. Bu, hız ve esneklik açısından son derece kullanışlıdır; ancak farklı bir doğruluk modelidir — “genelde doğru, bazen küçük bir itiş gerekebilir” yaklaşımına, “selector ne diyorsa tam olarak o” modelinden daha yakındır. AI tabanlı çıkarımın kusursuzmuş gibi davranmak yerine bu takası açıkça söylemeyi tercih ederim.
Ham throughput açısından Scrapy’nin asenkron motoru, çok büyük request hacimlerini verimli şekilde taşımak üzere tasarlanmıştır — bu gerçekten tasarım DNA’sının bir parçasıdır. Thunderbit ise daha çok hedefli, orta hacimli işler için ayarlanmıştır; burada önemli olan milyonlarca sayfayı gece boyunca taramak değil, temiz ve yapılandırılmış sonucu hızlıca elde etmektir. Gerçekten devasa bir tarama planlıyorsan, ihtiyacın olan ölçekte çalıştığını varsaymadan önce mevcut plan limitlerini kontrol et.
İkisi için de geçerli bir not daha: yetkili kullanım önemlidir. Hangi aracı seçersen seç, robots.txt’ye, site şartlarına ve geçerli yasalara uymak opsiyonel değildir — sorumlu çalışmanın parçasıdır.
Fiyatlandırma, Lisans ve Toplam Maliyet
İnsanların sürekli düştüğü bir tuzak var: “ücretsiz” ile “maliyetsiz”i aynı şey sanmak. Scrapy’nin lisans ücreti yoktur — açık kaynak, nokta. Ama “ücretsiz” yazılımın da çalışacağı bir yere ihtiyacı vardır ve o yer para ister: barındırma, ciddi hacimde proxy servisleri, JS render gerekiyorsa tarayıcı otomasyon araçları, spider sessizce öldüğünde bunu anlamak için izleme ve — en büyüğü bu — onu kurmak, test etmek ve bozulduğunda düzeltmek için geliştirici zamanı.
Thunderbit abonelik/kredi modeliyle çalışır ve buradaki herhangi bir rakama güvenmek yerine seni resmi fiyatlandırma sayfasına yönlendiririm; çünkü fiyat yapıları değişebilir ve güncel koşulları doğrudan görmeni isterim. Bu abonelik, desteklenen iş akışlarında, kurulum ve bakım yükünün büyük kısmını ortadan kaldırır.
Asıl soru “hangisi kağıt üzerinde daha ucuz?” değil. “Ekibinde daha çok hangi kaynak var — geliştirici saati mi, abonelik bütçesi mi?” Beş kişilik, boş kapasitesi olan bir veri mühendisliği ekibi, mevcut yetenekleri de hesaba katıldığında Scrapy’nin toplam maliyetini daha düşük bulabilir. Üç kişilik, bünyesinde tek bir mühendis olmayan operasyon ekibi ise o “ücretsiz” framework’ün kendisine bir taşeron faturası ve ilk satırı görmeden önce üç haftalık gecikme olarak geri döndüğünü fark eder.
Thunderbit’i Kimler Seçmeli?
Thunderbit, teknik olmayan operasyon ekipleri — satış, pazarlama, e-ticaret, emlak, işe alım — için en mantıklı seçenektir; yapısal veriye hemen ihtiyaç duyuyorsan ve bunun için bir mühendislik talebi açmak istemiyorsan idealdir. Ayrıca programatik erişim isteyen geliştiriciler için de uygundur; çünkü Open API ve CLI, bu katmanı senin için halleder. İş akışların lead generation, e-ticaret izleme veya işe alım araştırması için LinkedIn tarama içeriyorsa, genelde en hızlı yol budur.
Scrapy’yi Kimler Seçmeli?
Eğer kadronuzda Python geliştiricileri varsa, yıllarca yaşayacak bir crawling altyapısı kuruyorsanız ve request mantığı, yeniden deneme davranışı ve veri pipeline’ları üzerinde tam kontrol istiyorsanız Scrapy doğru tercihtir. Ayrıca uyumluluk veya mimari gereksinimler nedeniyle kodun tamamen size ait olması gerekiyorsa da daha iyi bir seçenektir — denetlenebilir, self-hosted ve dış bağımlılığı olmayan.
Ekipler İkisini Birden Kullanabilir mi?
Birçok ekip kullanıyor ve bunu kaçamak bir cevap olarak görmüyorum. Geliştiriciler, kalıcı olarak var olması gereken crawling altyapısı için dayanıklı ve yüksek ölçekli Scrapy spider’ları çalıştırabilir; organizasyonun geri kalanı ise Thunderbit’i ani araştırmalar, tek seferlik veri çekimleri ve tam bir mühendislik sprintini haklı çıkarmayan keşif işleri için kullanabilir. İki araç arasında resmi bir entegrasyon yok — bunu net söylemek isterim — ama operasyonel olarak, hangi iş hangi araca uygunsa onları yan yana çalıştırmana hiçbir şey engel değil.
Sonuç
Bunu tek bir içgüdüsel soruya indirgemem gerekseydi: kontrol için mi, hız için mi optimize ediyorsun? Scrapy sana kurulum süresi ve devam eden bakım maliyeti karşılığında tam kontrol verir. Thunderbit ise sana hız ve erişilebilirlik sunar; karşılığında biraz esneklikten feragat edersin. İkisinden hiçbiri mutlak olarak doğru cevap değildir — kazıma işini yapan kişinin Python bilip bilmemesine veya satış hattını bilip bilmemesine bağlıdır. AI tabanlı çıkarımın geleneksel yöntemlere kıyasla genel konumunu görmek için AI web scraping ve kodsuz web scraping yazılarımız, bu tek karşılaştırmanın ötesindeki daha geniş resmi ele alıyor.
SSS
Scrapy ücretsiz mi?
Scrapy framework’ünün kendisi açık kaynaklıdır ve resmi Scrapy sitesine göre lisans ücreti yoktur. Gerçek maliyetler barındırma, proxy’ler, JS desteği gerekiyorsa render araçları ve spider’ları geliştirmek ve sürdürmek için harcanan geliştirici zamanından gelir.
Scrapy JavaScript’i kendi başına render eder mi?
Hayır. Scrapy’nin çekirdeği bir HTTP crawler’dır, tarayıcı değildir; bu nedenle JavaScript’i kutudan çıktığı haliyle çalıştırmaz. Ekipler, resmi Scrapy dokümantasyonunda belirtildiği gibi, JS ağırlıklı siteleri kazımaları gerektiğinde genellikle scrapy-playwright veya Selenium tarzı bir middleware ekler.
Thunderbit API ve MCP erişimi destekliyor mu?
Evet. Thunderbit, programatik kullanım için Distill ve yapılandırılmış Extract uç noktaları sunan bir Open API sağlar; ayrıca Claude ve Cursor gibi araçlardaki AI agent’ların Thunderbit’i doğrudan çağırmasına imkan veren bir MCP Server sunar.
İş kullanıcıları için hangisi daha hızlı?
Tasarımı gereği Thunderbit. Tarayıcı eklentisinin One Click Extract akışı, sayfayı analiz ettikten sonra çıkarımı otomatik olarak başlatır; selector ya da şema kurulumu gerektirmez — Python kurup spider yazmaya kıyasla çok daha kısa bir yol.
Derinlemesine özelleştirilmiş taramalar için hangisi daha iyi?
Scrapy. Middleware yapısı, pipeline mimarisi ve tam kaynak kod erişimi, geliştiricilere son derece özel crawling mantığı, büyük ölçekli zamanlanmış işler ve agentic bir aracın yerini almak için tasarlanmadığı özel veri pipeline’ları için gereken kontrolü verir.
