Birkaç hafta önce ekipten biri bana bir GitHub issue zinciri attı. Bir geliştirici, Cuma gecesi saat 11’de üçüncü PlaywrightCrawler yeniden deneme mantığını debug ediyordu. Hemen altında biri “bunun için Thunderbit kullan” diye yanıt vermişti; ilk paylaşımı yapan kişi de “mesele o değil, bunu pipeline’ımda kullanmam gerekiyor” diye geri çıkışmıştı. Aslında ikisi de haklıydı. Thunderbit vs Crawlee tartışmasının tamamı, tek bir GitHub zincirinde özetlenmiş gibiydi.
SaaS ve otomasyon araçları arasında yıllarca gidip gelmiş biri olarak — Automation Anywhere günlerine selam olsun — “hangi scraper daha iyi” sorusunun çoğu zaman yanlış soru olduğunu söyleyebilirim. Asıl doğru soru şu: Scraping’i gerçekten kim yapıyor ve sonrasında neye ihtiyaç duyuyor? Hadi buna girelim.
Asıl Soru “Hangi Araç Daha İyi?” Değil — “Scraping’i Kim Yapıyor?”
İnsanlar “Crawlee vs [herhangi bir şey]” diye Google’ladığında hep aynı noktada takılıyor: iki kahve makinesini karşılaştırır gibi, birebir özellik kapışması bekliyorlar. Oysa Crawlee ve Thunderbit aynı işi yapmaya talip değil. Tamamen farklı iki kişi ve iki farklı problem için tasarlanmış durumdalar.
Crawlee, Apify ekibi tarafından geliştirilen açık kaynak bir crawling kütüphanesi. JavaScript, TypeScript ya da Python yazmaya rahat olan bir geliştirici olduğunuzu varsayar. Kurarsınız, request handler yazarsınız, selector’ları tanımlarsınız ve kodu deploy edersiniz. Thunderbit ise bambaşka bir kullanıcıyı hedefler: Şu anda bir web sayfasından yapılandırılmış veri çıkarması gereken, satış/marketing/operasyon tarafında çalışan ve terminal görmek istemeyen birini.
| Kriter | Crawlee | Thunderbit |
|---|---|---|
| Kimler için | Özel crawler geliştiren yazılımcılar | Teknik olmayan kullanıcılar, operasyon/satış/marketing ekipleri |
| Kurulum gereksinimi | Node.js veya Python yükleme, scraper kodu yazma | Tarayıcı eklentisini kurma, One Click Extract tıklama |
| Kod gerekiyor mu? | Evet (JS/TS veya Python) | Hayır |
| En iyi kullanım | Production pipeline’ları, özel mantık | Bir sayfadan anlık ya da düzenli yapılandırılmış veri çekme |
Bunu en başta söylüyorum çünkü karşılaştırma yazılarının çoğu bu yol ayrımını atlıyor; halbuki hangi aracı değerlendireceğinizi aslında bu belirliyor. Retry, proxy ve browser pool üzerinde ayrıntılı kontrol isteyen bir geliştiriciyseniz, tek tık kolaylık sizi tatmin etmez. Geliştirici değilseniz de Crawlee’nin esnekliğinin pek bir anlamı yok; zaten kullanmazsınız.
Thunderbit Nedir?
Thunderbit’i ben bir agentic web scraper olarak tanımlıyorum — yani sayfada ne olduğunu ve hangi verinin çekilmesi gerektiğini selector yazarak siz çözmek yerine, bu yorumu AI katmanı yapıyor. Thunderbit Chrome Extension içindeki temel akış şöyle: Veri almak istediğiniz sayfayı açın, One Click Extract’e tıklayın; agent sayfayı okur ve analiz eder, uygun alanları belirler ve çalışmaya hazırlar. Run Now hemen başlatmak isterseniz görünür, ama zorunlu değildir — hiçbir şey yapmazsanız çıkarma işlemi otomatik başlar.
Kurulum gerçekten bu kadar. Schema oluşturma ya da alan eşleme oturumu yok: agent sayfayı analiz eder ve extraction otomatik çalışır.
Tarayıcı eklentisinin ötesinde Thunderbit’in bir Web App’i, programatik erişim için Open API’si, AI agent’ların araç olarak kullanabilmesi için bir MCP Server’ı ve terminal tabanlı iş akışları için bir CLI’si de var. Son kısım çoğu kişinin sandığından daha önemli — birazdan geri döneceğim, çünkü bu nokta yazıyı sadece “no-code kazanır” seviyesinden çıkarıyor.
Uyumlu sayfalarda Thunderbit pagination ve alt sayfa zenginleştirmesini de yönetebilir; veriyi aldıktan sonra ise tabloya ya da desteklenen diğer hedeflere dışa aktarabilirsiniz. Bunu her zaman şu notla söylerim: “AI sayfayı okuyor” ifadesi, uyumlu ve yetkilendirilmiş sayfalarda iyi çalışır; bu, internetteki her JavaScript framework’ün ya da anti-bot duvarının size teslim olacağı anlamına gelmez.
Crawlee Nedir?
Crawlee, açık kaynak bir kütüphanedir — barındırılan bir ürün değil — JavaScript/TypeScript veya Python ile web crawler ve scraper geliştirmek için kullanılır. Apify tarafından sürdürülür ve burada bir noktayı netleştirmek istiyorum çünkü birçok kişi ikisini karıştırıyor: Crawlee kütüphanedir, Apify ise Crawlee tabanlı projeleri host edip çalıştırabilen ayrı ama ilişkili bir bulut platformudur. Birbirinin kuzeni gibidirler; aynı şey değildirler.
Crawlee ile aldığınız şey aslında bir araç seti. Hafif ve JavaScript ağırlığı düşük scraping için HTTP tabanlı crawler’lar sunar; rendering gerektiren siteler içinse Playwright ve Puppeteer tabanlı browser crawler’lar sağlar. Request queue’ları yönetir; böylece hangi URL’leri ziyaret ettiğinizi elle takip etmeniz gerekmez. Çıkardığınız verinin saklanmasını da yönetir. Autoscaling ve session pool özellikleri hazır gelir; dolayısıyla binlerce sayfa üzerinde tarama yapıyorsanız concurrency mantığını sıfırdan yazmak zorunda kalmazsınız.
Ama bunların hiçbiri bir butona tıklayarak olmaz. Kod yazarsınız — request handler tanımlarsınız, crawler instance’ını kurarsınız, sayfaya gelince ne yapacağını belirlersiniz. Crawlee size iskeleti verir; evi yine siz kurarsınız.
Temel Fark: Yönetilen Extraction Ürünü vs Kod Kütüphanesi
Yapılandırılmış tabloya ulaşma süresi
En keskin fark burada ortaya çıkıyor. Thunderbit’te, sayfayı açıp kullanılabilir bir veri tablosu elde etmeniz uyumlu bir sayfada saniyeler ile birkaç dakika arası sürer — tıkla, agent algılasın ve çalışsın, bitti.
Crawlee’de ise ilk basit crawler bile gerçek bir kurulum süresi ister. Node.js veya Python kurulu olmalı, Crawlee paketi eklenmeli, bir request handler yazılmalı, selector’lar manuel olarak incelenip bulunmalı, ardından çalıştırıp bozan şeyi debug etmelisiniz. İlk kez kullanan biri için, çalışan bir extraction elde etmek bile 30–60 dakika civarında sürebilir — üstelik JavaScript ya da Python’a zaten hâkim olduğunuzu varsaysak bile.
Browser/crawler mantığı üzerinde kontrol
Burada net kazanan Crawlee; tartışmasız. Her şey sizin kontrolünüzdedir: hangi browser engine kullanılacak, session’lar nasıl yönetilecek, proxy’ler nasıl dönecek, bir request başarısız olunca ne olacak, link keşfi ne kadar derine inecek, concurrency nasıl sınırlandırılacak. Eğer crawl’ınız özel mantık gerektiriyorsa — örneğin çok adımlı bir login akışı ya da standart kalıpları bozan garip pagination yapısına sahip bir site — Crawlee size tam olarak bunu kuracak temel taşları verir.
Thunderbit’in agentic yaklaşımı ise bu ayrıntı seviyesini hız ve erişilebilirlik için feda eder. Mantığı siz yazmazsınız; AI, sayfada gördüğüne göre çıkarım yapar. İşe yaradığı yerde harikadır, ama çok spesifik ve ilk bakışta belli olmayan bir extraction desenini zorla uygulatmanız gerekiyorsa daha az kullanışlı olabilir.
Deployment ve bakım sorumluluğu
Crawlee’de deployment size aittir. Yani hosting’den siz sorumlusunuz (kendi sunucularınız, Apify platformu veya seçtiğiniz başka bir yer), selector’larınızı bozan site markup değişikliklerini takip etmekten ve bağımlılıkları güncel tutmaktan da siz sorumlusunuz. Bu ciddi bir sürekli emek demektir; ama aynı zamanda ciddi bir sürekli kontrol de sağlar.
Thunderbit yönetilen altyapı üzerinde çalışır — browser extension, oturumunuzda yerel olarak ya da planlı işler için bulutta çalışır; extraction mantığındaki güncellemeler sizin tarafınızda değil, Thunderbit tarafında olur.
Uygulamalı Senaryolar
Tek seferlik sayfa extraction’ı
Diyelim ki saat 14:00’teki toplantıdan önce bir rakibin ürün listeleme sayfasını tabloya aktarmanız gerekiyor. Thunderbit tam bu iş için tasarlanmıştır — sayfayı açın, One Click Extract deyin, dışa aktarın. Crawlee ise gerçekten tek seferlik işler için fazla ağır kalır; bir script yazmaya harcayacağınız zaman, kazanacağınız zamandan fazla olabilir.
Özel Playwright/Puppeteer crawl
Şimdi de diyelim ki kimlik doğrulamalı bir dashboard’a giriş yapan, üç katman aşağı inen ve her şeyi sıra dışı DOM zamanlamasına sahip bir JS framework ile render eden bir siteden veri çıkaran bir izleme pipeline’ı kuruyorsunuz. Burası Crawlee’nin doğal alanı. PlaywrightCrawler, tam da bu tür özel gezinme mantığını yönetmek için gerekli browser automation araçlarını sağlar.
Yeniden deneme ve saklama ile büyük ölçekli kuyruklu crawl
On binlerce URL’yi taramanız, otomatik retry mantığına, request queue kalıcılığına ve yapılandırılmış storage çıktısına ihtiyaç duymanız gerekiyorsa, Crawlee’nin yerleşik request queue ve dataset soyutlamaları tam bu ölçek için tasarlanmıştır. Bu, Thunderbit’in browser extension kullanım senaryosu değildir — bu bir sayfa sayfa çalışan araçtır, kuyruk yönetim sistemi değil.
Extraction’ı bir AI agent içinden çağırma
Karşılaştırmalarda insanların en sık yanlış anladığı senaryo budur. AI-agent iş akışları geliştiren yazılımcılar bazen “AI agent’ın veriye ihtiyacı varsa, otomatik olarak özel Crawlee kodu yazıp bunu tool olarak sarmalamak gerekir” diye düşünür. Bu elbette geçerli bir yol. Ama Thunderbit’in MCP Server çözümü tam da bu yüzden var: Claude, Cursor ve benzeri uyumlu istemciler, extraction kabiliyetini bir araç olarak doğrudan çağırabilsin diye. Bunun için kimsenin özel bir crawler yazması gerekmiyor. Bu, tek tık browser iş akışından farklı bir yüzey; yapılandırma gerektiriyor, yani “tıkla ve bitti” değil. Ama yine de sıfırdan Crawlee tabanlı bir araç geliştirmekle aynı emek değil.
Dinamik Siteler, Ölçek ve Güvenilirlik
Burada dikkatli olmak istiyorum, çünkü bu bölümde pazarlama dili — benimkiler dahil, tarihsel olarak — işleri fazla abartma eğiliminde oluyor. Crawlee’nin browser crawler’ları JavaScript çalıştırabilir, dinamik içerik bekleyebilir ve gerçek bir kullanıcı gibi sayfalarla etkileşime girebilir; bu, rendering yoğun sitelerde gerçekten işe yarar. Thunderbit’in browser extension’ı da gerçek bir browser bağlamında çalışır ve açık sayfada gördüğünüz JS-render edilmiş sayfalarla başa çıkabilir.
Ama hiçbir araç her yerde başarı garantisi vermez. Crawlee, geliştiricilere proxy rotasyonu ve session pool’ları kendilerinin yapılandırması için araçlar sunar — bu manuel ama ayarlanabilir bir kontroldür; otomatik bir bypass değildir. Thunderbit ise desteklenen ve yetkilendirilmiş sayfalarda yönetilen rendering ve anti-bot işleme uygular; bu da yine “her şeyde çalışır” anlamına gelmez. Bir karşılaştırma yazısı size internetteki her anti-bot sistemine karşı %100 başarı vaat ediyorsa, o yazı açıkça gerçeği çarpıtıyordur.
Fiyat, Lisans ve Toplam Maliyet
Crawlee’nin kendisi ücretsiz ve açık kaynaktır — örneğin Python sürümü Apache License 2.0 ile sunulur. Ama “ücretsiz” demek “maliyetsiz” demek değildir. Maliyet; crawler’ları yazmak ve bakımını yapmak için harcanan geliştirici zamanı, hosting giderleri (kendi sunucularınız ya da kütüphaneden ayrı ücretli bir ürün olan Apify platformu) ve hedef siteler blokları aşmak için IP rotasyonu istiyorsa proxy ücretleri olarak karşınıza çıkar.
Thunderbit ise kredi tabanlı kullanım sunan abonelik/plan modelinde çalışır — güncel rakamlar değişebildiği için sizi doğrudan Thunderbit Pricing sayfasına yönlendiririm; burada eski kalabilecek bir sayı vermek istemiyorum.
Samimi bakım karşılaştırması şu: Crawlee crawler’ları, hedef sitenin markup’ı değiştiğinde bozulur; çünkü selector’larınız belirli bir DOM yapısına göre yazılmıştır. Birinin bu hatayı fark edip kodu düzeltmesi gerekir. Thunderbit’in agentic extraction’ı ise her çalıştırmada sayfayı yeniden analiz eder; bu da bu tür bozulmaları azaltır ama tamamen ortadan kaldırmaz — hedef sitede büyük bir düzen değişikliği yine işleri bozabilir, fakat siz hardcoded selector’ları aynı şekilde bakımda tutmak zorunda kalmazsınız.
Thunderbit’i Kimler Seçmeli?
Eğer geliştirici değilseniz ve web sayfalarından yapılandırılmış veri çıkarmanız gerekiyorsa — lead listeleri, rakip fiyatlandırması, pazar araştırması, ne olursa olsun — Thunderbit tam sizin kullanım senaryonuz için yapılmıştır. Aynı şey, teknik olmayan bir ekibe self-serve extraction aracı vermek isteyen geliştiriciler için de geçerli; ya da sıfırdan crawler yazmadan programatik erişim için Open API kullanmak istiyorsanız da.
Crawlee’yi Kimler Seçmeli?
Kod tabanında yaşayacak, binlerce sayfaya ölçeklenecek veya gerçekten özel gezinme mantığına ihtiyaç duyan bir production veri pipeline’ı kuruyorsanız, Crawlee size bunu yapacak kontrolü verir. Ayrıca crawl’ınızın gerçek ölçekte — request queue yönetimiyle on binlerce sayfa — çalışması gerekiyorsa da daha doğru tercih odur; çünkü browser extension tabanlı bir iş akışı bu problem şekline göre tasarlanmamıştır.
Ekipler İkisini Birden Kullanabilir mi?
Gerçekçi cevap: Evet, kullanabilir; ve bana göre bu kaçamak bir cevap değil. Çalıştığım birçok şirkette şu modelin işlediğini gördüm: Mühendislik ekibi, veri ambarını besleyen tekrar eden ve büyük ölçekli yapılandırılmış crawl işleri için Crawlee tabanlı bir pipeline’ı yönetiyor; satış, marketing veya operasyon ekipleri ise normalde mühendislik backlog’una ticket olarak düşecek tek seferlik “şu sayfanın verisi hemen lazım” işleri için Thunderbit’in browser extension’ını ya da Web App’ini kullanıyor. Bu ikisini bağlayan resmi bir entegrasyon yok — uydurmayacağım — ama mimari olarak birbirine komşu problemleri o kadar iyi çözüyorlar ki birçok ekip sonunda ikisini de birlikte kullanıyor.
Sonuç
Eğer kod tabanında yaşayacak, binlerce sayfaya ölçeklenecek veya gerçekten özel gezinme mantığına ihtiyaç duyan bir şey geliştiriyorsanız, Crawlee bunu yapmanız için gerekli kontrolü sunar — ama zaman ve sürekli bakım maliyetiyle birlikte. Eğer kod yazmadan bir web sayfasından veri çekmeniz gerekiyorsa ya da bir geliştirici olarak extraction’ı sıfırdan crawler geliştirmeden AI agent’lara araç olarak sunmak istiyorsanız, Thunderbit daha hızlı yoldur. Soyut olarak bakınca hiçbir araç diğerinden “daha iyi” değildir. Farklı insanlar için farklı problemleri çözerler; bu durumda kaçınmanız gereken tek hata, ihtiyacınıza uygun olmayanı seçmektir.
SSS
Crawlee, Apify ile aynı şey mi?
Hayır. Crawlee, Apify ekibi tarafından sürdürülen açık kaynak crawling kütüphanesidir. Apify ise Crawlee tabanlı projeleri host edip çalıştırabilen, ayrıca proxy ve scheduling gibi hizmetler de sunan ayrı bir bulut platformudur. İlişkilidirler ama farklı ürünlerdir; fiyatlandırma modelleri de farklıdır.
Crawlee ücretsiz mi?
Kütüphanenin kendisi ücretsiz ve açık kaynaktır (Python sürümü Apache License 2.0 kullanır). Gerçek maliyet; geliştirici zamanı, hosting altyapısı ve ihtiyacınız olan proxy servislerinden gelir — lisans ücretinden değil.
Thunderbit, geliştiriciler için API ve MCP erişimi destekliyor mu?
Evet. Tarayıcı eklentisinin ötesinde Thunderbit, programatik erişim için bir Open API ve uyumlu AI host’ların Thunderbit extraction araçlarını doğrudan çağırmasını sağlayan bir MCP Server sunar.
Kod geçmişi olmayan biri için hangisi daha kolay?
Kesinlikle Thunderbit. Browser extension’daki One Click Extract akışı kod, selector yazımı ya da schema kurulumu gerektirmez. Crawlee ise en baştan JavaScript/TypeScript veya Python bilgisi varsayar.
Retry ve proxy gibi crawler davranışları üzerinde hangisi daha fazla kontrol verir?
Açık ara Crawlee. Session pool, proxy rotasyonu, request queue yönetimi ve retry mantığını geliştiriciler için yapılandırılabilir temel taşlar olarak sunar. Thunderbit bunları kendi tarafında yönetir; bu manuel kontrolü sadelik ve hız karşılığında bırakır.
