Eng ekiplerinin Slack konuşmalarında bu sorunun nasıl başladığını defalarca gördüm: biri “en iyi web scraper” listesine bir link atar, üç mühendis bir anda “bunların hiçbiri Colly’den bahsetmiyor” diye cevap verir. Bu tesadüf değil. Şu anda “Thunderbit vs Colly” aramasında üst sıralarda çıkan dört yazıya baktım ve hepsinde Thunderbit, Crawl4AI, Browse AI, rtrvr.ai ve Chat4Data gibi başka no-code araçlarla kıyaslanıyor. Colly ise hiçbirinde yok.
Bu biraz da garip, çünkü Colly’nin r/golang’de ve hızlı, kodu kendilerine ait olan tarayıcılara ihtiyaç duyan Go ekipleri arasında ciddi ve sadık bir kitlesi var. Yani bu yazı, gerçekten soruya cevap veren yazı: Colly’nin adının yanına iliştirilmiş başka bir “AI araç karşılaştırması” değil.
Kısa Cevap
Toplantılar arasında hızlıca bakıyorsanız özet şu: Thunderbit, yönetilen ve agentic bir web scraper’dır; tıklarsınız ve başlar — selector yok, kod yok, tarayıcı ya da bulut üzerinden çalıştırma var. Ayrıca geliştiricilerin programatik erişim istediği durumlar için bir Web App, Open API, MCP Server ve CLI da sunar. Colly ise açık kaynaklı bir Go framework’üdür — tarayıcıyı siz yazarsınız, mantığı siz sahiplenirsiniz, concurrency ayarlarını siz yaparsınız.
Aslında bunlar klasik anlamda rakip değil. Biri bir ürün, diğeri bir kütüphane. İkisini doğrudan kıyaslamak ancak bir yol ayrımında durup kendi senaryonuza hangisinin uyduğunu anlamaya çalışıyorsanız anlamlıdır — ben de tam olarak bunu netleştirmenize yardım etmek istiyorum.
Hızlı Bakış
| Boyut | Thunderbit | Colly |
|---|---|---|
| Ana kullanıcı | İş kullanıcıları, operasyon ekipleri, hız isteyen geliştiriciler | Go geliştiricileri |
| Kurulum | Bir sayfada One Click Extract’e tıklayın | go get github.com/gocolly/colly + Go kodu yazın |
| İlk sonuca ulaşma süresi | Saniyeler ile dakikalar arası, ajan otomatik çalışır | Callback’leri ne kadar hızlı yazdığınıza bağlı |
| Dil | Tarayıcı kullanımı için gerekmez | Go |
| Tarama modeli | Agentic sayfa analizi, pagination ve alt sayfalarla uyumlu | Manuel Collector + OnHTML/OnResponse callback’leri |
| Rendering | Yönetilen tarayıcı/bulut çalıştırma yolları | Ağırlıklı olarak HTTP/HTML; yoğun JS içeren siteler için ek araç gerekir |
| Çıkarma kuralları | Ajan alanları önerir, kullanıcı isterse düzenler | Geliştirici CSS selector’ları elle yazar |
| Concurrency | Platform tarafından yönetilir | Goroutine’ler üzerinden tam manuel kontrol |
| Depolama/aktarım | Spreadsheet’lere, tablolara ve desteklenen diğer hedeflere aktarım | Geliştirici tarafından kurulur (dosyalar, veritabanları, Redis vb.) |
| Dağıtım | Tarayıcı eklentisi, Web App, API, MCP, CLI | Self-hosted Go binary/script |
| Bakım | Yönetilen çıkarım mantığı; yine de site uyumluluğuna bağlıdır | Site değiştikçe geliştirici selector’ları günceller |
| Lisans/maliyet | Kredi bazlı planlar (fiyatlandırma sayfasındaki güncel paketleri kontrol edin) | Apache-2.0, ücretsiz — ama altyapı ve geliştirici zamanı ücretsiz değil |
Thunderbit Nedir?
Thunderbit’in varsayılan iş akışı gerçekten tek tıklamalı. Erişmeye yetkili olduğunuz bir sayfayı açıp One Click Extract’e basıyorsunuz; ajan sayfayı okuyor, neyin alınmaya değer olduğunu çıkarıyor ve alanları öneriyor. Bir Run Now düğmesi var ama açık konuşmak gerekirse çoğu zaman sadece içiniz rahat etsin diye duruyor — hiçbir şeye dokunmazsanız çıkarım kendi kendine başlıyor. Selector yazma yok, şema kurma yok; tabii ajanın desteklediği sayfalarda.
Buradan sonra ajan tam isabet yapmadıysa alanları düzenleyebilirsiniz; uyumlu sitelerde ise pagination boyunca ilerleyebilir veya zenginleştirme için alt sayfalara inebilir — örneğin bir ürün listesindeki her ürün sayfasından ekstra detay almak gibi. Veriniz hazır olduğunda da Excel, Google Sheets ve desteklenen birkaç başka hedefe aktarabilirsiniz.
Ama tarayıcı eklentisi sadece giriş kapısı. Eğer geliştiriciyseniz, kendi kodunuzdan çıkarımı tetiklemek için Open API, Claude, Cursor veya Windsurf içinde çağrılabilir bir araç olarak kullanmak için MCP Server ve terminal ile coding-agent iş akışları için CLI da var. Bunu özellikle söylüyorum çünkü “no-code vs code” çerçevesi Thunderbit’i hâlâ yalnızca iş kullanıcılarına yönelik bir oyuncak gibi gösteriyor; artık bu doğru değil.
Colly Nedir?
Colly, doğrudan bir Go kütüphanesidir. Dashboard yok, barındırılan bir servis yok, neyi scrape edeceğine karar veren bir AI katmanı yok. Go yazarsınız, bir Collector oluşturursunuz ve bir sayfaya ulaştığında tam olarak ne yapacağını söylemek için OnHTML ve OnResponse gibi callback’ler eklersiniz.
Kabaca görünümü şöyle:
c := colly.NewCollector()
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
c.Visit(e.Request.AbsoluteURL(link))
})
c.OnResponse(func(r *colly.Response) {
fmt.Println("Visited", r.Request.URL)
})
c.Visit("https://example.com")
Zihinsel model aslında bu kadar: neyi arayacağını tanımla, bulduğunda ne yapacağını tanımla, sonra collector’ın taramasına izin ver. Altta senkron, asenkron ve paralel tarama, domain bazlı rate limiting, otomatik cookie/session yönetimi, request cache, robots.txt uyumu, proxy rotasyonu ve dağıtık kurulumlar için Redis dahil takılabilir storage backend’leri elde edersiniz.
Burada açık olmak önemli: Colly temel olarak bir HTTP/HTML framework’üdür. Playwright gibi tam bir tarayıcı çalıştırmaz. Hedef siteniz yoğun biçimde JavaScript rendering’e dayanıyorsa, ya çağırdığı alttaki JSON API’yi bulmanız gerekir ya da Colly’yi ayrı bir browser automation aracıyla birlikte kullanırsınız. Bu Colly’ye bir eksi değil; sadece tam agentic, tarayıcı farkındalığı olan bir üründen farklı bir tasarım yaklaşımı.
Temel Fark: Yönetilen Agentic Çıkarma vs Go Kod Framework’ü
İlk tabloya ulaşma süresi
Aradaki farkın en net olduğu yer burası. Thunderbit’te “ilk sonuç süresi”, bir düğmeye tıklayıp ajanın sayfayı okumasını beklemek için geçen süreyle ölçülür — sayfa karmaşıklığına göre saniyeler ile birkaç dakika arası. Colly’de ise “ilk sonuç süresi”; collector’ı yazmayı, doğru selector’ları bulmayı (bu da genelde dev tools içinde biraz deneme-yanılma demektir), pagination mantığını elle kurmayı ve sonra çalıştırmayı içerir. Tek seferlik bir iş için, yetkin bir Go geliştiricisi olsanız bile bu ciddi bir zaman maliyetidir.
Performans ve kontrol
Ham kontrol açısından kazanan Colly’dir, buna itiraz yok. Mantığı siz yazdığınız için aynı anda kaç goroutine çalışacağını, rate limiting’in ne kadar agresif olacağını, neyin cache’leneceğini ve hataların nasıl yeniden deneneceğini siz belirlersiniz. Projenin kendi dokümantasyonu uygun statik hedeflerde tek çekirdekte saniyede 1.000’den fazla istek iddiasında bulunuyor — bu Colly’nin kendi benchmark’ı, Thunderbit ile kontrollü bir karşılaştırma değil; başka türlüsüymüş gibi de davranmayacağım. Ama bu size şunu açıkça söyler: HTTP dostu hedeflerde elle ayarlanmış Go concurrency’yi yenmek çok zordur.
Thunderbit ise bu ayrıntılı kontrolü yönetilen çalıştırma ile değiştirir. Goroutine havuzlarını ayarlamazsınız; platformun tarayıcı ve bulut çalıştırma yollarına, ayrıca planınız destekliyorsa zamanlanmış çıkarıma güvenirsiniz. Altyapı kararlarını siz üstlenmek istemiyorsanız bu doğru denge, maksimum throughput’u bir tarayıcıdan sıkıştırmak sizin işinizse yanlış denge olur.
Dağıtım ve bakım sorumluluğu
Burada yeterince konuşulmayan kısmı var. Colly, Apache-2.0 lisansı para istemediği için “ücretsiz”tir. Ama yine de birinin onu yazması, barındırması, izlemesi ve en önemlisi hedef site HTML’ini değiştirdiğinde düzeltmesi gerekir. Selector’lar sessizce bozulur. Kimse gelip “bu site ürün sayfasını yeniledi” diye alarm vermez. Bir geliştiricinin pipeline’ın sessizleştiğini ya da çöp veri döndürmeye başladığını fark etmesi, sonra da yamayı yapması gerekir.
Thunderbit’te çıkarım mantığı platform tarafından yönetilir ve agentic sayfa analizi, desteklenen ve yetkili sayfalarda düzen farklılıklarına uyum sağlayacak şekilde tasarlanmıştır. Ancak burada dikkatli olmak istiyorum — bu, her durumda eksiksiz bir garanti değildir. Yoğun anti-bot koruması olan sayfalar, yetkili olmadığınız login-duvarı arkasındaki içerikler ya da ajanın iyi baş etmediği siteler gerçek sınırlamalardır. Dürüst çerçeve şu: Colly’de çözüm her zaman sizdedir. Thunderbit’te yük daha düşüktür ama “daha düşük” demek “sıfır” demek değildir — başarı yine hedef sayfanın Thunderbit tarafından ne kadar iyi desteklendiğine bağlıdır.
Uygulamalı Senaryolar
Tek seferlik dizin/ürün çıkarımı
Diyelim ki gün sonuna kadar bir rakip kataloğundan 200 ürünlük bir tabloya ihtiyacınız var ve siz geliştirici değilsiniz (ya da öylesiniz ama daha önemli işleriniz var). Bu Thunderbit’in doğal alanı — tıklayın, ajanın alanları önermesine izin verin, gerekirse düzeltin, Sheets’e aktarın. Tek kullanımlık bir çıkarım için Colly script’i yazmak teknik olarak mümkün ama bonsai budamak için motorlu testere kullanmak gibi hissettirir.
Yüksek hacimli özel Go crawler
Şimdi tersini düşünün: günde binlerce URL’ye istek atan bir izleme pipeline’ı kuruyorsunuz, zaten bir Go stack’iniz var ve retry mantığı, Redis üzerinden dağıtık depolama ve engellenmemek için domain bazlı rate limit üzerinde tam kontrol istiyorsunuz. Bu tam olarak Colly’nin alanıdır. Abonelik ödemiyorsunuz, mantığın her satırı size ait ve yönetilen bir ürünün açmak için tasarlanmadığı şekilde kendi trafik deseninize göre optimize edebilirsiniz.
Yoğun JavaScript kullanan hedef
Hedefinizin her şeyi istemci tarafında, yoğun JS ile render ettiği durumlarda Colly tek başına muhtemelen doğru cevap değildir — alttaki JSON API’yi bulma yöntemlerine yönelir ya da bir browser automation katmanı eklersiniz. Thunderbit’in yönetilen tarayıcı/bulut çalıştırma yolları bu tür sayfalar düşünülerek oluşturulmuştur; yine de hedefinizde çalışacağını varsaymadan önce uyumluluğu test edin.
API veya AI-agent entegrasyonu
Bir AI agent’ın (örneğin Claude ya da Cursor içinde çalışan bir şeyin) daha büyük bir iş akışının parçası olarak yapılandırılmış veriyi çekmesi gereken bir iç araç mı geliştiriyorsunuz? İşte burada Thunderbit’in MCP Server özelliği gerçekten kullanışlı hale geliyor — çıkarımı agent iş akışları içinde çağrılabilir bir araç olarak sunuyor. Bu kullanım senaryosunu Colly doğrudan karşılamıyor; çünkü Colly bağımsız bir kütüphane, AI agent’ın kutudan çıkar çıkmaz araç gibi çağıracağı bir şey değil.
Güvenilirlik, Ölçek ve Bakım
İki şeyi birbirine karıştırmak istemiyorum: ham throughput ve gerçek web sitelerinde toplam başarı oranı. Colly, statik ve HTTP dostu sayfalarda çok hızlı olabilir — tasarımının özü bu. Ama “hızlı” olması, hedef site üç ay sonra bir yeniden tasarım yayınladığında “hala çalışıyor” anlamına gelmez. Yazdığınız her selector artık güncelliğini yitirmiş olabilir ve siz veri pipeline’ınız sessizce null dönmeye başlayana kadar bunu kimse söylemez.
Thunderbit’in agentic yaklaşımı, selector’ları kendiniz yönetmemeniz anlamına gelir — ancak Thunderbit’in kendi pazarlamasında da zaman zaman görülebilen, özellikle agresif anti-bot önlemleri olan veya erişmeye yetkili olmadığınız kimlik doğrulama arkasındaki içerikleri içeren her sitede evrensel güvenilirlik iması yapan söylemlere katılmıyorum. İster bu iki aracı ister başkasını değerlendirin, asıl soru “ilk gün ne kadar hızlı çalışıyor” değil, “bozulduğunda kim düzeltiyor ve ne kadar sürüyor” olmalı.
Fiyatlandırma, Lisans ve Toplam Maliyet
Colly, Apache 2.0 altında açık kaynaklıdır — kütüphanenin kendisi ücretsizdir. Ama toplam sahip olma maliyetine; crawler’ı yazmak ve debug etmek için geliştirici saati, çalıştırmak için gereken compute, IP rotasyonu gerekiyorsa proxy maliyeti ve hedef site değişip selector’larınızı bozduğunda ortaya çıkan sürekli zaman kaybı dahildir. Go konusunda zaten yetkin bir ekip için bu, ölçek büyüdükçe gerçekten ucuz olabilir. Ama bu yetkinlik şirkette yoksa, “ücretsiz” hızla “gizli maliyeti yüksek” bir şeye dönüşür.
Thunderbit kredi bazlı planlarla çalışır — güncel fiyatlandırma sayfasını kontrol edin; çünkü paketler ve kredi hakları zamanla değişen şeylerdir ve eski bir rakam vermek istemem. Buradaki denge, desteklenen sayfalarda daha az manuel bakım için ödeme yapmanızdır; her yerde sıfır bakım için değil.
Dürüst bir zihinsel çerçeve istiyorsanız, kendi durumunuz için kabaca bir tablo oluşturun: kurulum süresi, altyapı/proxy maliyeti, sürekli düzeltme süresi ve abonelik maliyeti. Ekibinizin gerçek becerileri ve iş yükü açısından hangi taraf bu tabloda kazanıyorsa, cevap odur; genel geçer bir “açık kaynak daha ucuzdur” görüşü değil.
Thunderbit’i Kim Seçmeli?
Eğer iş kullanıcısı, operasyon çalışanı ya da yapılandırılmış veriye hemen ihtiyaç duyan bir growth team üyesiyseniz ve koda dokunmak istemiyorsanız, Thunderbit’in tarayıcı eklentisi açık ara en mantıklı seçimdir. Eğer geliştiriciyseniz ve çıkarımı bir yapı taşı olarak görmek istiyorsanız — API, CLI ya da MCP üzerinden bir AI agent iş akışının içinde — Thunderbit yine uygundur; sadece bunu tıklayıp başlama kapısından değil, başka bir kapıdan yaparsınız.
Colly’yi Kim Seçmeli?
Eğer Go geliştiricisiyseniz (ya da ekibiniz Go-first ise) ve her isteği, her retry’ı, her proxy rotasyonunu sizin kontrol ettiğiniz özel, yüksek hacimli bir crawler’a ihtiyacınız varsa, Colly tam bu iş için üretilmiştir. Ayrıca abonelik bağımlılığı olmadan kodun sahibi olmak istiyorsanız ve bunu sürdürmek için mühendislik kapasiteniz varsa da doğru tercihtir.
Ekipler İkisini Birlikte Kullanabilir mi?
Dürüst cevap: evet, ve bunun kaçamak bir cevap olduğunu düşünmüyorum. Bir mühendislik ekibinin çekirdek veri pipeline’ı için dayanıklı, yüksek ölçekli bir Colly crawler çalıştırıp; satış, operasyon ve pazarlama gibi diğer ekiplerin script yazmayı ve bakımını gerektirmeyen ad hoc çıkarımlar için Thunderbit kullanması oldukça yaygındır. Burada ikisi arasında varmış gibi davranacağım sahte bir “resmî entegrasyon” uydurmayacağım — bildiğim kadarıyla yok — ama mimari olarak aynı organizasyonda farklı sorunları çözen iki aracın birlikte yaşamasını hiçbir şey engellemez.
Sonuç
Kararı işi kimin yaptığına ve neyi optimize ettiğine göre verin. Eğer Go becerileriniz varsa, özel mantık ihtiyaçlarınız bulunuyorsa ve tam kontrol ile sıfır abonelik maliyeti karşılığında bakım sorumluluğunu üstlenmek istiyorsanız, Colly doğru araçtır. Eğer veriyi hızlı almak istiyor, kod yazıp bakımını yapmak istemiyor ve düşük seviyeli kontrolden biraz feragat edip yönetilen bir deneyimi — ayrıca çıkarımı bir API’ye veya AI agent’a bağlama seçeneğini — kabul edebiliyorsanız, Thunderbit daha uygundur. Hiçbiri soyut anlamda “daha iyi” değildir; farklı problemleri çözen farklı insanlar için tasarlanmıştır.
SSS
Colly ücretsiz mi? Evet — Colly, Apache 2.0 lisansı altında açık kaynaklıdır, yani kütüphanenin kendisi ücretsizdir. Gerçek maliyetler geliştirici zamanından, barındırmadan, gerekiyorsa proxy’lerden ve hedef siteler değiştiğinde oluşan sürekli bakımdan gelir.
Colly JavaScript render eder mi? Doğrudan değil. Colly öncelikle bir HTTP/HTML framework’üdür; bu yüzden yoğun JavaScript kullanan sitelerde genellikle sayfanın çağırdığı alttaki JSON API’yi bulmak veya Colly’yi ayrı bir browser automation aracıyla birlikte kullanmak gerekir.
Thunderbit geliştiriciler için API ve MCP erişimi sunuyor mu? Evet. Thunderbit, programatik çıkarım için bir Open API ve Claude, Cursor veya Windsurf gibi uyumlu AI agent iş akışlarında çıkarımı çağrılabilir bir araç olarak sunan bir MCP Server sağlar.
Hangisine başlamak daha hızlı? Tasarıma göre Thunderbit. Tarayıcı eklentisindeki One Click Extract akışı, kod yazmadan saniyeler ile dakikalar içinde sonuç almanızı sağlar. Colly ise ilk sonuca ulaşmadan önce Go kodu yazmanızı ve test etmenizi gerektirir.
Taramanın kendisi üzerinde hangisi daha fazla düşük seviye kontrol sağlar? Tartışmasız Colly. Concurrency’yi goroutine’lerle, request rate limiting’i, caching’i, proxy rotasyonunu ve storage backend’lerini doğrudan kod içinde kontrol edersiniz — bu, Thunderbit gibi yönetilen bir ürünün tasarım gereği açmadığı bir ayar seviyesi.
