Crawl4AI Gerçek Bir Tarayıcı Kullanarak Markdown Üretiyor — Hayır, Selector’larınızı Sizin Yerine Düzeltmez

Crawl4AI etrafında dolaşan kalıcı bir şehir efsanesi var Crawl4AI: Sanki sitenin HTML yapısı değiştiğinde veriyi yeniden bulabilen, kendini onaran bir zekâsı varmış gibi anlatılıyor. Yok böyle bir şey. Bu, başka bir araçla karıştırılıyor (ilginizi çekerse Scrapling). Crawl4AI ise çok daha somut ve açıkça anlatıldığında çok daha faydalı: Bir başsız tarayıcı ile bir Markdown dönüştürücünün birleşimi; yanında da CSS/XPath tabanlı bir çıkarıcı var.

Bir dizi test boyunca onu statik sayfalarda, JavaScript ile render edilen kataloglarda, bilerek bozulmuş bir 500 sayfasında ve küçük bir derin tarama senaryosunda denedim. Çekirdeği gerçekten iyi. İnsanların pek üstünde durmadığı kısımlar — kurulum yükü, derin tarama davranışı, yanıltıcı bir hata mesajı — ise bu incelemenin kalanında ele alınıyor. Aşağıdaki her şey, gerçekten çalıştırdığım testlere dayanan geçici bir değerlendirme; nihai bir benchmark değil. Hiç dokunmadığım şeyler hakkında yorum yapılmamasın diye neleri test etmediğimi de ayrıca belirteceğim.

Crawl4AI aslında nedir? (ve olmayan efsane nedir?)

Pazarlama dilini bir kenara bırakırsak Crawl4AI üç katmandan oluşuyor.

İlki, gerçek bir tarayıcı. İçeride Playwright çalıştırıyor; buna bir de gizlilik önlemleri eklenmiş Patchright varyantı eşlik ediyor. Böylece sayfayı Chrome’un yapacağı şekilde yüklüyor — JavaScript’i çalıştırıyor, DOM’u oluşturuyor, isterseniz içerik gelene kadar bekliyor. Önemli kısım bu. Ham HTML indirip işi bitiren sıradan bir HTTP istemcisi değil. Gerçek bir render motoru başlatıyor.

İkincisi, bir Markdown üreticisi. Sayfa bir kez render edildikten sonra Crawl4AI DOM’u Markdown’a çeviriyor; yani LLM’lerin ve RAG akışlarının tüketmek istediği formata dönüştürüyor. Bakımcılar da projeyi tam bu nedenle LLM dostu bir crawler olarak konumlandırıyor: URL ver, modelin üzerinde akıl yürütebileceği bir metin geri al.

Üçüncüsü, yapılandırılmış bir çıkarıcı. Düz yazı yerine temiz JSON istiyorsanız, bir şema veriyorsunuz — alan adlarıyla eşleştirilmiş CSS ya da XPath selector’ları — bunu JsonCssExtractionStrategy üzerinden yapıyorsunuz ve kayıtlar geri geliyor. (LLM tabanlı bir çıkarma yolu da var, ama API anahtarı gerektiriyor ve ben onu test etmedim; dolayısıyla nasıl davrandığını biliyormuş gibi yapmayacağım.)

Asıl önemli ve “adaptif zekâ” söylentisinin yanlış anladığı nokta şu: Bu şema statiktir ve siz elle yazarsınız. Crawl4AI’ye ürün adının .product-card h3 içinde, fiyatın da .price içinde olduğunu söylersiniz; site yarın bu sınıf adlarını değiştirirse selector’larınız bozulur ve bozuk kalır. Hiçbir şey kendi kendine iyileşmez. Bulanık yeniden eşleştirme yok. Ortada bir tarayıcı, bir dönüştürücü ve sizin koruduğunuz selector’lar var — ne eksik ne fazla. Bunu en baştan anlamak, aslında başka bir repoda yaşayan bir özellikten medet ummanızı engeller.

Gerçekte kullanacağınız temel bileşenlerin isimleri de mantıklı: AsyncWebCrawler motoru çalıştırır, BrowserConfig tarayıcıyı kurar, CrawlerRunConfig ise tek bir çalıştırmayı kontrol eder (birazdan tekrar döneceğim wait_for dahil). İsimlendirme oturunca temiz görünen, async-first bir Python API’si.

Kayıt için söyleyeyim: repo, 2026-07-07 itibarıyla 71.259 yıldız, 7.326 fork ve Apache-2.0 lisansıyla geliyor (unclecode/crawl4ai), sürüm de v0.9.0. Yıldız sayıları değişir; bunu canlı veri değil, bir anlık görüntü olarak görmek gerekir — ama yine de bunun hafta sonu yazılmış bir deney değil, ciddi kullanılan ve liberal lisanslı bir proje olduğunu anlatıyor.

Kurulum: diskinize iki tam tarayıcı yığılması

Crawl4AI’nin hafif bir kütüphane gibi davranmayı bıraktığı yer kurulum aşaması; ve neredeyse hiçbir incelemede bundan bahsedilmiyor.

Pip kurulumu sorun çıkarmadı. pip install -U crawl4ai temiz biçimde tamamlandı — ve dikkat çekici şekilde Python 3.14.2 üzerinde çalıştı; oysa dokümanlar en az 3.10 istiyor ve makinemde 3.10–3.13 arasında bir runtime yoktu. En güncel interpreter kullananlar için iyi işaret.

Sonra crawl4ai-setup çalıştırıyorsunuz, disk dolmaya başlıyor.

Kurulum adımı tek bir tarayıcı indirmiyor. İki tam yığın indiriyor — Playwright ve Patchright — ve loglarda bunlara ek olarak Chrome for Testing, FFmpeg ve Headless Shell de geliyor. Gerçek tarayıcı tabanlı bir araç olmanın bedeli bu: Tarayıcılar bir yerde yaşamak zorunda ve burada sizin makinenizde, üstelik iki kez yaşıyorlar. SSD’si dar olan bir dizüstü bilgisayarda çalışıyorsanız ya da her megabaytın önemli olduğu ince bir container image oluşturuyorsanız buna göre plan yapın. Bu, saf bir HTTP ayrıştırıcısının kapladığı alan değil; hiç olmayacak da.

Aracın kendi sağlığı konusunda dürüst davrandığını da teslim etmek gerekir. crawl4ai-doctor çalıştı, geçti ve tarayıcı yolunun uçtan uca çalıştığını kanıtlamak için https://crawl4ai.com adresini 14,65 saniyede taradı. Canlı bir sayfayı gerçekten render eden yerleşik bir doktor komutu hoş bir ayrıntı — “kurulumum doğru mu?” sorusuna omuz silkerek değil, gerçek bir yanıt veriyor.

Kurulum değerlendirmesi bu yüzden ikiye ayrılıyor: Python tarafı akıcı ve toleranslı, tarayıcı tarafı ise ağır. Bu iki şey aynı anda doğru. Yola çıkmadan önce ikisini de bilmeniz gerekiyor.

Uygulamalı test: neler tuttu, gerçek sayılarla

Yerel bir test sitesi kurdum; doğruluğu önceden belli veriler içeriyordu — statik ürünler, JS ile render edilen ürünler, bilerek boilerplate eklenmiş bir makale, bozuk bir 500 sayfası ve küçük bir link grafiği — sonra Crawl4AI’yi buna ve iki kamuya açık demo siteye yönlendirdim. İşte sonuçlar.

Statik sayfalar: tam isabet. example.com üzerindeki resmi quickstart denemesi 1,81 saniyede Markdown döndürdü. Yerel statik kataloğumda Markdown, beklenen 6/6 ürün adını eksiksiz korudu; CSS şema çıkarımı da 6/6 kaydı JSON olarak çekti — ad, kategori, fiyat, puan ve detay URL’si dahil, tüm alanlar sapasağlam. Sorunsuz.

Dinamik sayfalar: doğru beklentiyle sorarsanız yine sorunsuz. Buradaki yükü taşıyan önemli not bu. JS ile render edilen kataloğumda, run config’e wait_for="css:.product-card" eklediğimde hem Markdown’da hem de şema çıkarımında 8/8 ürün geri çağırma elde ettim. Kamuya açık quotes.toscrape.com/js sayfasında ise JavaScript ile eklenen alıntıları render etti ve içeriğin gerçekten boyandığını kanıtlayan kullanılabilir bir ekran görüntüsü kaydetti. Buradaki “dinamik” sözcüğü temenniden ibaret değil — tarayıcı gerçekten render ediyor. Ama ona neyi beklemesi gerektiğini söylemeniz şart. wait_for kullanmazsanız, yarım kurulmuş bir sayfayı topluyorsunuz demektir.

Toplu işlem: çalışıyor. Altı yerel ürün URL’si üzerinde arun_many() çalıştırdığımda tek bir eşzamanlı geçişte 6/6 döndü, hepsi 200 durum koduydu. Küçük bir örnek, ama paralel çalışma hattı iddia ettiğini yaptı.

Gerçek site Markdown hacmi. Kamuya açık Books to Scrape ana sayfasında Crawl4AI, canlı sayfadan tek çağrıda 13.476 karakter Markdown üretti — gerçek bir katalogdan tek taramanın ne kadar LLM-dostu metin çıkarabildiğine dair somut bir fikir.

Şimdi pürüzlü yerlere gelelim — sadece iyi giden yolun ötesine geçtiğinizde görünür olanlara.

Ham Markdown, tasarım gereği geniştir. Makale testimde Crawl4AI başlığı ve gövde paragraflarının hepsini — 3/3 — aldı; ama bununla birlikte menü metnini, ilgili bağlantılar bloğunu, sahte bir abonelik satırını ve altbilgiyi de dahil etti. Bu bir kusur değil; ham Markdown dönüştürmenin doğası bu. Render edilen sayfanın tamamı Markdown’a çevrilir, boilerplate de dahil. Gerçekten temiz bir makale istiyorsanız, dokümante edilen çözüm bir içerik filtresi açmaktır — PruningContentFilter düğümleri metin-bağlantı yoğunluğuna göre puanlayıp gereksizi atar, BM25ContentFilter ise bir sorguya göre sıralama yapar. Bu geçişte bu filtreleri çalıştırmadım, bu yüzden temizlik için bir sayı vermiyorum — ama zihinsel model net: ham Markdown geniş varsayılandır, temiz Markdown ise açtığınız bir filtredir. Sıfır ayarlı yoldan editoryal kalitede çıktı beklemeyin.

500 sayfası ufak bir yalan söyledi. Crawl4AI’ye bilerek bozuk, HTTP 500 dönen bir sayfa verdim. success=false ve durum 500 olarak doğru raporladı — ama hata mesajı şöyleydi: “Blocked by anti-bot protection: Structural: minimal_text on small page.” Ortada anti-bot duvarı yoktu. Çok az görünür metin içeren küçük bir hata sayfasıydı ve Crawl4AI’nin yapısal sezgisi ince gövdeyi anti-bot etiketine çevirdi. Ölçekli kullanım için çıkarım şu: “anti-bot” ifadesine olduğu gibi güvenmeyin. Bir siteyle gerçekten savaş halinde olduğunuzu düşünmeden önce durum koduna ve gerçek bağlama bakın. Bazen sadece küçük bir sayfadır.

Derin tarama, sizin beklemelerinizi miras almaz. Bunu bir crawl akışına bağlamadan önce bilmek isterdim. Dinamik sayfama doğrudan yaptığım bir tarama, wait_for ile kusursuz çalıştı — 8/8. Ama BFS derin tarayıcı ana sayfadan linkleri keşfedip onları takip ettiğinde, 5 sayfa buldu, 3’ünde başarılı oldu ve 2’sinde başarısız oldu. Başarısızlıklardan biri aynı dinamik katalog sayfasıydı — açık bir beklemeyle gayet çalışan sayfa. Derin taramada sayfanın ön-render metni olarak 45 karakter gördü, sayfayı fazla ince buldu ve JavaScript tamamlanmadan aynı yanıltıcı “anti-bot” mesajıyla vazgeçti.

Ders çok net: “Crawl4AI dinamik sayfaları destekler” doğrudur; “derin tarama, bulduğu her dinamik sayfa için otomatik bekler” doğru değildir. Bunlar iki ayrı dokümante özellik — sayfa bazlı beklemeler ve derin tarama stratejileri — ve kendiliğinden birleşmiyorlar. Derin taramanız JS ağırlıklı sayfaları da kapsayacaksa, beklemeyi crawl konfigürasyonuna bilinçli olarak eklemeniz gerekir. Bu bir konfigürasyon gerçeği, bug değil; ama keşfedilen linklerin de sorunsuz çalışacağını varsayarsanız sizi kesinlikle yakalar.

Artılar ve eksiler, net biçimde

Yıldızlarını hak ettiği yerler:

• Tek kütüphane çok geniş bir alanı kapsıyor: render edilmiş Markdown, yapılandırılmış JSON çıkarma, ekran görüntüsü, toplu tarama ve derin tarama — dört aracı birbirine yapıştırmaya gerek yok.
• Statik çıkarım çok sağlam — testlerimde 6/6 Markdown geri çağırma ve 6/6 yapılandırılmış kayıt, hızlı ve kayıpsız.
• Dinamik render gerçekten çalışıyor; çünkü render işini gerçekten bir tarayıcı yapıyor — açık bir bekleme ile 8/8, ekran görüntüsüyle doğrulandı.
• Apache-2.0 lisansı ticari kullanım için elverişli ve arkasında büyük bir topluluk olan, aktif biçimde geliştirilen bir proje (v0.9.0).
• Kurulumun gerçekten çalıştığını doğrulamak için canlı bir sayfayı render eden yerleşik crawl4ai-doctor komutu.

Sizi zorlayacağı yerler:

• İlk kurulum ağır: iki tarayıcı yığınına ek olarak disk üzerinde FFmpeg ve Headless Shell. Kısıtlı makinelerde gerçek bir sürtünme.
• İçerik filtresi açmazsanız ham Markdown boilerplate içerir — temiz yol varsayılan değil, bilinçli bir adımdır.
• Derin tarama, dinamik sayfalar için verdiğiniz beklemeleri otomatik uygulamaz; tarama sırasında keşfedilen JS sayfaları ek ayar olmadan başarısız olabilir.
• Hata mesajları yanıltıcı olabilir — ince bir 500 sayfası, ortada hiçbir engel yokken “anti-bot protection” diye etiketlendi.
• Kendini onaran selector’lar yok. CSS/XPath şemanız statiktir ve markup değiştiğinde onu siz korursunuz.

Crawl4AI’yi kimler kullanmalı, kimler uzak durmalı?

Şu durumda kullanın: RAG veya agent pipeline kuran bir geliştiriciyseniz ve aynı render edilmiş sayfadan hem LLM-dostu Markdown hem de yapılandırılmış JSON almak istiyorsanız. Hedefleriniz JavaScript ağırlıklıysa, açık beklemeler yazmaya itiraz etmiyorsanız ve kendi altyapınızda gerçek bir başsız tarayıcı çalıştırmak sorun değilse, Crawl4AI güçlü ve iyi bakımı yapılan bir seçenek. Model için Markdown + veritabanı için şema kombinasyonunu tek bir Apache-2.0 kütüphanede sunması ciddi bir kolaylık.

Şu durumda geçin: Milisaniyeler içinde statik HTML çekip tarayıcı yükü istemeyen hafif bir HTTP ayrıştırıcısı arıyorsanız — Crawl4AI bilerek bundan daha ağır. Disk veya bant genişliği konusunda sıkışıksanız ya da iki tarayıcı yığınını anlaşmayı bozan bir unsur olarak gördüğünüz minimal bir container’a dağıtım yapıyorsanız da geçin. Ve özellikle kendini onaran selector’lar arıyorsanız hiç bakmayın — o gerçek bir özellik, sadece bu aracınki değil.

Yönetilen bir API nerede devreye girer — Thunderbit açısı

Web Veri Çıkarma için Thunderbit’i Deneyin

Yukarıdakilerin hepsi tarayıcıyı kendiniz çalıştırmak istediğinizi varsayıyor. Bu meşru bir tercih; pek çok ekip için de doğru olan bu — tam kontrol, çağrı başına maliyet yok, uçtan uca size ait kod. Ama hangi takası yaptığınızı isimlendirmek önemli, çünkü Thunderbit tarafında geliştirici yığınını bunun tam tersine göre tasarladık: tarayıcıyı, anti-bot süreçlerini ve JavaScript render’ını sizin makinenizden tamamen uzak tutmak.

Benzerlik, doğrudan kıyas yapılabilecek kadar yakın. Bizim POST /distill endpoint’imiz, Crawl4AI’nin Markdown yolunun yaptığını yapar — sayfa girer, temiz LLM-dostu Markdown çıkar — ama JS render ve anti-bot katmanı sizin kurduğunuz tarayıcıda değil, bizim tarafımızda çalışır. POST /extract endpoint’imiz ise yapılandırılmış tarafı kapsar; tanımladığınız bir şemaya göre JSON döner ve wait_for’ı elle ayarlamak yerine bir renderMode anahtarı sunar (none, basic, full). İkisinin de toplu sürümleri var. Bir MCP server da mevcut — thunderbit_distill, thunderbit_extract ve ücretsiz thunderbit_suggest_fields — böylece Claude veya Cursor’daki bir agent doğrudan çağrı yapabilir; terminal, CI ve cron için de npx @thunderbit/thunderbit-cli var.

Takas, yükü kimin taşıdığına geliyor. Crawl4AI ücretsiz, açık kaynak ve self-hosted; operasyonel yükü siz taşıyorsunuz — tarayıcı indirmeleri, derin tarama bağlantıları, tüm bunların çalıştığı makine. Bizim geliştirici yığınımız ise yönetilen bir API; yük bizim problemimiz, maliyet de çağrı bazlı kullanıma kayıyor. İkisi de evrensel olarak daha iyi değil. Her katmanı siz sahiplenmek ve istek başına hiçbir şey ödememek istiyorsanız Crawl4AI’yi çalıştırın. Tarayıcı operasyonları yükünden kurtulup sadece bir endpoint çağırmak istiyorsanız yönetilen yolun anlamı bu. 100.000+ kullanıcıya sahip uzantımızı besleyen aynı motor API’nin arkasında yer alıyor; yani burada oyuncak bir seviye yok.

Kategorinin bütünüyle ilgileniyorsanız, kendi yazılarımızdaki AI web scraping ve yan yana test ettiğimiz açık kaynak GitHub scraper’ları konuları, bunu bambaşka bir makaleye çevirmeden burada anlatabileceğimden daha derine iniyor.

Sonuç: Crawl4AI kullanmalı mısınız?

Evet — eğer aynı render edilmiş sayfadan LLM-dostu Markdown ve yapılandırılmış JSON almak isteyen, RAG veya agent tabanlı işler geliştiren ve kendi altyapınızda gerçek bir başsız tarayıcı çalıştırmayı kabul eden bir geliştiriciyseniz. Testlerimde çekirdek tam olarak vaat ettiğini yaptı: statik çıkarımda 6/6, açık bekleme ile dinamik sayfalarda 8/8, canlı bir katalogdan 13.476 karakter Markdown ve temiz toplu tarama. Bu, ciddi iş yapan sağlam, iyi lisanslı ve aktif biçimde bakımı yapılan bir araç.

Yalnızca üç şeyi net bilerek girerseniz sorun yaşamazsınız: kurulum diskinize iki tarayıcı yığını bırakır, derin tarama keşfedilen dinamik sayfalar için otomatik beklemez ve ince bir hata sayfası yanıltıcı biçimde “anti-bot” etiketi taşıyabilir. Bunların hiçbiri tek başına vazgeçme sebebi değil. Hepsi, mucize beklemekle gerçek aracı kullanmak arasındaki fark — ki bu araç, tekrar söyleyelim, bir tarayıcı, bir Markdown dönüştürücü ve sizin koruduğunuz selector’lardan ibaret. Bunu böyle anlarsanız, canlı sayfaları bir modelin kullanabileceği metne dönüştürmenin en iyi yollarından biridir.

Bu, tek bir test çalıştırmasına dayanan geçici bir okuma. Bin sayfalık bir crawl ile stres test etmedim, içerik filtrelerini çalıştırmadım, LLM çıkarma yoluna ya da Docker server moduna dokunmadım. Benim kafamdaki notu “güçlü, ama hâlâ yapılacak ödev var” diye düşünün; tam not gibi değil. Ayrıca herhangi bir metni alıntılayacaksanız yıldız sayısını ve sürümü tekrar kontrol edin, çünkü ikisi de değişiyor.

Web Veri Çıkarma için Thunderbit’i Deneyin Get Started Free

SSS

Crawl4AI’de self-healing veya adaptif selector’lar var mı? Hayır. Hakkındaki en yaygın yanlış anlama bu. Crawl4AI, sizin yazıp koruduğunuz statik CSS/XPath şemaları kullanır — bir site selector’larınıza dayanak olan sınıf adlarını değiştirirse, siz şemayı düzeltene kadar çıkarım bozulur. Adaptif, yerini kendi bulan selector’lar başka bir aracın özelliği (Scrapling), Crawl4AI’nin değil.

Crawl4AI çalıştırmak için tam bir tarayıcı gerekiyor mu? Pratikte evet. Çekirdek değeri JavaScript’i gerçek bir tarayıcıyla render etmesi olduğundan, crawl4ai-setup iki tarayıcı yığını (Playwright ve Patchright) ile birlikte FFmpeg ve Headless Shell indirir. Tarayıcı ayak izi olmayan küçücük bir HTTP-only ayrıştırıcı istiyorsanız Crawl4AI yanlış formdadır; daha hafif bir çerçeve aramalısınız.

Crawl4AI neden engellenmemiş bir sayfada “anti-bot protection” dedi? Yapısal sezgisi, görünür metni çok az olan sayfaları işaretliyor ve ürettiği mesajda anti-bot protection ifadesi geçiyor. Benim testimde, neredeyse hiç içerik içermeyen bilerek oluşturulmuş bir HTTP 500 sayfası bu etiketi aldı; oysa isteği engelleyen hiçbir şey yoktu. Bir sitenin size gerçekten engel olduğunu düşünmeden önce mutlaka durum kodunu ve gerçek bağlamı kontrol edin — bazen mesele sadece ince ya da bozuk bir sayfadır.

Crawl4AI’nin derin taraması JavaScript sayfalarını otomatik olarak ele alıyor mu? Kendi başına hayır. Açık bir wait_for ile yapılan doğrudan tarama dinamik sayfamda 8/8 sonuç verdi; ama aynı sayfayı keşfeden BFS derin taraması başarısız oldu — 5 sayfa bulundu, 3’ü başarılı, 2’si başarısız — çünkü JavaScript render tamamlanmadan sayfayı fazla ince bulup bıraktı. Derin taramanız dinamik sayfaları kapsayacaksa beklemeyi bilinçli biçimde yapılandırmanız gerekir.

Crawl4AI, Thunderbit gibi yönetilen bir scraping API’den nasıl farklı? Crawl4AI ücretsiz, açık kaynak ve self-hosted’dir — tarayıcıyı ve altyapıyı kendiniz çalıştırır ve korursunuz; çağrı başına maliyet yoktur. Thunderbit’in geliştirici yığını (/distill Markdown için, /extract yapılandırılmış JSON için, ayrıca MCP ve CLI) ise render, anti-bot yönetimi ve tarayıcı operasyonlarının bizim tarafımızda yürüdüğü, sizin de çağrı bazında ödeme yaptığınız yönetilen bir API’dir. Takas, tam kontrol ve istek başına sıfır maliyet ile operasyonel yükü dışarı aktarmak arasındadır.