n8n ile Web Scraping’de Ustalaşın: Otomasyon İş Akışları

Son güncelleme: April 14, 2026

Birkaç ay önce kullanıcılarımızdan biri bize 14 düğümlü, yarım düzine yapışkan notlu ve konu satırında sadece şu yazan bir n8n iş akışının ekran görüntüsünü gönderdi: "Yardım." Popüler bir n8n web scraping eğitimini izlemişler, test sitesinde güzel çalışan 10 satırlık bir demo kurmuşlar ve ardından 200 ürün sayfası üzerinden gerçek rakip fiyatlarını çekmeye kalkışmışlardı. Sonuç mu? Bozulan bir sayfalama döngüsü, 403 hata duvarı ve ilk Salı’dan sonra bir daha tetiklenmeyen sessiz bir zamanlayıcı.

Demo ile gerçek üretim hattı arasındaki o boşluk, çoğu n8n scraping projesinin tıkandığı yer. Yıllardır geliştiriyor ve otomasyon alanında çalışıyorum; şunu rahatlıkla söyleyebilirim: zor olan kısım genelde veri çekme kısmı değil. İnsanları asıl zorlayan, ilk başarılı çekimden sonra gelen her şey: sayfalama, zamanlama, bot engelleri, veri temizleme, dışa aktarma ve en önemlisi — sitenin bu çeyrekte üçüncü kez tasarımını değiştirmesiyle birlikte bakım. Bu rehber, ilk HTTP Request düğümünüzden başlayıp düzenli çalışan, üretime hazır bir n8n web scraping iş akışına kadar tüm süreci kapsıyor. n8n’in kendin yap yaklaşımının duvara tosladığı yerlerde ise Thunderbit gibi yapay zekâ destekli araçların size nasıl saatlerce, hatta günlerce süren uğraşı kurtarabileceğini göstereceğim.

n8n Web Scraping Nedir? (Ve Neden Çoğu Eğitim Sadece Yüzeyde Kalır)

n8n, açık kaynaklı ve düşük kodlu bir iş akışı otomasyon platformudur. Bunu, her biri belirli bir iş yapan düğümleri bir araya getirip görsel bir tuval üzerinde zincirlediğiniz bir sistem gibi düşünebilirsiniz: web sayfası çekme, HTML ayrıştırma, Slack mesajı gönderme, Google Sheets’e yazma gibi. Ağır kodlama gerekmez; ancak gerektiğinde JavaScript ekleyebilirsiniz.

"n8n web scraping", n8n’in yerleşik HTTP Request ve HTML düğümlerini (artı topluluk düğümlerini) kullanarak web sitesi verisini bu otomatik iş akışları içinde çekmek, ayrıştırmak ve işlemek anlamına gelir. Temel yapı iki adımdan oluşur: Çekme (HTTP Request düğümü bir URL’den ham HTML alır) ve Ayrıştırma (HTML düğümü CSS seçicilerle ürün adı, fiyat, e-posta gibi istediğiniz verileri çıkarır).

Platform oldukça büyük: Nisan 2026 itibarıyla n8n’in , 230 binden fazla aktif kullanıcısı, 9.166’dan fazla topluluk iş akışı şablonu var ve neredeyse her hafta yeni bir küçük sürüm yayınlıyor. Mart 2025’te yatırım aldı. Kısacası ciddi bir ivme var.

Ama kimsenin pek konuşmadığı bir boşluk da var. dev.to’daki en popüler n8n scraping eğitimi (Lakshay Nasa tarafından, "Extract by Zyte" organizasyonu altında yayınlanan) sayfalama desteğini "Bölüm 2"’ye bırakıyordu. O bölüm gerçekten geldi — ve yazarın kendi değerlendirmesi şuydu: "n8n, HTTP Request düğümünün Options altında varsayılan bir Pagination Mode sunuyor ve kulağa pratik gelse de, tipik web scraping kullanım senaryolarında benim deneyimimde güvenilir çalışmadı." Sonunda sayfalama işini ücretli bir üçüncü taraf API’ye yönlendirmek zorunda kaldı. Bu sırada n8n forum kullanıcıları hâlâ "sayfalama, hız sınırı, giriş" konularını n8n scraping’in "kolayca karmaşıklaştığı" nokta olarak gösteriyor. Bu rehber o boşluğu doldurmak için hazırlandı.

n8n Web Scraping Neden Satış, Operasyon ve E-ticaret Ekipleri İçin Önemli?

n8n web scraping geliştiricilere özel bir hobi değil. Bu bir iş aracıdır. 2025’te yaklaşık 1–1,3 milyar dolar seviyesinde ve 2030’a kadar 2–2,3 milyar dolara ulaşması bekleniyor. Dinamik fiyatlama tek başına e-ticaret işletmelerinin yaklaşık tarafından kullanılıyor ve artık alternatif verilere dayanıyor — bunun büyük kısmı web’den çekiliyor. McKinsey’e göre dinamik fiyatlama benimseyenlere sağlıyor.

n8n’in asıl gücü burada ortaya çıkıyor: mesele sadece veri almak değil. Asıl önemli olan, sonrasında ne olduğudur. n8n, scraping’i CRM güncellemeleri, Slack uyarıları, tablo dışa aktarımları, yapay zekâ analizleri gibi downstream işlemlerle tek bir iş akışında birleştirmenize izin verir.

Kullanım SenaryosuKimler FaydalanırNe Çekilirİş Sonucu
Lead oluşturmaSatış ekipleriİş dizinleri, iletişim sayfalarıCRM’i nitelikli lead’lerle doldurur
Rakip fiyat takibiE-ticaret operasyonlarıÜrün listeleme sayfalarıFiyatları anlık ayarlar
Emlak ilanı takibiEmlak danışmanlarıZillow, Realtor, yerel MLS siteleriRakiplerden önce yeni ilanları görür
Pazar araştırmasıPazarlama ekipleriYorum siteleri, forumlar, haberlerTrendleri ve müşteri duyarlılığını tespit eder
Tedarikçi/SKU stok takibiTedarik zinciri operasyonlarıTedarikçi ürün sayfalarıStok tükenmesini önler, satın almayı optimize eder

Veriler ROI’nin gerçek olduğunu gösteriyor: satış ekiplerinin 2025’te yapay zekâ yatırımını artırmayı planlıyor ve otomatik lead nurturing’in dokuz ay içinde pipeline’ı gösterildi. Ekibiniz hâlâ web sitelerinden kopyala-yapıştır yöntemiyle Excel’e veri taşıyorsa, ciddi para masada kalıyor.

n8n Web Scraping Araç Setiniz: Temel Düğümler ve Kullanılabilir Çözümler

Bir şey inşa etmeden önce elinizde neler olduğunu bilmeniz gerekir. Web scraping için gerekli temel n8n düğümleri şunlardır:

  • HTTP Request düğümü: Herhangi bir URL’den ham HTML çeker. Bir tarayıcının sayfa isteği göndermesine benzer, ancak sayfayı render etmek yerine kodu döndürür. GET/POST, header’lar, toplu işleme ve teoride yerleşik sayfalama destekler.
  • HTML düğümü (eski adıyla "HTML Extract"): CSS seçiciler kullanarak başlıklar, fiyatlar, bağlantılar, görseller gibi ihtiyaç duyduğunuz belirli verileri HTML’den çıkarır.
  • Code düğümü: Veri temizleme, URL normalleştirme, tekrarları kaldırma ve özel mantık için JavaScript parçacıkları yazmanıza izin verir.
  • Edit Fields (Set) düğümü: Alanları yeniden düzenler veya yeniden adlandırır.
  • Split Out düğümü: Dizileri tek tek öğelere ayırır.
  • Convert to File düğümü: Yapılandırılmış veriyi CSV, JSON vb. olarak dışa aktarır.
  • Loop Over Items düğümü: Listeler üzerinde döngü kurar (sayfalama için kritik — birazdan değineceğiz).
  • Schedule Trigger: İş akışınızı cron zamanlamasıyla tetikler.
  • Error Trigger: İş akışı başarısız olduğunda sizi uyarır (üretim için vazgeçilmezdir).

JavaScript render eden veya güçlü bot koruması olan gelişmiş siteler için topluluk düğümlerine ihtiyacınız olur:

YaklaşımEn Uygun Olduğu DurumYetenek SeviyesiJS ile Render Edilen Siteleri Destekler miBot Engeli Yönetimi
n8n HTTP Request + HTML düğümleriStatik siteler, API’lerBaşlangıç–OrtaHayırManuel (header’lar, proxy’ler)
n8n + ScrapeNinja/Firecrawl topluluk düğümüDinamik/korumalı sitelerOrtaEvetYerleşik (proxy rotasyonu, CAPTCHA)
n8n + Headless Browser (Puppeteer)Karmaşık JavaScript etkileşimleriİleriEvetKısmi (kuruluma bağlı)
Thunderbit (AI Web Scraper)Her site, teknik olmayan kullanıcılarBaşlangıçEvet (Tarayıcı veya Bulut modu)Yerleşik (tarayıcı oturumunu veya bulut işleme mantığını kullanır)

n8n v2.15.1 itibarıyla yerleşik bir headless browser düğümü yoktur. JS render eden her çekim için ya topluluk düğümü ya da dış bir API gerekir.

Thunderbit hakkında kısa bir not: Bu, ekibimizin geliştirdiği yapay zekâ destekli bir . "AI Suggest Fields"e tıklarsınız, ardından "Scrape" dersiniz ve yapılandırılmış veri elde edersiniz — CSS seçici yok, düğüm ayarı yok, bakım yok. Bu rehber boyunca nerede iyi çalıştığını, nerede n8n’in daha doğru tercih olduğunu göstereceğim.

Adım Adım: İlk n8n Web Scraping İş Akışınızı Kurun

Araç seti tamam olduğuna göre, sıfırdan çalışan bir n8n web scraper’ı nasıl kuracağımıza bakalım. Örnek olarak bir ürün listeleme sayfası kullanacağım — fiyat takibi ya da rakip araştırması için gerçekten scrape edeceğiniz türden bir sayfa.

Başlamadan Önce:

  • Zorluk: Başlangıç–Orta
  • Gerekli Süre: Yaklaşık 20–30 dakika
  • Gerekenler: n8n (self-hosted veya Cloud), hedef URL, Chrome tarayıcısı (CSS seçicileri bulmak için)

1. Adım: Yeni Bir İş Akışı Oluşturun ve Manuel Tetikleyici Ekleyin

n8n’i açın, "New Workflow"’a tıklayın ve açıklayıcı bir isim verin — örneğin "Rakip Fiyat Scraper". Bir Manual Trigger düğmesi sürükleyin. (Birazdan bunu zamanlanmış tetikleyiciyle değiştireceğiz.)

Tuvalinizde tek bir düğüm görmelisiniz; "Test Workflow"’a tıkladığınızda çalışmaya hazır olur.

2. Adım: Sayfayı HTTP Request Düğümü ile Çekin

Bir HTTP Request düğümü ekleyin ve Manual Trigger’a bağlayın. Yöntemi GET olarak ayarlayın ve hedef URL’nizi girin (ör. https://example.com/products).

Şimdi çoğu eğitimin atladığı kritik adım: gerçekçi bir User-Agent header’ı ekleyin. Varsayılan olarak n8n, user agent olarak axios/xx gönderir — bu da bot olduğu hemen anlaşılır. "Headers" altında şunu ekleyin:

Header AdıDeğer
User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36
Accepttext/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8

Birden fazla URL çekiyorsanız, Batching özelliğini (Options altında) etkinleştirin ve istekler arasına 1–3 saniyelik bekleme koyun. Bu, hız sınırlarını tetiklemeyi önlemeye yardımcı olur.

Düğümü çalıştırın. Çıktı panelinde ham HTML görmelisiniz.

3. Adım: HTML Düğümü ile Veriyi Ayrıştırın

HTTP Request çıktısına bir HTML düğümü bağlayın. İşlemi Extract HTML Content olarak ayarlayın.

Doğru CSS seçicileri bulmak için hedef sayfayı Chrome’da açın, istediğiniz veriye sağ tıklayın (ör. ürün başlığı) ve "Inspect" seçin. Elements panelinde vurgulanan HTML öğesine sağ tıklayın ve "Copy → Copy selector" yolunu izleyin.

Çıkartma alanlarınızı şu şekilde yapılandırın:

AnahtarCSS SeçiciDöndürdüğü Değer
product_name.product-titleMetin
price.price-currentMetin
url.product-linkAttribute: href

Düğümü çalıştırın. Çıktıda ürün adları, fiyatlar ve URL’lerden oluşan yapılandırılmış bir tablo görmelisiniz.

4. Adım: Code Düğümü ile Temizleyin ve Normalleştirin

Ham scrape verisi dağınıktır. Fiyatlarda ekstra boşluklar olabilir, URL’ler göreli olabilir ve metin alanlarının sonunda gereksiz satır sonları bulunabilir. Bir Code düğümü ekleyip HTML düğümüne bağlayın.

İşte veriyi temizlemek için basit bir JavaScript örneği:

1return items.map(item => {
2  const d = item.json;
3  return {
4    json: {
5      product_name: (d.product_name || '').trim(),
6      price: parseFloat((d.price || '').replace(/[^0-9.]/g, '')),
7      url: d.url && d.url.startsWith('http') ? d.url : `https://example.com${d.url}`
8    }
9  };
10});

Bu adım, üretim kalitesinde veri için çok önemlidir. Atlarsanız, elektronik tablonuz "$ 29.99\n" gibi girdilerle dolup taşar.

5. Adım: Google Sheets, Airtable veya CSV Olarak Dışa Aktarın

Bir Google Sheets düğümü (veya Airtable ya da CSV için Convert to File) bağlayın. Google hesabınızla kimlik doğrulaması yapın, elektronik tablo ve sayfanızı seçin, ardından Code düğümü çıktısındaki alanları sütun başlıklarınıza eşleyin.

Tüm iş akışını çalıştırın. Temiz ve yapılandırılmış verinin elektronik tablonuza aktığını görmelisiniz.

Küçük not: sağlar; Google Sheets, Airtable, Notion ve Excel’e aktarım yapabilirsiniz. Tam iş akışı zincirine ihtiyacınız yoksa ve sadece veriyi almak istiyorsanız bu oldukça pratik bir kestirme yoldur.

Her n8n Web Scraping Eğitiminde Atlanan Kısım: Tam Sayfalama İş Akışları

Sayfalama, n8n scraping içeriklerinde bir numaralı boşluk; n8n topluluk forumlarındaki bir numaralı sinir bozucu konu.

İki ana sayfalama kalıbı vardır:

  1. Tıklama tabanlı / URL artırmalı sayfalama?page=1, ?page=2 gibi sayfalar.
  2. Sonsuz kaydırma — içerik aşağı kaydırdıkça yüklenir (Twitter, Instagram veya modern ürün katalogları gibi).

n8n’de Tıklama Tabanlı Sayfalama (Loop Düğümleriyle URL Artırma)

HTTP Request düğümünün Options menüsündeki yerleşik Pagination seçeneği kulağa kullanışlı gelir. Pratikte ise güvenilir değildir. En popüler n8n scraping eğitimi yazarı (Lakshay Nasa) bunu denedi ve şunu yazdı: "benim deneyimimde güvenilir çalışmadı." Forum kullanıcıları bunun , ve son sayfayı algılayamadığını raporluyor.

n8n-pagination-chain-workflow.webp

Güvenilir yöntem şu: URL listesini bir Code düğümünde açıkça oluşturun, ardından Loop Over Items ile döngüye sokun.

Nasıl yapılır:

  1. Bir Code düğümü ekleyin ve sayfa URL’lerinizi üretin:
1const base = 'https://example.com/products';
2const totalPages = 10; // ya da dinamik olarak tespit edin
3return Array.from({length: totalPages}, (_, i) => ({
4  json: { url: `${base}?page=${i + 1}` }
5}));
  1. Bir Loop Over Items düğümü bağlayın ve liste üzerinde dolaşın.
  2. Döngünün içine HTTP Request düğümünüzü ekleyin (URL’yi {{ $json.url }} olarak ayarlayın), ardından ayrıştırma için HTML düğümünü ekleyin.
  3. 429 hız sınırlarını önlemek için döngü içine bir Wait düğümü ekleyin (1–3 saniye, rastgeleleştirilmiş).
  4. Döngüden sonra sonuçları birleştirin ve Google Sheets veya CSV’ye aktarın.

Tam zincir şu şekildedir: Code (URL’leri oluştur) → Loop Over Items → HTTP Request → HTML → Wait → (döngüye geri dön) → Birleştir → Dışa aktar.

Bir uyarı: Loop Over Items düğümünde, iç içe döngülerin öğeleri sessizce atladığına dair var. Hem sayfalama yapıp hem de alt sayfaları zenginleştiriyorsanız dikkatlice test edin — "tamamlandı" sayısı giriş sayınızla eşleşmeyebilir.

Sonsuz Kaydırmalı Sayfalama: n8n’in Yerleşik Düğümleri Neden Zorlanır?

Sonsuz kaydırma sayfaları, siz aşağı kaydırdıkça JavaScript ile içerik yükler. HTTP Request düğümü yalnızca ilk HTML’i çeker — JavaScript çalıştıramaz, kaydırma olaylarını tetikleyemez. İki seçeneğiniz var:

  • Sayfayı render etmek ve kaydırmayı simüle etmek için headless browser topluluk düğümü kullanın (ör. veya ).
  • JS rendering açık bir scraping API (ScrapeNinja, Firecrawl, ZenRows) kullanın.

Her ikisi de ciddi karmaşıklık ekler. Site başına 30–60+ dakikalık kurulum ve devam eden bakım anlamına gelir.

Thunderbit Sayfalama İşini Nasıl Ayarsız Halletir?

Taraflıyım, ama fark çok net:

Yetenekn8n (Kendin Yap İş Akışı)Thunderbit
Tıklama tabanlı sayfalamaManuel döngü kurulumu, URL artırmaOtomatik — sayfalamayı algılar ve takip eder
Sonsuz kaydırma sayfalarıHeadless browser + topluluk düğümü gerekirYerleşik destek, konfigürasyon gerekmez
Kurulum çabasıSite başına 30–60 dk2 tık
Toplu iş başına sayfa sayısıSıralı (birer birer)Aynı anda 50 sayfa (Bulut Scraping)

10 sayfalık listeler üzerinde 200 ürün sayfası çekiyorsanız, n8n size tüm bir öğleden sonrayı alabilir. Thunderbit bunu yaklaşık iki dakikada yapar. Bu n8n’e eleştiri değil; sadece farklı bir iş için farklı bir araç.

Kur ve Unut: Cron Tetiklemeli n8n Web Scraping Hatları

Tek seferlik scraping faydalıdır, ama n8n web scraping’in asıl gücü düzenli ve otomatik veri toplamadır. Şaşırtıcı biçimde, neredeyse hiçbir n8n scraping eğitimi scraping için Schedule Trigger kullanımını ele almıyor — oysa toplulukta en çok talep edilen özelliklerden biri bu.

Günlük Fiyat İzleme Hattı Kurmak

Manual Trigger’ınızı bir Schedule Trigger düğümüyle değiştirin. n8n arayüzünü kullanabilirsiniz ("Her gün 08:00’de") ya da bir cron ifadesi (0 8 * * *).

Tam iş akışı zinciri:

  1. Schedule Trigger (her gün sabah 8)
  2. Code düğümü (sayfalanmış URL’leri üret)
  3. Loop Over Items → HTTP Request → HTML → Wait (tüm sayfaları çek)
  4. Code düğümü (veriyi temizle, fiyatları normalleştir)
  5. Google Sheets (yeni satırları ekle)
  6. IF düğümü (herhangi bir fiyat eşik değerin altına indi mi?)
  7. Slack (evetse uyarı gönder)

Ayrıca bir Error Trigger iş akışı kurup herhangi bir başarısız çalışmada Slack’e ping atmasını sağlayın. Aksi halde, seçiciler bozulduğunda (bozulacaklar), bunu ancak üç hafta sonra rapor boş geldiğinde fark edersiniz.

İki önemli ama ilk bakışta fark edilmeyen gereksinim var:

  • n8n 7/24 çalışır durumda olmalı. Laptop üzerinde self-host etmek, kapak kapandığında tetikleyici çalışmaması demektir. Sunucu, Docker ya da n8n Cloud kullanın.
  • Her iş akışı düzenlemesinden sonra workflow’u kapatıp yeniden açın. n8n Cloud’da var: düzenleme sonrası zamanlayıcılar sessizce kayıttan düşebiliyor ve hiç hata vermiyor.

Haftalık Lead Çıkarma Hattı Kurmak

Aynı desen, farklı hedef: Schedule Trigger (her Pazartesi 09:00) → HTTP Request (iş dizini) → HTML (ad, telefon, e-posta çıkar) → Code (tekrarları kaldır, biçimlendirmeyi temizle) → Airtable veya HubSpot’a aktarım.

n8n-vs-thunderbit-scheduled-scraping.webp

Buradaki asıl gizli maliyet bakım yükü. Dizin sitesinin tasarımı değişirse CSS seçicileriniz bozulur ve iş akışı sessizce başarısız olur. HasData, herhangi bir seçici tabanlı hat için ilk kurulum süresinin yıllık bakım için oranında ek bütçelenmesi gerektiğini tahmin ediyor. Yaklaşık 20 siteyi yönetmeye başladığınızda bu yük gerçekten hissedilir.

Thunderbit’in Scheduled Scraper’ı: Kod Gerektirmeyen Alternatif

Thunderbit’in Scheduled Scraper özelliği, aralığı doğal dille tanımlamanıza izin verir (ör. "her Pazartesi saat 9’da"), URL’lerinizi girersiniz ve "Schedule" dersiniz. Bulutta çalışır — hosting yok, cron ifadesi yok, sessizce kayıttan düşen zamanlayıcı yok.

Boyutn8n Zamanlanmış İş AkışıThunderbit Scheduled Scraper
Zamanlama kurulumuCron ifadesi veya n8n zamanlama arayüzüDoğal dille tanımlama
Veri temizlemeManuel Code düğümü gerekirYapay zekâ otomatik temizler/etiketler/çevirir
Dışa aktarım hedefleriEntegrasyon düğümleri gerekirGoogle Sheets, Airtable, Notion, Excel (ücretsiz)
Hosting gereksinimiSelf-hosted veya n8n CloudYok — bulutta çalışır
Site değişikliklerinde bakımSeçiciler bozulur, manuel düzeltme gerekirAI siteyi her seferinde yeniden okur

En önemli olan son satır. Forum kullanıcıları bunu açıkça söylüyor: "Site tasarımını değiştirene kadar çoğu gayet iyi." Thunderbit’in yapay zekâ tabanlı yaklaşımı bu acıyı ortadan kaldırır; çünkü sabit CSS seçicilere bağlı değildir.

n8n Web Scraper’ınız Engellendiğinde: Bot Karşıtı Sorun Giderme Rehberi

Engellenmek, sayfalamadan sonraki bir numaralı sinir bozucu sorundur. Klasik tavsiye — "User-Agent header’ı ekle" — kasırgaya karşı sineklik kapı kilitlemek kadar faydalıdır.

Imperva 2025 Bad Bot Report’a göre, oluşturuyor ve bunun kötü niyetli. Bot karşıtı sağlayıcılar (Cloudflare, Akamai, DataDome, HUMAN, PerimeterX) TLS parmak izi alma, JavaScript meydan okumaları ve davranışsal analizle karşılık verdi. Altta Axios kütüphanesini kullanan n8n HTTP Request düğümü, tarayıcı olmayan, kolayca ayırt edilebilen bir TLS parmak izi üretir. User-Agent header’ını değiştirmek hiçbir şeyi çözmez — daha hiçbir HTTP header okunmadan sizi ele verir.

Bot Karşıtı Karar Ağacı

İşte sistematik bir sorun giderme çerçevesi — sadece "User-Agent ekle" demekten daha fazlası:

İstek engellendi mi?

  • 403 Forbidden → User-Agent + Accept header’larını ekleyin (yukarıdaki 2. adıma bakın) → Hâlâ engelleniyor mu?
    • Evet → Residential proxy rotasyonu ekleyin → Hâlâ engelleniyor mu?
      • Evet → Bir scraping API’ye (ScrapeNinja, Firecrawl, ZenRows) veya headless browser topluluk düğümüne geçin
      • Hayır → Devam edin
    • Hayır → Devam edin
  • CAPTCHA çıkıyor → Yerleşik CAPTCHA çözümü olan bir scraping API kullanın (örn. )
  • Boş yanıt (JS ile render edilen içerik) → Headless browser topluluk düğümü veya JS rendering destekli scraping API kullanın
  • Hız sınırına takılıyor (429 hatası) → HTTP Request düğümünde batching’i açın, batch’ler arasında 2–5 saniye bekleyin, eşzamanlılığı azaltın

Bir önemli tuzak daha: n8n’de var; HTTP Request düğümü HTTPS trafiğini HTTP proxy üzerinden doğru şekilde tünelleyemeyebiliyor. Aynı container içinde curl sorunsuz çalışsa bile Axios TLS handshake sırasında başarısız olabiliyor. Proxy kullanıyorsanız ve gizemli bağlantı hataları alıyorsanız, sebep büyük olasılıkla bu.

Thunderbit Çoğu Bot Karşıtı Sorunu Nasıl Aşar?

Thunderbit iki scraping modu sunar:

  • Browser Scraping: Gerçek Chrome tarayıcınızın içinde çalışır, oturum çerezlerinizi, giriş durumunuzu ve tarayıcı parmak izinizi devralır. Bu, sunucu tarafı istekleri engelleyen birçok bot karşıtı önlemi aşar — çünkü istek gerçek bir tarayıcıdan gelir.
  • Cloud Scraping: Herkese açık siteler için Thunderbit’in bulut altyapısı bot karşıtı engelleri ölçekli biçimde yönetir — .

Cloudflare ile uğraşmaya veri analizinden daha fazla zaman harcıyorsanız, bu oldukça pratik bir alternatiftir.

Dürüst Değerlendirme: n8n Web Scraping Ne Zaman İşe Yarar, Ne Zaman Başka Bir Şey Seçilmeli?

n8n harika bir platform. Ama her scraping işi için doğru araç değil; rakip içeriklerin çoğu bu konuda dürüst davranmıyor. Kullanıcılar forumlarda açık açık şunu soruyor: "n8n ile web scraper oluşturmak ne kadar zor?" ve "n8n ile en iyi hangi scraping aracı çalışır?"

n8n Web Scraping’in Parladığı Yerler

  • Scraping’i CRM güncelleme, Slack uyarısı, AI analizi, veritabanına yazma gibi downstream işlemlerle birleştiren çok adımlı iş akışları. Bu, n8n’in temel gücüdür.
  • Scraping’in daha büyük bir otomasyon zincirinde sadece bir düğüm olduğu senaryolar — çek → zenginleştir → filtrele → CRM’e gönder.
  • CSS seçiciler ve düğüm mantığı konusunda rahat olan teknik kullanıcılar.
  • Scraping ile depolama arasında özel veri dönüşümü gerektiren durumlar.

n8n Web Scraping’in Can Sıkıcı Olduğu Yerler

  • Veriyi hızlıca isteyen teknik olmayan kullanıcılar. Düğüm kurulumu, CSS seçici bulma ve hata ayıklama süreci iş kullanıcıları için oldukça dik bir öğrenme eğrisine sahip.
  • Güçlü bot koruması olan siteler. Proxy ve API ekleri maliyeti ve karmaşıklığı artırır.
  • Site tasarımı değiştiğinde bakım. CSS seçiciler bozulur, iş akışları sessizce başarısız olur.
  • Çok farklı site türlerinde toplu scraping. Her site için ayrı seçici konfigürasyonu gerekir.
  • Alt sayfa zenginleştirme. n8n içinde ayrı alt iş akışları kurmayı gerektirir.

Yan Yana Karşılaştırma: n8n vs. Thunderbit vs. Python Scriptleri

Kritern8n Kendin Yap ScrapingThunderbitPython Scripti
Gerekli teknik beceriOrta seviye (düğümler + CSS seçiciler)Yok (AI alanları önerir)Yüksek (kodlama)
Yeni site başına kurulum süresi30–90 dkYaklaşık 2 dk1–4 saat
Bot karşıtı yönetimManuel (header’lar, proxy’ler, API’ler)Yerleşik (tarayıcı/bulut modları)Manuel (kütüphaneler)
Site değiştiğinde bakımManuel seçici güncellemeSıfır — AI otomatik uyum sağlarManuel kod güncelleme
Çok adımlı iş akışı desteğiMükemmel (temel güç)Google Sheets/Airtable/Notion’a dışa aktarımÖzel kod gerekir
Ölçeklenince maliyetn8n hosting + proxy/API maliyetleriKredi tabanlı (satır başına yaklaşık 1 kredi)Sunucu + proxy maliyetleri
Alt sayfa zenginleştirmeManuel — ayrı alt iş akışı kurulurTek tıkla alt sayfa scrapingÖzel betikleme

Çıkarım şu: scraping, daha büyük ve çok adımlı bir otomasyon zincirinin parçasıysa n8n kullanın. İş akışı kurmadan hızlı veri çekmeniz gerekiyorsa Thunderbit kullanın. Maksimum kontrol ve geliştirici kaynağınız varsa Python kullanın. Bunlar rakip değil, birbirini tamamlayan araçlar.

n8n-thunderbit-python-comparison.webp

Gerçek Hayattan n8n Web Scraping İş Akışları: Doğrudan Kopyalayabilirsiniz

Forum kullanıcıları sürekli şu soruyu soruyor: "Bunları çok adımlı iş akışlarına zincirleyen oldu mu?" Aşağıda bugün kurabileceğiniz üç somut iş akışı var — gerçek düğüm dizileriyle.

İş Akışı 1: E-ticaret Rakip Fiyat İzleyici

Amaç: Rakip fiyatlarını günlük takip etmek ve düştüklerinde uyarı almak.

Düğüm zinciri: Schedule Trigger (günlük, sabah 8) → Code (sayfalanmış URL’leri üret) → Loop Over Items → HTTP Request → HTML (ürün adı, fiyat, stok durumu çıkar) → Wait (2 sn) → (döngüye geri dön) → Code (veriyi temizle, fiyatları normalleştir) → Google Sheets (satır ekle) → IF (fiyat eşik altı mı?) → Slack (uyarı gönder)

Karmaşıklık: 8–10 düğüm, rakip site başına 30–60 dk kurulum.

Thunderbit kestirmesi: Thunderbit’in Scheduled Scraper’ı + popüler e-ticaret siteleri için benzer sonuçları dakikalar içinde, Google Sheets’e ücretsiz dışa aktarımla sağlayabilir.

İş Akışı 2: Satış Lead Oluşturma Hattı

Amaç: Bir iş dizinini haftalık çekmek, lead’leri temizleyip kategorize etmek, CRM’e aktarmak.

Düğüm zinciri: Schedule Trigger (haftalık, Pazartesi 9 AM) → HTTP Request (iş dizini listeleme sayfası) → HTML (ad, telefon, e-posta, adres çıkar) → Code (tekrarları kaldır, biçimlendirmeyi temizle) → OpenAI/Gemini düğümü (sektöre göre kategorize et) → HubSpot düğümü (iletişim oluştur)

Not: n8n’in yerleşik bir var — CRM’e veri aktarmak için kullanışlıdır. Ancak scraping ve temizleme adımları yine manuel CSS seçici çalışması ister.

Thunderbit kestirmesi: Thunderbit’in ücretsiz ve Phone Number Extractor araçları, bir iş akışı kurmadan 1 tıkla iletişim bilgisi çekebilir. AI etiketleme özelliği lead’leri çekim sırasında kategorize edebilir. Tam otomasyon zincirine ihtiyaç duymayan kullanıcılar n8n kurulumunu tamamen atlayabilir.

İş Akışı 3: Yeni Emlak İlanı Takibi

Amaç: Zillow veya Realtor.com’daki yeni ilanları haftalık tespit etmek ve özet e-posta göndermek.

Düğüm zinciri: Schedule Trigger (haftalık) → HTTP Request (ilan sayfaları) → HTML (adres, fiyat, yatak odası sayısı, bağlantı çıkar) → Code (veriyi temizle) → Google Sheets (satır ekle) → Code (geçen haftanın verisiyle karşılaştır, yeni ilanları işaretle) → IF (yeni ilan bulundu mu?) → Gmail/SendGrid (özet gönder)

Not: Thunderbit’in Zillow gibi siteler için var — CSS seçici gerekmez. Tam otomasyon zincirine (çek → karşılaştır → uyar) ihtiyaç duyanlar n8n’den, yalnızca ilan verisini isteyenler ise Thunderbit’ten fayda görür.

Daha fazla ilham için n8n’in topluluk kütüphanesinde , ve şablonları var.

n8n Web Scraping Hatlarınızı Sorunsuz Çalıştırmak İçin İpuçları

Üretim scraping’inde işin yüzde 20’si kurulum, yüzde 80’i bakımdır.

Hız Sınırlarından Kaçınmak İçin Toplu İşleme ve Gecikme Kullanın

HTTP Request düğümünde batching’i etkinleştirin ve batch’ler arasında 1–3 saniyelik bekleme koyun. Eşzamanlı istekler, IP ban yemenin en hızlı yoludur. Buradaki biraz sabır, sonradan çok acı çektirmez.

Sessiz Başarısızlıklar İçin İş Akışı Çalışmalarını İzleyin

Başarısız çalışmaları kontrol etmek için n8n’in Executions sekmesini kullanın. Bir site tasarımını değiştirdiğinde scrape edilen veri sessizce boş dönebilir — iş akışı "başarılı" görünür ama elektronik tablonuz boş alanlarla dolar.

Herhangi bir başarısız çalışmada tetiklenip Slack veya e-posta uyarısı gönderen bir Error Trigger iş akışı kurun. Üretim hatları için bu pazarlık konusu değildir.

CSS Seçicilerinizi Kolay Güncelleme İçin Dışarıda Saklayın

CSS seçicileri bir Google Sheet’te veya n8n environment değişkenlerinde tutun; böylece iş akışını düzenlemeden güncelleyebilirsiniz. Site tasarımı değiştiğinde yalnızca tek bir yerdeki seçiciyi güncellemeniz yeterli olur.

Ne Zaman AI Destekli Bir Scraper’a Geçmeniz Gerektiğini Bilin

Kendinizi sürekli CSS seçici güncellerken, bot karşıtı önlemlerle boğuşurken ya da scrapers’ı bakımda tutmak için veriyi kullanmaktan daha fazla zaman harcarken buluyorsanız, siteyi her seferinde yeniden okuyan ve otomatik uyum sağlayan gibi bir yapay zekâ aracını düşünün. iyi çalışır: Thunderbit kırılgan çıkarım katmanını yönetir (sitenin her <div> değişiminde bozulan kısım), veriyi Google Sheets veya Airtable’a aktarır; n8n ise yeni satırları yerel Sheets/Airtable tetikleyicisiyle alıp orkestrasyonu yürütür — CRM güncellemeleri, uyarılar, koşullu mantık, çoklu sistem dağıtımı.

Kapanış: Ekibinize Uyan Hattı Kurun

n8n web scraping, scraping’i daha büyük bir otomasyon iş akışının bir adımı olarak kullandığınızda çok güçlüdür. Ancak teknik kurulum, sürekli bakım ve sayfalama, bot karşıtı önlemler ve zamanlama ayarlarıyla sabır ister. Bu rehber, tüm süreci kapsadı: ilk iş akışınız, her eğitimin atladığı sayfalama kısmı, zamanlama, bot karşıtı sorun giderme, n8n’in nereye oturduğuna dair dürüst değerlendirme ve doğrudan kopyalayabileceğiniz gerçek dünya iş akışları.

Ben bunu şöyle düşünüyorum:

  • n8n kullanın: scraping, CRM güncellemeleri, Slack uyarıları, AI zenginleştirme, koşullu yönlendirme gibi çok adımlı bir otomasyon zincirinin parçasıysa.
  • kullanın: iş akışı kurmadan hızlı veri gerekiyorsa — AI alan önerisi, sayfalama, bot engelleri ve dışa aktarma işini 2 tıkta halleder.
  • Python kullanın: maksimum kontrol ve geliştirici kaynağınız varsa.

Açık konuşmak gerekirse, birçok ekip için en iyi kurulum ikisini birlikte kullanmaktır: çıkarım için Thunderbit, orkestrasyon için n8n. Yapay zekâ destekli scraping’in n8n iş akışınıza kıyasla nasıl performans gösterdiğini görmek isterseniz, küçük ölçekte deneme yapmanıza izin verir — ve saniyeler içinde kurulabilir. Video anlatımlar ve iş akışı fikirleri için göz atın.

AI destekli web scraping için Thunderbit’i deneyin

SSS

n8n JavaScript ağırlıklı web sitelerini scrape edebilir mi?

Yerleşik HTTP Request düğümüyle tek başına hayır. HTTP Request düğümü ham HTML çeker ve JavaScript çalıştıramaz. JS ile render edilen siteler için gibi bir topluluk düğümüne ya da JavaScript’i sunucu tarafında render eden bir scraping API entegrasyonuna (ScrapeNinja, Firecrawl) ihtiyacınız var. Thunderbit, hem Browser hem de Cloud scraping modlarında JS ağırlıklı siteleri doğal olarak destekler.

n8n web scraping ücretsiz mi?

n8n’in self-hosted sürümü ücretsiz ve açık kaynaklıdır. n8n Cloud’un daha önce ücretsiz bir katmanı vardı, ancak Nisan 2026 itibarıyla yalnızca 14 günlük deneme sunuyor; sonrasında planlar 2.500 çalışma için ayda 24 dolardan başlıyor. Korumalı siteleri scrape etmek ayrıca ücretli proxy hizmetleri (residential proxy’lerde GB başına 5–15 dolar) veya scraping API’leri (hacme bağlı olarak ayda 49–200+ dolar) gerektirebilir.

n8n web scraping Thunderbit ile nasıl karşılaştırılır?

n8n, scraping’in daha büyük bir iş akışının yalnızca bir parçası olduğu çok adımlı otomasyonlar için daha iyidir (örn. çek → zenginleştir → filtrele → CRM’e gönder → Slack’te uyar). Thunderbit ise AI destekli alan tespiti, otomatik sayfalama ve site değiştiğinde sıfır bakım sunan hızlı, kodsuz veri çıkarımı için daha uygundur. Birçok ekip ikisini birlikte kullanır — çıkarım için Thunderbit, orkestrasyon için n8n.

Giriş gerektiren sitelerden n8n ile veri çekebilir miyim?

Evet, ancak HTTP Request düğümünde çerezleri veya oturum token’larını yapılandırmanız gerekir; bu da bakım açısından zahmetli olabilir. Thunderbit’in Browser Scraping modu, kullanıcının giriş yapmış Chrome oturumunu otomatik olarak devralır — siz giriş yaptıysanız Thunderbit gördüğünüz şeyi scrape edebilir.

n8n scraper’ım aniden veri döndürmeyi bırakırsa ne yapmalıyım?

Önce n8n Executions sekmesinde hata var mı bakın. En yaygın neden, CSS seçicilerinizi bozan bir site tasarım değişikliğidir — iş akışı "başarılı" görünür ama boş alanlar döner. Chrome’un Inspect aracıyla seçicilerinizi doğrulayın, iş akışında (veya dışarıda tuttuğunuz seçici tablosunda) güncelleyin ve yeniden test edin. Bot engellerine takılıyorsanız, bu rehberdeki sorun giderme karar ağacını izleyin. Uzun vadeli güvenilirlik için, düzen değişikliklerine otomatik uyum sağlayan Thunderbit gibi AI destekli bir scraper düşünün.

Daha Fazla Bilgi

Shuai Guan
Shuai Guan
Co-founder/CEO @ Thunderbit. Passionate about cross section of AI and Automation. He's a big advocate of automation and loves making it more accessible to everyone. Beyond tech, he channels his creativity through a passion for photography, capturing stories one picture at a time.
İçindekiler

Thunderbit’i dene

Lead’leri ve diğer verileri sadece 2 tıkla çek. AI destekli.

Thunderbit’i Al Ücretsiz
AI kullanarak veri çıkar
Verileri Google Sheets, Airtable veya Notion’a kolayca aktar
PRODUCT HUNT#1 Product of the Week