Das Web wird jedes Jahr komplexer, und die Lücke zwischen „Ich brauche diese Daten“ und „Ich weiß, wie ich sie bekomme“ bleibt hartnäckig groß. Für Einsteiger stellt sich die erste Frage oft ganz schlicht: Muss ich wirklich Python lernen, nur um Produktpreise von einer Website auszulesen?
Die gute Nachricht: Nein. Die nächste Frage – welches Tool soll ich denn nun wirklich nutzen? – macht die Sache allerdings schnell unübersichtlich. Es gibt No-Code-Desktop-Apps, Browser-Erweiterungen, Python-Frameworks, Go-Bibliotheken, SEO-Spider, verwaltete APIs und Open-Source-Projekte, deren Grenzen sich teilweise überschneiden. Zehn bekannte Optionen, die 2026 relevant sind, stechen genau in den Punkten heraus, die für Einsteiger wichtig sind: Wie viel Programmierung ist nötig? Wie schnell komme ich an brauchbare Daten? Kommt das Tool mit JavaScript-lastigen Seiten klar? Was gibt es kostenlos? Und für welchen Anwendungsfall ist es wirklich geeignet? Ganz egal, ob du noch nie eine Zeile Code geschrieben hast oder als Junior Developer dein erstes Crawler-Framework suchst: Hier findest du den passenden Einstiegspunkt.
So haben wir die besten Web-Crawler für Einsteiger ausgewählt
„Einsteiger“ heißt nicht „ohne Technikkenntnisse“. Gemeint ist jeder, der noch nie einen Web-Crawling-Workflow aufgebaut hat – also auch Leute, die zwar einfache Python- oder JavaScript-Skripte schreiben können, aber noch nie eine URL-Warteschlange verwaltet oder mit einer robots.txt-Datei gearbeitet haben.
Jedes Tool wurde anhand von sechs Kriterien bewertet, die direkt die typischen Fragen in Foren und Communities abbilden:
- Programmieraufwand — keiner, einfaches Python/JS oder fortgeschritten+
- Einrichtungskomplexität — Zeit von der Installation bis zu den ersten nutzbaren Daten
- JavaScript-Rendering — schafft das Tool SPAs und dynamisch geladene Inhalte?
- Großzügigkeit der Gratisstufe — was bekommt man, bevor man bezahlt?
- Ausgabeformate — CSV, JSON, Excel, Google Sheets usw.
- Bestes Einsatzszenario — der konkrete Fall, in dem das Tool für Einsteiger glänzt
Die Liste deckt drei Kompetenzstufen ab: No-Code (ohne Programmierung), Intermediate (grundlegendes Python oder JavaScript) und fortgeschrittener Einsteiger (Go oder tieferes Framework-Wissen). Ich habe bewusst offen gezeigt, wo jedes Tool stark ist und wo es Grenzen hat – denn das falsche Tool für das eigene Niveau zu wählen, ist eine der schnellsten Methoden, einen Nachmittag zu vergeuden.
Wähle deinen ersten Web-Crawler: Ein kurzer Entscheidungsbaum
Bevor du dich durch zehn Tool-Reviews klickst, beantworte drei Fragen. Die Kombination führt dich zu einem oder zwei passenden Tools.
Frage 1: Wie sicher bist du im Programmieren?
- Keine Erfahrung → weiter zu Frage 2a
- Grundkenntnisse in Python → weiter zu Frage 2b
- JavaScript/TypeScript → weiter zu Frage 2c
- Go → Colly
Frage 2a (No-Code): Was ist dein Hauptziel?
- Allgemeine Datenerfassung (Produktinfos, Lead-Listen, Recherche) → Thunderbit oder Octoparse
- Komplexe mehrstufige Abläufe (Login, Dropdowns, unendliches Scrollen) → ParseHub oder Octoparse
- SEO-Audits → Screaming Frog
Frage 2b (Python): Was ist dein Hauptziel?
- AI/LLM-Pipeline (RAG, Chatbot-Training) → Crawl4AI oder Firecrawl
- Strukturierte Crawls in großem Umfang auf eher statischen Websites → Scrapy
- Browser-Automatisierung auf JavaScript-lastigen Seiten → Playwright (mit eigener Crawl-Logik)
Frage 2c (JavaScript/TypeScript): Was ist dein Hauptziel?
- Modernes SPA-Crawling mit Anti-Blocking → Crawlee
- Komplexe Browser-Interaktionen (Login, Klicks, Screenshots) → Playwright
- Sauberes Markdown für KI-Verarbeitung → Firecrawl (über API/SDK)
Budget-Filter: Wenn du Software für 0 € brauchst und selbst hosten kannst, haben die Open-Source-Tools hier (Scrapy, Crawlee, Crawl4AI, Playwright und Colly) keine vom Anbieter vorgegebene Seitenquote – aber Rechenleistung, Bandbreite, Speicher, Wartung und Beschränkungen der Zielseite gelten trotzdem. Wenn Selbsthosting keine Option ist, bieten Octoparse, ParseHub, Thunderbit, Firecrawl und Screaming Frog jeweils einen kostenlosen Einstieg mit unterschiedlichen Limits.
Allein dieser Entscheidungsbaum kann dir Stunden des Herumprobierens sparen. Am besten speichern.
Die besten Web-Crawler für Einsteiger im Überblick
Hier ist die komplette Vergleichstabelle. „Programmieraufwand“ zeigt, welche Sprache du brauchst – falls überhaupt. „JS-Rendering“ sagt dir, ob das Tool Seiten mit JavaScript-Content verarbeiten kann. „Gratisstufe“ fasst zusammen, was du für 0 € bekommst. Detaillierte Reviews folgen unten.
| Tool | Niveau | Programmieraufwand | JS-Rendering | Gratisstufe | Am besten für |
|---|---|---|---|---|---|
| Octoparse | Einsteiger | Keiner | ✅ Integriert | Gratisplan: 10 Tasks, nur lokal, 10K Zeilen/Export | Point-and-Click-Scraping strukturierter Websites |
| ParseHub | Einsteiger | Keiner | ✅ Integriert | 5 öffentliche Projekte, 200 Seiten/Lauf, 14 Tage Aufbewahrung | Komplexe mehrstufige Abläufe ohne Code |
| Thunderbit | Einsteiger | Keiner | ✅ Über den Browser | Kostenloser Tarif (aktuelle Limits prüfen) | KI-gestützte Extraktion direkt von der geöffneten Seite |
| Crawl4AI | Intermediate | Python | ✅ Chromium | Open Source (Self-Hosting) | LLM-fähiges Crawling für RAG-Pipelines |
| Firecrawl | Intermediate | API/SDK | ✅ Verwaltet | 1.000 Credits/Monat (Cloud) | Sauberes Markdown für KI-Verarbeitung |
| Scrapy | Intermediate | Python | ⚠️ Plugin nötig | Open Source (BSD) | Große, anpassbare HTTP-Crawl-Projekte |
| Crawlee | Intermediate | JS/TS oder Python | ✅ Über Playwright | Open Source (Apache) | Modernes JavaScript-Crawling mit Anti-Blocking |
| Playwright | Intermediate | Python/JS/Java/.NET | ✅ Native Unterstützung | Open Source (Apache) | Browser-Automatisierung + Interaktionen auf JS-lastigen Seiten |
| Screaming Frog | Einsteiger | Keiner | ✅ (nur kostenpflichtig) | 500 URLs/Crawl (dauerhaft kostenlos) | SEO-Audits und technische Website-Analyse |
| Colly | Fortgeschrittener Einsteiger | Go | ⚠️ Nicht integriert | Open Source (Apache) | Schnelles, leichtgewichtiges paralleles HTTP-Crawling |
Jetzt kommen die Details.
1. Octoparse
Octoparse ist ein No-Code-Desktop-Tool zum Erstellen von Crawling-Aufgaben, optional mit kostenpflichtiger Cloud-Ausführung. Du fügst eine URL ein, lässt Auto-detect wiederkehrende Datenfelder und Navigationsmuster erkennen, prüfst die Vorschau und startest den Task lokal. Der visuelle Workflow-Editor unterstützt Schleifen, Verzweigungen, Paginierung, unendliches Scrollen, AJAX, Formulare und Dropdowns – bei dynamischen Abläufen sind jedoch manchmal manuelle Timing-Anpassungen nötig.
Wichtige Funktionen:
- Auto-detect für Datenfelder und Seiten-Navigation
- Integriertes JavaScript-Rendering über den internen Browser
- Hunderte vorgefertigte Templates für häufig genutzte Websites
- Bearbeitbare Workflows mit benutzerdefinierten Schleifen, Verzweigungen und Selektor-Steuerung
- Export nach Excel, CSV, HTML, JSON, XML, Google Sheets und Datenbanken (abhängig vom Plan)
Preisgestaltung: Eine eingeschränkte Gratisstufe unterstützt lokale Ausführungen. Cloud-Ausführung, Zeitplanung, IP-Rotation und API-Zugriff benötigen einen kostenpflichtigen Plan. Prüfe vor der Entscheidung die aktuellen Preise, da sich die Limits ändern können.
Am besten für: Einsteiger, die wiederkehrende, strukturierte Extraktionen von E-Commerce-Seiten, Verzeichnissen oder Listing-Websites brauchen – ohne Code zu schreiben. Weniger geeignet, wenn du die Bequemlichkeit einer Browser-Erweiterung oder LLM-fähige Ausgabeformate brauchst.
2. ParseHub
ParseHub ist ein visuelles Extraktionstool zum Herunterladen für Windows, macOS und Linux (über AppImage). Die Bedienung per Befehlsbaum bildet Auswahlen, Klicks, Formulareingaben, Scrollen und Seitentemplates ab. Es unterstützt AJAX/JavaScript, Dropdowns, Tabs, Pop-ups, Paginierung, Login-Formulare und unendliches Scrollen.
Wichtige Funktionen:
- Visueller Befehlsbaum für mehrstufige Extraktionsabläufe
- Unterstützt AJAX, JavaScript, Dropdowns, Tabs und unendliches Scrollen
- Desktop-App für mehrere Plattformen (Windows, macOS, Linux)
- API-Zugriff für programmgesteuerte Datenabfrage
- CSV- und JSON-Export
Preisgestaltung: Es gibt kostenlose und kostenpflichtige Tarife. Eine abrechenbare „Seite“ kann eine URL oder ein dynamischer Inhaltsaufruf sein, der durch Klick oder Scrollen ausgelöst wird – daher entspricht ein Seitenkontingent nicht immer exakt derselben Anzahl an URLs. Prüfe die aktuellen Limits für Projekte, Läufe und Aufbewahrung, bevor du dich entscheidest.
Hinweis zur Privatsphäre: Gib keine produktiven Zugangsdaten in einen Drittanbieter-Crawler ein, bevor du geprüft hast, wie das Tool Login-Eingaben und Projektdaten speichert. Nutze für Tests am besten ein eingeschränktes Testkonto.
Am besten für: Einsteiger, die dynamische, mehrstufige Websites mit komplexer Navigation, Dropdowns oder scrollbasiertem Laden scrapen möchten – ohne Code.
ParseHub vs. Octoparse: Die wichtigsten Unterschiede
Beide sind No-Code-Desktop-Tools mit JavaScript-Unterstützung. Das Befehlsbaum-Modell von ParseHub gibt dir mehr explizite Kontrolle über mehrstufige Abläufe – hilfreich bei komplexer Navigation, aber mit einer steileren Lernkurve bei einfachen Aufgaben. Octoparse Auto-detect ist schneller bei klar strukturierten Seiten und bietet im Gratisplan großzügigere Exportgrenzen. Wenn deine Zielseite hauptsächlich aus Tabellen und Listen besteht, beginne mit Octoparse. Wenn du eine Abfolge aus Klicks, Formularausfüllungen und bedingter Navigation abbilden musst, ist der Ansatz von ParseHub oft übersichtlicher.
3. Thunderbit
Thunderbit ist eine KI-Web-Scraping-Browser-Erweiterung für Chrome und Edge, entwickelt für nicht-technische Business-Nutzer, die Daten direkt von der gerade geöffneten Seite extrahieren möchten. (Transparenzhinweis: Ich arbeite bei Thunderbit, daher nenne ich sowohl Stärken als auch Grenzen offen.)
Wichtige Funktionen:
- AI Suggest Fields erkennt Spalten automatisch anhand des Seiteninhalts
- KI-Prompts auf Feldebene für Kategorisierung, Übersetzung, Formatierung und Normalisierung während der Extraktion
- Export nach Excel/CSV, Google Sheets, Airtable und Notion
- Browser Mode arbeitet mit der gerenderten Sitzung des Nutzers und verarbeitet JavaScript-geladene Inhalte auf kompatiblen Seiten
- Keine Installation außer der Browser-Erweiterung
Preisgestaltung: Die Gratisstufe umfasst derzeit 6 Seiten/Monat mit maximal 30 Credits pro Seite. Der Starter-Plan ($15/Monat oder $9/Monat bei jährlicher Abrechnung) ergänzt Paginierung, Unterseiten-Scraping, Massen-Scraping, Anreicherung, vorgefertigte Scraper und Zeitpläne. Aktuelle Preise hier prüfen.
Wissenswerte Einschränkungen: Thunderbit ist seiten- und schemaorientiert, nicht als vollständiger Domain-Crawler gedacht. Paginierung und Unterseiten-Scraping sind Starter-Funktionen, nicht in der Gratisversion enthalten. KI-Vorschläge solltest du vor dem Scrape immer prüfen – sie sind gut, aber nicht unfehlbar.
Am besten für: Teams aus Vertrieb, Operations und Research, die strukturierte Daten von einer im Browser geöffneten Seite brauchen und mit KI-Hilfe die manuelle Feldkonfiguration überspringen möchten. Wenn du schnell eine Tabelle, Liste oder Datensammlung von einer kompatiblen Seite in eine Tabelle exportieren willst, ist das der schnellste Weg, den ich kenne.
Mehr dazu, wie KI-gestützte Extraktion in der Praxis funktioniert, findest du in unserem Leitfaden zu AI Web Scraping.
4. Crawl4AI
Crawl4AI ist ein Open-Source-Python-Crawler mit Browser-First-Ansatz, der saubere Ausgaben für LLM-Workflows erzeugen soll. Er liefert rohes und bereinigtes HTML, mehrere Markdown-Varianten, strukturierte extrahierte Inhalte, Links, Medien, Tabellen, Screenshots, PDFs und MHTML.
Wichtige Funktionen:
- AsyncWebCrawler mit Chromium/Playwright im Hintergrund
- Mehrere Ausgabeformate, optimiert für RAG-Pipelines und Agent-Workflows
- Adaptives Crawling, das Abdeckung, Konsistenz und Sättigung bewertet, um relevante Links zu priorisieren und zu stoppen, wenn genug Informationen gesammelt wurden
- Optionale LLM-Extraktion mit lokalen Anbietern (Ollama) oder Cloud-APIs
- Apache-2.0-Lizenz mit zusätzlicher Attributionspflicht
Preisgestaltung: Komplett Open Source – keine Gebühr pro Seite. Du betreibst die Infrastruktur selbst und zahlst nur für eventuell genutzte LLM-Inferenz (lokal oder in der Cloud).
Einschränkungen: Erfordert Kenntnisse in Python Async und Browser-Abhängigkeiten. Die Extraktionsqualität hängt vom verwendeten LLM ab, falls eins eingesetzt wird. Der adaptive Crawler priorisiert relevante Links anhand von Informationssignalen – er lernt Selektoren aber nicht dauerhaft und repariert sie nicht selbstständig.
Am besten für: Python-Anwender mit mittlerer Erfahrung, die AI-Datenpipelines aufbauen und volle Kontrolle ohne Kosten pro Anfrage durch den Anbieter wollen.
5. Firecrawl
Firecrawl ist eine verwaltete Webdaten-API (mit SDKs für Python und Node.js) sowie eine selbst hostbare Codebasis unter AGPL-Lizenz. Der Cloud-Dienst übernimmt JavaScript-Rendering und gibt Markdown, Zusammenfassungen, HTML, Links, Bilder, Screenshots, JSON und Änderungsverfolgung zurück.
Wichtige Funktionen:
/crawl-Endpoint mit Pfadfiltern, Discovery-Tiefe, Sitemaps, Limits, Verzögerungen und Parallelitätssteuerung- Automatisches JavaScript-Rendering in der verwalteten Cloud
- Mehrere Ausgabeformate, darunter sauberes Markdown
/map-Endpoint für schnelle Erkennung der Website-Struktur- Browser-/Interact- und Beta-Agent-Pfade für mehrstufige Interaktionen (getrennt vom einfachen Crawl)
Preisgestaltung: Die Cloud-Free-Stufe umfasst 1.000 Credits/Monat mit zwei parallelen Anfragen und niedrigen Rate Limits. Bezahlpläne basieren auf Credits und Parallelität – aktuelle Zahlen auf der Preisseite prüfen. Beim Selbsthosting liegen Infrastruktur und Wartung bei dir; außerdem sind nicht alle Cloud-Funktionen enthalten.
Einschränkungen: Der grundlegende /crawl entdeckt URLs rekursiv über Links und Sitemaps, garantiert aber nicht die Behandlung beliebiger klickbasierter Paginierung. Credit-Kosten variieren je nach Operationstyp. Selbst gehostete und Cloud-Version unterscheiden sich im Funktionsumfang.
Am besten für: Fortgeschrittene Nutzer, die Website-Inhalte in LLMs, Chatbots oder Wissensdatenbanken einspeisen möchten und einen verwalteten Dienst statt eines selbst gehosteten Browser-Stacks bevorzugen.
Firecrawl vs. Crawl4AI: Welches Tool für KI-Pipelines?
Firecrawl glänzt bei verwalteter Markdown-Konvertierung mit sauberer API – du sendest eine URL und erhältst strukturierten Output. Crawl4AI ist stark, wenn du lokal-first arbeiten und Browser sowie optionales LLM selbst kontrollieren möchtest. Wenn du möglichst wenig Infrastruktur verwalten willst, ist die Cloud von Firecrawl der einfachere Weg. Wenn du ohne Anbietergebühren pro Seite selbst hosten möchtest und dich mit Python Async wohlfühlst, gibt dir Crawl4AI mehr Kontrolle.
6. Scrapy
Scrapy ist das lang etablierte Python-Framework für Crawling und Scraping unter BSD-Lizenz, aufgebaut auf der asynchronen Twisted-Engine. Es bietet Request-Scheduling, Link-Following, Duplikatenerkennung, Middleware, Wiederholungsversuche, Drosselung, Pipelines und Feed-Exporte nach JSON, JSON Lines, CSV, XML, pickle und marshal.
Wichtige Funktionen:
- Asynchrone Request-Verarbeitung für große, klar begrenzte Crawls
- Umfangreiches Middleware-Ökosystem (Proxies, Retries, Throttling, eigene Header)
- Strukturierte Pipeline-Architektur für Datenbereinigung und Speicherung
- Große Community, gute Dokumentation und viele Erweiterungen von Drittanbietern
- Vollständig Open Source (BSD-Lizenz)
Einschränkungen: Kein natives JavaScript-Rendering. Die offizielle Dokumentation zu dynamischen Inhalten empfiehlt, möglichst die zugrunde liegende Datenquelle direkt zu nutzen oder bewusst eine Browser-/Rendering-Komponente einzubinden (z. B. scrapy-playwright). Die Architektur mit Spiders, Middleware, Item Pipelines und Settings hat eine echte Lernkurve.
Preisgestaltung: Kostenlos. Du hostest es selbst.
Am besten für: Python-Anwender mit mittlerer Erfahrung, die große, überwiegend statische oder serverseitig gerenderte Websites in großem Umfang crawlen wollen.
Mit Scrapy starten: Kommentierter Schnellstart
Hier ist der Minimalweg von der Installation bis zu den ersten Daten:
pip install scrapy
scrapy startproject beginner_crawl
cd beginner_crawl
scrapy genspider example example.com
Öffne beginner_crawl/spiders/example.py und passe es an:
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
allowed_domains = ["example.com"] # Nur diese Domain verwenden
start_urls = ["https://example.com"] # Start-URL
custom_settings = {
"ROBOTSTXT_OBEY": True, # robots.txt respektieren
"DOWNLOAD_DELAY": 2, # 2 Sekunden Pause zwischen Anfragen
"CLOSESPIDER_PAGECOUNT": 10, # Nach 10 Seiten stoppen (Sicherheitsgrenze)
"USER_AGENT": "Beginner-Crawl-Bot (+https://yoursite.com/bot-info)",
}
def parse(self, response):
yield {
"title": response.css("title::text").get(),
"url": response.url,
}
# Links auf der Seite folgen (innerhalb von allowed_domains)
for link in response.css("a::attr(href)").getall():
yield response.follow(link, callback=self.parse)
Ausführen:
scrapy crawl example -o output.json
Teste deine Selektoren zuerst mit scrapy shell "https://example.com", bevor du auf größere Umfänge gehst. Die Einrichtungszeit hängt stark von deinen Python-Vorkenntnissen ab – zehn Minuten sind unrealistisch, wenn du noch nie mit virtuellen Umgebungen und dem Terminal gearbeitet hast.
7. Crawlee
Crawlee ist eine unter Apache lizenzierte Crawler-Bibliothek für JavaScript/TypeScript und Python, gepflegt von Apify. Sie bietet reine HTTP-Klassen wie CheerioCrawler sowie Browser-Crawler auf Basis von Playwright und Puppeteer, dazu Request-Queues, Datasets, Session-Handling, Retries und Begrenzungsfunktionen.
Wichtige Funktionen:
- Je nach Projekt HTTP-first (CheerioCrawler) oder vollständiger Browser (PlaywrightCrawler)
- Integrierte Request-Queue, Duplikatenerkennung und Dataset-Speicherung
- Session-Management, Browser-Fingerprints, Retries und Request-Grenzsteuerung
- TypeScript-first mit solider Python-Unterstützung
- Die offizielle Schnellstart-Anleitung empfiehlt HTTP-first, wenn die Daten bereits im HTML stehen
Preisgestaltung: Kostenlos. Open Source, selbst gehostet.
Einschränkungen: Erfordert JavaScript/TypeScript- oder Python-Kenntnisse. Weniger Community-Dokumentation als bei Scrapy. Anti-Blocking-Funktionen bedeuten keine Berechtigung und garantieren keinen Zugriff – sie verringern die Erkennungswahrscheinlichkeit, machen unautorisiertes Crawling aber nicht erlaubt.
Am besten für: JavaScript-Entwickler mit mittlerer Erfahrung, die moderne SPAs und JS-gerenderte Websites mit integrierter Warteschlangenverwaltung und Anti-Blocking crawlen möchten.
Crawlee Schnellstart: Von der Installation zu den ersten Daten
npx crawlee create my-crawler
cd my-crawler
Wähle bei der Einrichtung die Playwright-Vorlage.
Bearbeite den Handler in src/routes.ts, um die gewünschten Daten zu extrahieren, und starte dann:
npm start
Die Ergebnisse landen als JSON im lokalen Dataset-Verzeichnis. Füge maxRequestsPerCrawl, Tiefenlimits, Same-Domain-Regeln und ein vernünftiges Parallelitätslimit hinzu, bevor du über einen Testlauf hinaus skalierst.
8. Playwright
Playwright ist Microsofts Browser-Automatisierungs-Framework unter Apache-Lizenz und unterstützt Python, Node.js, Java und .NET. Es steuert echte Browser-Instanzen von Chromium, Firefox und WebKit – ideal für Seiten, die Inhalte per JavaScript laden, Login-Abläufe erfordern oder komplexe Interaktionen beinhalten.
Wichtige Funktionen:
- Natives Rendering in echten Browsern über drei Engines hinweg
- Beherrscht SPAs, Login-Flows, Klicks, Formulareingaben, Datei-Downloads, Screenshots und PDFs
- Unterstützung für mehrere Sprachen (Python, JS/TS, Java, .NET)
- Sehr gute Dokumentation und aktive Weiterentwicklung
- Netzwerk-Interception und Request-Mocking
Was Playwright nicht ist: Kein kompletter Crawler. Es gibt keine native URL-Frontier, keine Duplikat-Warteschlange, keine Politeness-Policy, kein eigenes Retry-Modell und keinen Feed-Exporter. Diese Bausteine musst du selbst aufbauen – oder Playwright mit einem Framework wie Crawlee kombinieren, das sie mitbringt.
Preisgestaltung: Kostenlos. Open Source.
Am besten für: Entwickler mit mittlerer Erfahrung, die Browser-Interaktionen auf JavaScript-lastigen oder login-geschützten Seiten automatisieren müssen und bereit sind, die Crawl-Logik selbst zu bauen.
9. Screaming Frog
Screaming Frog SEO Spider ist ein Desktop-Crawler für technisches SEO unter Windows, macOS und Linux. Es ist kein allgemeines Datenerfassungstool – sondern der Standard für SEO-Audits, kaputte Links, Redirect-Ketten, Duplicate Content, fehlende Metadaten und Hunderte weitere technische SEO-Probleme.
Wichtige Funktionen:
- Crawlt dauerhaft kostenlos bis zu 500 URLs pro Crawl (kein Testzeitraum)
- Erkennt defekte Links, Redirect-Ketten, Duplicate Content und fehlende Metadaten
- Detaillierte Tabs für Seitentitel, Meta Descriptions, Überschriften, Bilder und mehr
- Die kostenpflichtige Version ergänzt JavaScript-Rendering, Speichern von Crawls, Custom Extraction, GA/GSC-Integration und KI-Integrationen (OpenAI, Gemini, Anthropic, Ollama)
Preisgestaltung: Die Gratisversion bleibt dauerhaft auf 500 URLs pro Crawl begrenzt, enthält aber kein JavaScript-Rendering, keine erweiterten Einstellungen, keine Custom Extraction und keine Integrationen. Eine Lizenz kostet £199 / $279 / €245 pro Nutzer und Jahr.
Einschränkungen: Steile Lernkurve für Nutzer ohne SEO-Hintergrund. Beansprucht lokale Systemressourcen (bei großen Sites speicherintensiv). Keine monatliche Abo-Option. Nicht für allgemeine Datenerfassung gedacht – es ist ein Audit-Tool.
Am besten für: Einsteiger mit Fokus auf SEO-Audits und technische Website-Analysen. Wenn du Produktdaten extrahieren oder Lead-Listen aufbauen willst, solltest du ein anderes Tool wählen.
10. Colly
Colly ist ein unter Apache lizenziertes Go-Framework für HTTP-Crawling und Scraping mit Callback-basierter API, Parallelitätssteuerung, Sessions/Cookies, Warteschlangen, Caching und austauschbaren Storage-Backends.
Wichtige Funktionen:
- Schnelles paralleles HTTP-Crawling bei geringem Ressourcenverbrauch
- Klare, callback-gesteuerte API
- Integriertes Cookie-/Session-Handling und Caching
- Domainbasiertes Rate Limiting über
LimitRule - Installation aktuell:
go get github.com/gocolly/colly/v2
Wichtiger Hinweis für Einsteiger: Der aktuelle Quellcode von Colly setzt standardmäßig IgnoreRobotsTxt = true. Du musst das explizit auf false setzen und LimitRule mit passender Verzögerung und Parallelität konfigurieren. Ohne diese Schritte ignoriert Colly robots.txt und kann einen Zielserver leicht überlasten.
Preisgestaltung: Kostenlos. Open Source.
Einschränkungen: Erfordert Go-Kenntnisse. Kein integriertes JavaScript-Rendering und kein universeller Feed-Exporter – die Ausgabe musst du selbst serialisieren. Kleinere Community als bei Python-Tools.
Am besten für: Fortgeschrittene Einsteiger, die Go kennen und einen schnellen, schlanken HTTP-Crawler für statische Seiten oder APIs brauchen – vorausgesetzt, sie konfigurieren robots und Rate Limits bewusst.
Gratisstufen im Vergleich: Was du wirklich vor dem Bezahlen bekommst
Das ist die Tabelle für kostenbewusste Einsteiger. Alle Tools sind in zwei Kategorien unterteilt: Freemium-Produkte (mit Limits, aber ohne eigene Infrastrukturkosten) und Open-Source-Tools (unbegrenzte Seiten, aber du hostest alles selbst).
Freemium- / Desktop-Gratisstufen
| Tool | Gratis-Limit | Projekt-/Task-Limit | Export-Einschränkungen | Zeitlich begrenzt? | Wichtige Sperren |
|---|---|---|---|---|---|
| Octoparse | Unbegrenzte Seiten pro Crawl | 10 Tasks | 10K Zeilen/Export; 50K Zeilen/Monat | Nein (dauerhaft) | Cloud, Zeitplanung, IP-Rotation, API |
| ParseHub | 200 Seiten/Lauf | 5 öffentliche Projekte | CSV/JSON | Nein (dauerhaft) | Projekte/Daten können öffentlich sein; 14 Tage Aufbewahrung |
| Thunderbit | 6 Seiten/Monat | Nicht zutreffend | Excel/CSV, Sheets, Airtable, Notion | Nein (dauerhaft) | Paginierung, Unterseiten, Massenmodus und Zeitpläne nur im Starter-Plan |
| Firecrawl | 1.000 Credits/Monat | Nicht zutreffend | Alle Formate | Nein (dauerhaft) | 2 gleichzeitige Anfragen; niedrige Rate Limits |
| Screaming Frog | 500 URLs pro Crawl | Unbegrenzte Läufe | Eingeschränkter Export | Nein (dauerhaft) | JavaScript-Rendering, Crawl-Speicherung, Custom Extraction, Integrationen |
Open-Source-Tools (selbst gehostet)
| Tool | Seitenlimit | Lizenz | Wofür du zahlst |
|---|---|---|---|
| Scrapy | Keins | BSD | Rechenleistung, Bandbreite, Speicher, optionale Browser-Integration |
| Crawlee | Keins | Apache | Rechenleistung, Bandbreite, Browser-Prozesse |
| Crawl4AI | Keins | Apache-2.0 + Attribution | Rechenleistung, Browser-Prozesse, optional LLM-Inferenz |
| Playwright | Keins | Apache | Rechenleistung, Browser-Prozesse (hohe CPU-/RAM-Nutzung) |
| Colly | Keins | Apache | Rechenleistung, Bandbreite |
Wenn dein Softwarebudget bei null liegt und du programmieren kannst, umgehen die Open-Source-Tools ein Seitenkontingent beim Anbieter – Infrastruktur, Limits der Zielseite und laufende Kosten bleiben aber bestehen. Kannst du nicht programmieren? Octoparse, ParseHub und Thunderbit bieten jeweils einen kostenlosen Einstieg – achte nur auf Limits und Datenschutzbedingungen.
Deine ersten 10 Minuten: Schnellstart für 3 Skill-Level
Theorie ist schön. Praxis ist besser. Hier siehst du, wie du in drei typischen Tools – je eines pro Erfahrungsstufe – von null zum ersten Datenexport kommst.
No-Code-Weg: Mit Thunderbit starten
- Installiere die Thunderbit-Browser-Erweiterung
- Öffne eine Zielseite (z. B. eine Produktliste, ein Verzeichnis oder Suchergebnisse)
- Klicke auf das Thunderbit-Symbol und wähle AI Suggest Fields — die KI erkennt Spalten automatisch anhand des Seiteninhalts
- Prüfe und bearbeite die vorgeschlagenen Felder (umbenennen, entfernen oder hinzufügen; für Kategorisierung oder Formatierung Field AI Prompts ergänzen)
- Klicke auf Scrape
- Prüfe die Ergebnisse in der Erweiterung und exportiere anschließend nach Excel, Google Sheets, Airtable oder Notion
Auf einer kompatiblen Seite ist das als kurzer Einrichtungsweg gedacht – nicht als Programmierprojekt.
Eine ausführlichere Anleitung findest du in unserem Leitfaden zum Extrahieren von Daten aus Webseiten mit Thunderbit.
Python-Einsteigerpfad: Mit Scrapy starten
Siehe den kommentierten Schnellstart im Scrapy-Abschnitt oben. Die wichtigsten Befehle sind pip install scrapy, scrapy startproject, dein Spider mit ROBOTSTXT_OBEY = True und DOWNLOAD_DELAY anpassen und dann scrapy crawl example -o output.json ausführen. Teste Selektoren zuerst in scrapy shell, bevor du skalierst. Die Zeit hängt von deiner Python-Erfahrung und deiner Umgebung ab.
JavaScript-Weg: Mit Crawlee starten
Siehe den Crawlee-Schnellstart oben. Führe npx crawlee create my-crawler aus, wähle die Playwright-Vorlage, bearbeite deinen Handler und starte dann npm start. Die Ergebnisse erscheinen als JSON im lokalen Dataset-Verzeichnis. Ergänze maxRequestsPerCrawl und Domain-Beschränkungen, bevor du hochskalierst.
Für einen längeren Python-orientierten Einstieg, der zeigt, wie ein Crawler-Projekt insgesamt aufgebaut ist, ist dieser Kurs eine hilfreiche Ergänzung:
5 Anfängerfehler, die deinen ersten Crawl ruinieren können – und wie du sie vermeidest
Diese Punkte tauchen in Foren ständig auf, und kaum ein Top-Artikel behandelt sie als eigenen Abschnitt.
Fehler 1: Einen HTTP-only-Crawler auf einer JavaScript-gerenderten Seite einsetzen
Das Problem: Viele moderne Websites laden Inhalte per JavaScript nach dem ersten HTML-Response. Eine einfache HTTP-Anfrage liefert dann nur eine Hülle mit leeren <div>-Tags – keine Daten.
Lösung: Öffne vor der Toolwahl die Zielseite, klicke mit der rechten Maustaste und wähle „Seitenquelltext anzeigen“. Wenn die benötigten Daten nicht im Roh-HTML stehen, brauchst du ein Tool mit Browser-Rendering: Playwright, Crawlee mit PlaywrightCrawler oder ein No-Code-Tool wie Thunderbit oder Octoparse, das im Browser rendert. Nutze den Browser aber nicht standardmäßig, wenn HTTP ausreicht – das erhöht Kosten und Komplexität.
Fehler 2: robots.txt und Crawl-Delay-Regeln ignorieren
Das Problem: robots.txt ist ein Standard, der festlegt, auf welche Pfade ein benannter Crawler zugreifen darf. Wer die Crawling-Regeln einer Website ignoriert, riskiert Sperren, operative Schäden und Compliance-Probleme.
Lösung: Prüfe immer zuerst yoursite.com/robots.txt, bevor du crawlst, und kontrolliere den tatsächlichen Standard des gewählten Tools. Die Voreinstellungen unterscheiden sich: Colly setzt zum Beispiel IgnoreRobotsTxt = true und braucht eine explizite Konfiguration. Beachte: robots.txt ist ein Crawl-Steuersignal, keine rechtliche Erlaubnis. Ein erlaubter Pfad ist keine Lizenz, Daten für beliebige Zwecke zu sammeln oder wiederzuverwenden.
Fehler 3: Zu viele Anfragen ohne Rate Limiting senden
Das Problem: Hunderte Requests pro Sekunde können den Zielserver überlasten, deine IP blockieren und sind generell schlechte Praxis.
Lösung: Setze eine positive Verzögerung. In Scrapy nutze DOWNLOAD_DELAY = 2 und niedrige Werte für CONCURRENT_REQUESTS_PER_DOMAIN. In Colly konfigurierst du LimitRule mit Delay und Parallelität. Cloud- und No-Code-Tools übernehmen das oft automatisch, aber prüfe dennoch die Einstellungen. Starte mit nur einer gleichzeitigen Anfrage pro Domain und erhöhe erst, wenn Verhalten und Nutzungsbedingungen der Website es zulassen.
Fehler 4: Ein Enterprise-Tool für ein kleines Projekt wählen
Das Problem: Für ein 500-Seiten-Projekt ein verteiltes Scrapy-Cluster mit Proxy-Rotation und Message Queue aufzusetzen, ist wie einen Sattelzug zu mieten, um einkaufen zu fahren.
Lösung: Orientiere dich wieder am Entscheidungsbaum. Passe die Tool-Komplexität an die Projektgröße an. Für kleine, einmalige Extraktionen ist eine Browser-Erweiterung oder ein einfaches Skript fast immer die bessere Wahl.
Fehler 5: Die ausgegebenen Daten nicht prüfen
Das Problem: Einsteiger exportieren oft Daten, ohne sie zu kontrollieren, und merken erst später, dass die Hälfte der Zeilen leer, doppelt oder fehlerhaft ist.
Lösung: Prüfe immer die ersten 10–20 Zeilen stichprobenartig, bevor du einen vollständigen Crawl startest. Achte auf leere Felder, Kodierungsfehler (Mojibake), doppelte Zeilen und unerwartete Werte. Definiere das erwartete Schema vor dem Start – welche Spalten es geben soll, welche Datentypen sie haben und welche Pflichtfelder nötig sind. Ein erfolgreicher Crawl-Lauf beweist noch keine korrekten Daten.
Was „LLM-ready Output“ bedeutet – und warum das auch wichtig ist, wenn du keine KI baust
„LLM-ready“ taucht 2026 in fast jedem Marketingtext für Crawler auf. Die meisten Erklärungen setzen voraus, dass du bereits weißt, was eine Vektordatenbank ist. Hier ist die einfache Version.
LLM-ready Output ist sauberer, strukturierter Text, den ein KI-Modell wie GPT oder Claude ohne manuelle Nacharbeit aufnehmen kann. Stell es dir als Unterschied vor zwischen einer ordentlich sortierten Tabelle und einem Stapel ausgedruckter Webseiten, an denen Werbung, Navigationsmenüs und Cookie-Banner noch hängen.
Warum sollte dich das interessieren, auch wenn du keinen Chatbot baust? Weil Tools, die für LLM-ready Output entwickelt wurden, meist für alle bessere und sauberere Daten liefern. Weniger Nachbearbeitung, weniger unnötige Spalten, weniger Kodierungsprobleme. Saubere Daten bleiben saubere Daten – egal, ob ein Mensch oder eine Maschine sie liest.
Welche Tools auf dieser Liste liefern nativ LLM-ready Output?
- Firecrawl → Sauberes Markdown, Zusammenfassungen, strukturiertes JSON
- Crawl4AI → Mehrere Markdown-Varianten, strukturierte Chunks, Tabellen
- Thunderbit → KI-vorgeschlagene strukturierte Felder mit Prompt-basierter Normalisierung
Hier ein kurzes Vorher-Nachher-Beispiel. Rohes HTML einer Produktseite könnte so aussehen:
<div class="product-card">
<span class="price">$29.99</span>
<h2 class="title">Wireless Mouse</h2>
<p class="desc">Ergonomic design, 2.4GHz...</p>
<a href="/buy" class="btn">Add to Cart</a>
</div>
LLM-ready Markdown-Ausgabe von Firecrawl:
## Wireless Mouse
- **Price:** $29.99
- **Description:** Ergonomic design, 2.4GHz
Strukturierte Ausgabe von Thunderbit:
| Produktname | Preis | Beschreibung |
|---|---|---|
| Wireless Mouse | $29.99 | Ergonomic design, 2.4GHz |
Beides ist sofort nutzbar – ohne HTML-Parsing, ohne Werbe-Entfernung, ohne manuelle Zuordnung von Spalten. Mehr dazu, wie sich KI-gestützte Extraktion von klassischem Scraping unterscheidet, findest du in unserem Überblick über die besten AI Web Scrapers.
Verantwortungsvolles Web Crawling: Kurze Hinweise zu Ethik und Compliance
Ethik und Compliance beim Crawling sind zu wichtig, um sie zu übergehen:
- Prüfe robots.txt, bevor du eine Website crawlst. Das ist das Standard-Signal zur Crawl-Steuerung (RFC 9309), aber keine rechtliche Erlaubnis und keine Sicherheitsgrenze.
- Halte Rate Limits und Retry-After-Header ein. Bei 429- und 503-Antworten langsamer werden oder stoppen.
- Nutze nur öffentlich verfügbare oder autorisierte Daten. Bevorzuge eine offizielle API oder einen Export, wenn das deinen Bedarf deckt.
- Prüfe die Nutzungsbedingungen der Website. Öffentliche Sichtbarkeit ist relevant, aber keine pauschale Lizenz zum Sammeln oder Wiederverwenden von Daten.
- Sei vorsichtig mit personenbezogenen Daten. Datenminimierung, Aufbewahrungs- und Löschregeln sowie qualifizierte Prüfung für sensible Einsätze sind Pflicht. DSGVO und ähnliche Vorschriften gelten unabhängig vom verwendeten Tool.
Viele Tools bieten Einstellungen, die ein verantwortungsvolles Crawling unterstützen, aber die Verantwortung bleibt beim Betreiber. Für einen tieferen Einblick in den Prozess siehe unsere Erklärung zu Was ist Web Scraping.
Welchen Web-Crawler solltest du zuerst ausprobieren?
Kurze Zusammenfassung nach Kompetenzstufe:
- Kein Code: Thunderbit für KI-gestützte Extraktion aus einer geöffneten Seite, Octoparse für visuelle Workflows, ParseHub für komplexe mehrstufige Abläufe, Screaming Frog für SEO-Audits
- Python, mittleres Niveau: Scrapy für große HTTP-Crawls, Crawl4AI für LLM-Pipelines
- JavaScript, mittleres Niveau: Crawlee für modernes SPA-Crawling, Playwright für komplexe Browser-Automatisierung
- Go: Colly für schnelles HTTP-Crawling (mit expliziter robots- und Rate-Limit-Konfiguration)
- Verwaltete API: Firecrawl für sauberes Markdown ohne Selbsthosting
Der beste Crawler ist der, der zu deinen Daten, Berechtigungen, Fähigkeiten und Betriebsgrenzen passt. Fang einfach an, prüfe einen kleinen Testlauf und erhöhe die Komplexität nur dann, wenn das Projekt es wirklich braucht. Wenn du KI-gestützte Extraktion ausprobieren möchtest, bietet die Thunderbit-Browser-Erweiterung einen No-Code-Weg von einer kompatiblen Seite zur Tabellenkalkulation.
Mehr erfahren
- AI Web Scraping
- Web Scraping ohne Programmierung
- Was ist Web Scraping
- Instant Data Scraper Alternativen
- LinkedIn scrapen
FAQs
1. Was ist ein Web-Crawler und wie unterscheidet er sich von einem Web-Scraper?
Ein Crawler entdeckt und ruft Seiten ab – er folgt Links, verwaltet eine URL-Warteschlange und behandelt Duplikate sowie Tiefenlimits. Ein Scraper extrahiert konkrete strukturierte Daten aus diesen Seiten – er analysiert HTML, wählt Felder aus und gibt Datensätze aus. Die meisten modernen Tools können beides in unterschiedlichem Umfang, und die Begriffe werden oft synonym verwendet. Der Unterschied ist aber wichtig, wenn du ein Tool auswählst: Manche Tools (wie Playwright) sind stark beim Rendern von Seiten, bieten aber keine Crawl-Infrastruktur; andere (wie Scrapy) liefern die komplette Crawl-Pipeline, brauchen aber ein Plugin fürs JavaScript-Rendering.
2. Welcher Web-Crawler ist am besten für jemanden ohne Programmierkenntnisse?
Thunderbit, Octoparse und ParseHub sind die besten No-Code-Optionen für allgemeine Datenerfassung. Thunderbit nutzt KI zur Feldvorschläge und läuft als Browser-Erweiterung; Octoparse bietet einen visuellen Workflow-Builder mit Auto-detect; ParseHub ist stark bei komplexen mehrstufigen Abläufen. Für reine SEO-Anwendungen crawlt die Gratisversion von Screaming Frog bis zu 500 URLs ohne Programmierung.
3. Sind Web-Crawler kostenlos nutzbar?
Es gibt zwei Kategorien. Vollständig Open-Source-Tools (Scrapy, Crawlee, Crawl4AI, Playwright, Colly) verlangen keine Gebühr pro Seite, aber du betreibst die Infrastruktur selbst und zahlst für Rechenleistung, Bandbreite und Speicher. Freemium-Tools (Octoparse, ParseHub, Thunderbit, Firecrawl, Screaming Frog) bieten Gratisstufen mit unterschiedlichen Grenzen bei Seiten, Projekten, Exporten oder Funktionen. Die genauen Details findest du in der Vergleichstabelle zu den Gratisstufen oben.
4. Können Web-Crawler JavaScript-lastige Websites verarbeiten?
Ja, aber nicht alle. Tools mit integriertem Browser-Rendering – Playwright, Crawlee (PlaywrightCrawler), Octoparse, ParseHub, Crawl4AI und Thunderbit (über den Browser Mode) – können JavaScript-geladene Inhalte verarbeiten. Scrapy und Colly sind HTTP-first und brauchen separate Browser-Integrationen für JavaScript-Rendering. Screaming Frog unterstützt JavaScript-Rendering nur in der kostenpflichtigen Version. Prüfe immer zuerst den Quelltext der Zielseite, um zu sehen, ob überhaupt ein Browser nötig ist.
5. Ist Web Crawling legal?
Darauf gibt es keine pauschale Ja/Nein-Antwort. Die rechtliche Bewertung hängt von den Daten, der Zugriffsmethode, dem Verwendungszweck, den Website-Bedingungen, Verträgen, Regeln des geistigen Eigentums, Datenschutzpflichten wie der DSGVO und der zuständigen Rechtsordnung ab. robots.txt ist ein Crawl-Steuersignal, keine rechtliche Genehmigung, und öffentliche Sichtbarkeit ist keine Freikarte. Für konkrete Fälle – besonders bei personenbezogenen Daten, urheberrechtlich geschützten Inhalten, Authentifizierung oder kommerzieller Weiterverwendung – solltest du eine qualifizierte Rechtsberatung hinzuziehen.
