Eine Redaktion irgendwo veröffentlicht alle paar Sekunden eine neue Story, ein Konkurrent stellt um Mitternacht eine Pressemitteilung online, und eine behördliche Meldung, die du eigentlich sehen musst, ist gerade auf Seite vier einer Website einer Landesbehörde verschwunden. Niemand hat Zeit, so viele Browser-Tabs im Blick zu behalten. Genau deshalb wurde „News-Scraper“ zu einer echten Produktkategorie — und genau deshalb sind die meisten Kaufberatungen dazu ziemlich unbrauchbar.
Das Problem, das mir bei der Recherche immer wieder begegnet ist: Die meisten „besten News-Scraper“-Listen greifen sich einfach irgendeine Ecke heraus und bleiben dort. Ein Artikel bewertet nur No-Code-SaaS-Tools. Ein anderer behandelt nur Python-Libraries, als würde jeder Leser der Welt wissen, wie man eine Scrapy-Spider schreibt. Keiner dieser Ansätze hilft jemandem, der herausfinden will, ob er eine Browser-Erweiterung, einen API-Key oder ein Wochenende mit pip install braucht. Deshalb ordnet diese Liste alle zehn Tools in drei Bereiche ein — No-Code/agentisch, verwaltete API und Coding-Library — und lässt dich anhand deines echten Skill-Niveaus und der Anzahl der Quellen entscheiden, die du beobachten musst, nicht danach, wer den ersten Platz bezahlt hat.
Was macht 2026 einen guten News-Scraper aus?
Sechs Dinge sind hier wirklich wichtig, und genau daran messe ich jeden Eintrag unten:
- Passende Kategorie — ist das ein Point-and-Click-Tool, eine verwaltete API, die dir Infrastruktur abnimmt, oder eine Coding-Library, mit der du selbst baust?
- Einfachheit für Nicht-Techniker — dieser Punkt taucht ständig in Foren auf, wenn Leute nach „einem Web-Daten-Scraper fragen, den auch Nicht-Entwickler wirklich nutzen können“, und das ist kein Nischenthema.
- Skalierbarkeit — schafft das Tool 20, 100 oder 1.000 News-Quellen, ohne dass jemand für jede Quelle manuell Regeln neu schreiben muss?
- Ehrlicher Umgang mit Anti-Bot-Schutz und JS-Rendering — also nicht Marketing mit „garantiertem Bypass“, sondern was tatsächlich passiert, wenn eine Website JavaScript, CAPTCHA oder eine Paywall vorschaltet.
- Preismodell — Abo, Credit-basiert oder Pay-per-Request, und ob die Einheiten für News-Volumen wirtschaftlich sinnvoll sind.
- Exportoptionen — CSV, JSON, Sheets, Airtable, Webhook — was auch immer die Daten an den richtigen Ort bringt.
Wenn ein Tool bei einem News-Monitoring-Use-Case die meisten dieser Punkte nicht erfüllt, sind auch die GitHub-Stars egal.
No-Code vs. API vs. Code: Welcher News-Scraper passt zu dir?
Die meisten „Top 10“-Listen werfen diese drei Kategorien einfach zusammen, als würden sie um denselben Job konkurrieren. Tun sie nicht.
No-Code/agentische Tools sind für Business-Anwender — Sales, Operations, Research, Marketing — gedacht, die eine Tabelle mit Schlagzeilen und Links brauchen, ohne eine einzige Zeile Code anzufassen. Verwaltete APIs sind für Entwickler, die keine Proxy-Infrastruktur oder Headless Browser selbst betreiben wollen; sie schicken eine URL, bekommen HTML oder JSON zurück und bauen die restliche Pipeline darauf auf. Coding-Libraries und Frameworks sind für Engineers, die volle Kontrolle über Crawling, Parsing, Retries und alles andere wollen — allerdings auf Kosten der eigenen Wartung.
Thunderbit ist ein gutes Beispiel dafür, wie die No-Code-Schiene im Alltag aussieht. Die Thunderbit Chrome-Erweiterung arbeitet mit einem Ablauf namens One Click Extract — du klickst darauf, das Tool liest die Seite aus und erkennt den Inhalt, und dann erscheint Run Now. Wenn du klickst, startet die Extraktion sofort. Wenn du nichts tust, beginnt sie nach ein paar Sekunden von selbst. Kein Selektor, kein vorher definiertes Schema, kein Mapping der Felder. Das ist eine direkte Antwort auf die immer wieder gehörte Beschwerde vom „Scraper für Nicht-Entwickler“ — wobei natürlich auch hier gilt: Es funktioniert nur auf Seiten, auf die du autorisierten Zugriff hast, und ist kein Werkzeug zum Umgehen von Paywalls.
Wer den Kategorien-Wandel breiter verstehen möchte, sollte sich unsere eigene Einordnung von KI-Web-Scraping ansehen und darüber, was „No-Code“ wirklich bedeutet, wenn ein Scraper das für sich behauptet.
Erst prüfen: Gibt es schon einen RSS-Feed oder eine News-API?
Bevor du irgendetwas baust oder bezahlst, prüfe, ob der Publisher die Daten bereits kostenlos bereitstellt. Klingt banal — wird aber ständig übersprungen.
Die meisten News-Seiten unterstützen weiterhin RSS- oder Atom-Feeds, die über standardisierte <link rel="alternate">-Tags gemäß der WHATWG HTML-Spezifikation auffindbar sind — und die RSS-2.0-Spezifikation ist selbst schon alt genug, um in den meisten Ländern legal Alkohol zu trinken. Auch die sitemap.xml eines Publishers kann dir gemäß dem Sitemaps-Protokoll ein sauberes Verzeichnis der Artikel-URLs liefern, ohne dass du ein einziges Navigationsmenü anfassen musst.
Über einzelne Publisher hinaus gibt es ein paar Aggregator-Optionen:
- NewsAPI — eine kommerzielle News-Aggregations-API mit einer kostenlosen Entwicklerstufe und bezahlten Produktionsplänen; prüfe die Nutzungsbedingungen, bevor du etwas auf Basis der Gratisstufe live stellst.
- GDELT — ein riesiger, kostenloser, originärer globaler News- und Event-Datensatz mit einer DOC 2.0 API. Für Recherche und Trendanalyse ist das wirklich nützlich, aber das Projekt veröffentlicht auch Hinweise zu Rate Limits, also behandle es bitte nicht wie eine unendliche Datenquelle.
Scraping ist trotzdem die richtige Wahl, wenn eine Quelle keinen Feed hat, der Feed nicht alle benötigten Felder enthält (zum Beispiel den vollständigen Artikeltext), oder wenn du so viele Quellen überwachen musst, dass du eine einheitliche Pipeline statt zehn unterschiedlicher Formate brauchst. Erst prüfen. Das sind die günstigsten zehn Minuten, die du in diesem gesamten Projekt investieren kannst.
Die besten News-Scraper auf einen Blick
Die Preise hier sind nicht 1:1 vergleichbar — Credits, „erfolgreiche Requests“, Compute Units und Flatrate-Abos messen alle etwas anderes. Prüfe die aktuellen Zahlen, bevor du Budget freigibst.
| Tool | Kategorie | Am besten geeignet für | Umgang mit JS/Anti-Bot | Programmierung erforderlich | Preismodell |
|---|---|---|---|---|---|
| Thunderbit | No-Code / agentisch | Nicht-Techniker, die schnell Daten aus frei zugänglichen News-Seiten extrahieren wollen | Auf kompatiblen, autorisierten Seiten unterstützt; keine Garantie bei harten Paywalls | Keine | Kostenloser Plan + kostenpflichtige Credit-Pläne, aktuelle Preise ansehen |
| Octoparse | Visueller No-Code-Scraper | Point-and-Click-Workflows mit Vorlagen | Integrierter Browser, manuelle AJAX-Konfiguration | Keine bis gering | Kostenloser Plan + Abo-Stufen |
| Apify | Actor-Plattform | Entwickler, die vorgefertigte und eigene Scraper in großem Umfang nutzen wollen | Abhängig vom jeweiligen Actor | Gering bis mittel | Kostenloses Guthaben + Abo-Stufen |
| Bright Data | Verwaltete API/Proxy-Infrastruktur | Scraping im Enterprise-Maßstab über Regionen hinweg | Web Unlocker + separate Browser API | Mittel | Pay-as-you-go + Volumenstufen |
| ScraperAPI | Verwaltete API | Einfache API-Aufrufe für HTML/JS-Rendering | Optionales Rendering, Proxy-Rotation | Gering (API-Aufruf) | Credit-basierte Abo-Stufen |
| Oxylabs | Verwaltete API/Proxy-Infrastruktur | Enterprise-Proxy-Bedarf mit hohem Volumen | Rendering + Browser-Anweisungen | Mittel | Preisstufen pro Ergebnis |
| Crawlbase | Verwaltete API | JS-lastige Seiten, artikelorientierte Extraktion | JS-Token-Rendering + Proxies | Gering (API-Aufruf) | Kostenloses Kontingent + dynamische Domain-Preise |
| Scrapy | Coding-Framework | Individuelle Python-Crawler mit maximaler Kontrolle | Manuell (Middleware/Browser-Integration nötig) | Hoch | Kostenlos, Open Source |
| Beautiful Soup | Coding-Library | Leichtgewichtiges HTML-Parsing für statische Seiten | Keine (mit Requests kombinieren) | Hoch | Kostenlos, Open Source |
| Selenium | Browser-Automatisierungsbibliothek | JS-gerenderte oder login-geschützte Seiten | Echter Browser-Betrieb; kein CAPTCHA-Bypass | Hoch | Kostenlos, Open Source |
1. Thunderbit: Bester No-Code-News-Scraper für Nicht-Techniker
Thunderbit ist ein browserbasiertes, agentisches Extraktions-Tool für Business-Anwender — also für Sales-, Research- und Ops-Teams — und nicht für Entwickler, die eine maßgeschneiderte Pipeline bauen möchten. Der Ablauf ist bewusst minimalistisch: One Click Extract anklicken, das Tool die Seite lesen lassen und dann auf Run Now gehen (oder auch nicht — nach ein paar Sekunden startet es ohnehin automatisch).
Wichtige Funktionen:
- Vor dem Start sind keine Selektoren, kein Schema und kein Feld-Mapping nötig
- Pagination und Subpage-Anreicherung werden auf kompatiblen Seiten unterstützt, nützlich etwa für das Muster „Kategorieseite bis Artikelseite“
- Export nach Excel, Google Sheets, Airtable oder Notion
- Eine separate Open API für Teams, die später über den Browser-Workflow hinauswachsen
Die Preisstruktur umfasst einen kostenlosen Plan plus bezahlte, Credit-basierte Tarife — prüfe die aktuelle Preisseite, da sich Credit-Mengen und Seitenlimits im Laufe der Zeit ändern. Die separate API hat ihr eigenes Preismodell; geh also nicht davon aus, dass Erweiterungs-Credits und API-Einheiten austauschbar sind.
Am besten geeignet für: Researcher oder Analysten, die heute eine saubere Tabelle mit News-Daten brauchen — nicht erst in sechs Wochen eine regulierte Ingestion-Pipeline.
Vor- und Nachteile
Vorteile: keine Programmierung nötig, schnelle Einrichtung, passt sich dem Seitenlayout an, ohne Selektoren manuell nachzuziehen, Export direkt in Tools, die Teams ohnehin nutzen.
Nachteile: nicht für Entwickler gedacht, die granulare Kontrolle über Requests oder eigene Crawl-Logik wollen. Wie jedes Tool in dieser Liste stößt es bei harten Paywalls und CAPTCHA-geschützten Seiten an seine Grenzen — es gibt keinen magischen Workaround, und den sollte es auch nicht geben. Für Teams, die das mit komplett manuellen Setups vergleichen, erklärt unser Artikel über Web-Scraping ohne Programmierung die Unterschiede genauer.
2. Octoparse: Bester visueller Point-and-Click-News-Scraper
Octoparse gibt Nicht-Programmierern eine visuelle Arbeitsfläche für den Aufbau von Scraping-Workflows — Klicks, Schleifen, Pagination-Regeln und Wartebedingungen — direkt im integrierten Browser. Es liegt in Sachen manueller Kontrolle eine Stufe über agentischen Tools und in Sachen Komplexität eine Stufe unter Coding-Frameworks.
Wichtige Funktionen:
- Der integrierte Browser führt JavaScript aus und verarbeitet AJAX-geladene Inhalte, allerdings muss das Timing oft manuell konfiguriert werden
- Eine Vorlagenbibliothek mit einer News-&-Media-Kategorie und einer speziellen CNN-Vorlage
- Lokale Ausführungen zum Testen sowie Cloud-Scheduling für wiederkehrende Jobs
- Der Gratisplan unterstützt lokale Nutzung mit bis zu 50.000 exportierten Zeilen pro Monat für geeignete Custom Tasks
Der Kompromiss liegt in der Wartung: Weil Workflows konkrete Klicks und Selektoren fest verdrahten, kann ein Redesign des Publishers eine Schleife oder ein Feld genauso kaputt machen wie eine handgeschriebene Scrapy-Regel. Die Preisstruktur umfasst einen kostenlosen lokalen Plan, Standard für 83 $/Monat (oder 69 $/Monat bei jährlicher Abrechnung) mit drei parallelen Cloud-Prozessen und Pro für 299 $/Monat (oder 249 $/Monat jährlich) mit 20 parallelen Cloud-Prozessen.
Am besten geeignet für: Nicht-Programmierer, die mehr explizite Kontrolle über die Interaktion mit Seiten wollen als ein vollautomatisches Tool bietet, und die gelegentliche Pflege von Vorlagen nicht stört.
3. Apify: Beste Actor-basierte Scraping-Plattform für Entwickler
Apify basiert auf sogenannten Actors — verpackten, gehosteten Scraping-Programmen mit definierten Ein- und Ausgaben. Einige werden von Apify selbst gepflegt, andere von der Community, und du kannst auch eigene bauen. Das macht die Plattform weniger zu einem einzelnen Produkt und mehr zu einem Marktplatz — mit Vor- und Nachteilen.
Wichtige Funktionen:
- Der gepflegte Website Content Crawler erzeugt saubere Text-/Markdown-Ausgaben, die sich für Such- oder LLM-Pipelines eignen
- Es gibt von der Community gebaute Google-News-Actors für die Recherche, allerdings variieren Zuverlässigkeit und Preis je nach Maintainer — prüfe den jeweiligen Actor genau, bevor du darauf aufbaust
- Planung/Scheduling, Webhooks und API-Trigger für wiederkehrende Jobs
- Dataset-Exporte in JSON, CSV, XML, Excel, HTML, RSS und JSONL
Die Preise starten kostenlos mit 5 $ monatlichem Nutzungsguthaben, danach folgt Starter für 29 $/Monat, Scale für 199 $ und Business für 999 $ — zusätzlich zu nutzungsbasiertem Compute und Actor-spezifischen Kosten. Die Gesamtausgaben hängen stark davon ab, welche Actors du einsetzt und ob sie im Hintergrund einen kompletten Browser verwenden.
Am besten geeignet für: technische Teams, die Komponenten evaluieren und austauschen wollen, statt nur einen festen Endpunkt einzukaufen.
4. Bright Data: Beste Enterprise-Proxy-Infrastruktur für News-Scraping
Bright Data versteht man besser als Stack denn als einzelnes Produkt. Discovery-Datensätze übernehmen die Suche, Web Unlocker kümmert sich um das Abrufen öffentlicher Seiten mit Routing und Zugriffskontrolle, und die Browser API stellt einen Remote-Browser für JavaScript-lastige Seiten bereit. Es gibt nicht eine universelle „News Scraper API“ — man kombiniert die Bausteine.
Wichtige Funktionen:
- Umfassendes Geo-Targeting für regionalspezifische Ausgaben
- Separate Produkte für Abruf und vollständigen Browser, sodass Teams Kosten nur dort erhöhen, wo es nötig ist
- API- und Webhook-Auslieferung zur Integration in Pipelines
Die Web-Unlocker-Preise umfassen 5.000 kostenlose Requests pro Monat, danach Pay-as-you-go mit 1,50 $ pro 1.000 erfolgreiche Requests (ab dem 499-$-Monatstarif sinkt das auf 1,30 $ pro 1.000 bei 383.000 enthaltenen Requests). Die Browser API rechnet über Bandbreite ab — ab 8 $/GB Pay-as-you-go. Wichtig: Bright Data definiert „erfolgreich“ in den eigenen Bedingungen über den Response-Status, nicht über die tatsächliche Verwendbarkeit des Artikels. Plane das Budget entsprechend.
Am besten geeignet für: Enterprise-Teams, die bereits eigene Extraktions- und Validierungslogik haben und darunter eine robuste Routing-Infrastruktur brauchen.
5. ScraperAPI: Beste einfache API für skalierende News-Requests
ScraperAPI ist die schlichteste verwaltete Fetch-API in dieser Gruppe. Du sendest eine URL und bekommst HTML, Text oder Markdown zurück — optional inklusive JavaScript-Rendering und geografischem Routing.
Wichtige Funktionen:
render=truestartet Headless Chrome für client-gerenderte Seiten- Für ausgewählte Ziele gibt es integrierte Parser (zum Beispiel für Google-News-Suchergebnisse), allerdings keinen universellen Parser für Publisher-Artikel
- DataPipeline unterstützt geplante Low-Code-Jobs mit bis zu 10.000 URLs pro Lauf
- Batch-Anfragen verarbeiten bis zu 50.000 URLs asynchron
Die Preise starten kostenlos mit 1.000 Credits, danach Hobby für 49 $/Monat (100.000 Credits, 20 Parallelität, nur USA/EU), und gehen bis Business für 299 $/Monat (3 Millionen Credits, globale Routing-Optionen). Wichtig: Die Credit-Kosten variieren je nach Request-Typ — eine normale Seite kostet 1 Credit, JavaScript-Rendering 10 und ein Premium-plus-Render-Request 25. Ein Haufen fehlgeschlagener 404er kann dein Monatskontingent still und heimlich auffressen.
Am besten geeignet für: Entwickler, die einen Drop-in-Ersatz für direkte HTTP-Requests möchten, ohne Proxy- oder Browser-Infrastruktur selbst zu verwalten.
6. Oxylabs: Bester Enterprise-Proxy-Service mit hohem Volumen
Oxylabs bietet eine der breitesten Workflow-Oberflächen unter den verwalteten APIs hier: universeller URL-Abruf, optionales Rendering, Browser-Anweisungen für Klicks und Wartezeiten, Custom Parsing und einen integrierten Scheduler mit Cron-Syntax.
Wichtige Funktionen:
- Universelles Source-Targeting für beliebige öffentliche URLs plus spezieller Google-News-Suchergebnis-Parser für die Recherche
- Detaillierte Response-Codes, die zwischen vollständigem Erfolg und teilweisem oder fehlendem Inhalt unterscheiden — deutlich hilfreicher als ein bloßer HTTP-Status
- Cloud-Auslieferung nach S3, GCS und in andere Object-Stores
- Der eigene Scheduler warnt ausdrücklich davor, ungeprüfte Zeitpläne zu verwenden, weil das schnell teuer werden kann — für eine Preisseite erfrischend ehrlich
Die Preisstruktur umfasst eine kostenlose Testphase (bis zu 2.000 Ergebnisse), Micro für 49 $/Monat, Starter für 99 $/Monat und Business für 999 $/Monat, wobei die Preise pro Ergebnis mit dem Volumen sinken. Ein Haken: Oxylabs zählt aktuell auch 4xx-Antworten als abrechenbare „erfolgreiche“ Ergebnisse, sodass eine Seite, die nichts Nützliches liefert, dich trotzdem Geld kosten kann.
Am besten geeignet für: Unternehmen, die geo-flexiblen Abruf mit hohem Durchsatz benötigen und eine komplexere API-Oberfläche akzeptieren.
7. Crawlbase: Beste API für das Parsen von News-Seiten mit viel JavaScript
Crawlbase legt mehr Fokus auf artikelfreundliche Ausgaben als die meisten verwalteten APIs in dieser Liste. Die Crawling API bietet ein normales Token für statische Inhalte und ein JavaScript-Token für vollständiges Browser-Rendering sowie einen Readability-Modus.
Wichtige Funktionen:
md_readability=trueliefert Markdown zurück, das typische Navigation, Sidebars und Werbe-Elemente entfernt, dabei aber den Hauptartikel möglichst intakt lässt- Ein Generic Extractor für site-agnostische Extraktion von Inhalt, Titel und Metadaten
- Klick-Selektoren, Scrollen und Warte-Steuerung für interaktive JS-Seiten
- Enterprise Crawler ergänzt eine asynchrone Queue mit Retries über bis zu 48 Stunden — gut für Backfills, weniger ideal für Breaking-News-Alarme
Die Preise umfassen bis zu 20.000 kostenlose Requests; danach hängen die Kosten von der Komplexität der Ziel-Domain ab und nicht von einem pauschalen Tarif — prüfe den Kalkulator mit deinen tatsächlichen News-Quellen, bevor du budgetierst. Der direkte Async-Support ist derzeit laut Doku nur für LinkedIn dokumentiert, sofern der Support ihn nicht auch für andere Ziele freischaltet. Geh also nicht automatisch davon aus, dass das für beliebige Publisher-Domains gilt.
Am besten geeignet für: Teams, die gerendertes, artikelorientiertes Output wollen, ohne den eigenen Readability-Parser von Grund auf bauen zu müssen.
8. Scrapy: Bestes Coding-Framework für individuelle News-Crawler
Scrapy ist die stärkste Option in dieser Liste für Engineers, die einen Crawler wirklich selbst besitzen wollen. Es ist ein Python-Framework, aktuell in Version 2.17.0, das Request-Scheduling, Deduplizierung, Retries, Cookies und Pipelines bereits mitbringt.
Wichtige Funktionen:
- CSS- und XPath-Selektoren über Parsel für präzise Extraktion
- AutoThrottle und domänenspezifische Parallelitätskontrollen für höfliches Crawling
- Middleware-Hooks für Proxies, Header und eigene Retry-Logik
- Der eigene Leitfaden zu dynamischen Inhalten empfiehlt, vor einer Browser-Integration zuerst eingebettetes JSON oder strukturierte Daten zu prüfen
Preis: kostenlos, Open Source, keine Gebühren pro Request. Die realen Kosten entstehen bei Compute, Deployment und einer Bereitschaftsrotation für den Betrieb. Normale Scrapy-Requests führen kein JavaScript aus, daher brauchen JS-lastige Seiten ein Add-on wie scrapy-playwright — und Scrapy weist selbst darauf hin, keinen Headless Browser direkt in einem Spider zu steuern, weil dadurch Middleware und Deduplizierung umgangen werden können.
Am besten geeignet für: Engineering-Teams, die einen langlebigen, domainübergreifenden Crawler aufbauen und selbst betreiben möchten.
9. Beautiful Soup: Beste leichte Library für statische News-Seiten
Beautiful Soup ist ein Parser, kein Crawler — ein Unterschied, der in vielen „beste Scraper“-Listen oft verwischt wird. Er nimmt HTML oder XML, das bereits von einem anderen Tool abgerufen wurde, und baut daraus einen navigierbaren Baum. Aktuell liegt die Version bei 4.15.0 auf PyPI.
Wichtige Funktionen:
- Unterstützt mehrere Parser (
html.parser,lxml,html5lib) mit unterschiedlichen Geschwindigkeits- und Fehlertoleranzprofilen, laut offizieller Dokumentation - CSS-Selektoren über Soup Sieve für eine vertraute Syntax
- Wird typischerweise mit der Requests-Library für den eigentlichen HTTP-Abruf kombiniert
- Ideal zum Parsen von eingebettetem JSON-LD oder Open-Graph-Metadaten, die bereits im initialen HTML einer Seite vorhanden sind
Preis: kostenlos, Open Source. Dafür gibt es keinerlei Netzwerktechnik, keine Retries, keine Proxy-Rotation und keine JavaScript-Ausführung — das ist auch nicht seine Aufgabe. Es ist das richtige Werkzeug, wenn ein Team bereits erlaubtes Markup vorliegen hat und nur strukturierte Felder daraus ziehen muss.
Am besten geeignet für: Engineers, die eine kleine bis mittelgroße Pipeline bauen, bei der eine andere Komponente den Abruf bereits übernimmt.
10. Selenium: Beste Browser-Automatisierung für JS-gerenderte oder login-geschützte News
Selenium steuert echte Browser — genau deshalb ist es die richtige Wahl, wenn Inhalte erst nach JavaScript wirklich existieren oder wenn eine Aufgabe eine autorisierte, eingeloggte Sitzung erfordert. Aktuell liegt die Version bei 4.47.0.
Wichtige Funktionen:
- Selenium Manager findet und speichert kompatible Browser-Treiber automatisch, was die Einrichtung deutlich vereinfacht
- Explizite Warte-Strategien basieren auf Seitenbedingungen statt auf festen Sleeps — besonders wichtig bei modernen News-Seiten, die nach dem ersten Laden weiter Inhalte nachschieben
- Unterstützt Headless Chrome per
--headless=newfür serverseitige Ausführung - Kann innerhalb einer autorisierten Login-Sitzung arbeiten, sofern die Nutzungsbedingungen des Publishers Automatisierung erlauben
Preis: kostenlos, Open Source — aber Browser-Compute, Container und Treiberpflege sind reale Betriebskosten, und für alles jenseits einer kleinen Ausnahme-Warteschlange ist „ein Browser pro Artikel“ die falsche Architektur. Die eigenen Test-Richtlinien von Selenium raten ausdrücklich von CAPTCHA-Automatisierung ab, was für ein Tool, dem viele Menschen zutrauen, sich irgendwie durch alles durchzuboxen, erfreulich ehrlich ist.
Am besten geeignet für: eine schmale Eskalationsschicht für JS-abhängige oder autorisiert eingeloggte Seiten — nicht als Standard-Transport für Hunderte normaler Artikel.
Skalierung auf 100 bis 1.000+ News-Quellen: Warum feste Selektoren brechen
CSS- und XPath-Regeln codieren eine Annahme: „Die Überschrift steckt in dieser Klasse.“ Diese Annahme gilt so lange, bis ein Publisher ein Redesign macht, ein A/B-Test Layouts verändert oder das Content-Management-System migriert — und dann bricht die Regel entweder still oder noch schlimmer: Sie liefert still und heimlich das Falsche zurück. Ein Scraper kann „erfolgreich“ melden und dabei nur einen Teaser zu verwandten Artikeln statt des eigentlichen Textes erfassen oder den Aktualisierungszeitpunkt statt des ursprünglichen Veröffentlichungsdatums. Das ist ein deutlich beunruhigenderer Fehler als ein leeres Ergebnis, weil niemand ihn bemerkt, bis irgendwo anders eine Entscheidung auf Basis fehlerhafter Daten getroffen wird.
Tools mit statischen Selektoren — Scrapy, Beautiful Soup, vorlagenbasierte No-Code-Plattformen — erben dieses Problem. KI-gestützte oder agentische Felderkennung, wie sie Thunderbit und ähnliche Tools einsetzen, reduziert die Abhängigkeit von exakten Klassennamen, indem die Seitenstruktur bei jedem Lauf neu analysiert wird, statt auf eine hart codierte Regel zu vertrauen. Das ist in großem Maßstab ein echter Vorteil. Es ist allerdings keine wartungsfreie Garantie — es ersetzt eine deterministische Entscheidung durch eine probabilistische, und tauscht damit eine Fehlerart gegen eine andere aus.
Bei echter Skalierung (100 bis 1.000+ Quellen) besteht die Lösung nicht darin, das eine magische Tool zu wählen. Es geht darum, ein Quellenregister aufzubauen: Welche Seiten haben Feeds, welche brauchen HTML-Scraping, welche Felder werden erwartet, welche Rate Limits gelten pro Domain und welcher Quarantänepfad greift, wenn statt eines Artikels eine Challenge-Seite zurückkommt. Zuerst Feeds, dann strukturierte Metadaten, danach generische oder KI-basierte Extraktion, und erst bei den wichtigsten Ausnahmen source-spezifische Regeln — Browser-Rendering nur für Seiten, die es wirklich brauchen. Auch die Dokumentation zu dynamischen Inhalten von Scrapy vertritt im Grunde genau diesen Ansatz: Erst strukturierte Daten prüfen, bevor man zum Browser greift.
Anti-Bot und JS-Rendering: Was jeder Ansatz kann — und was nicht
Marketing in diesem Bereich vermischt oft fünf völlig verschiedene Probleme zu einem einzigen: clientseitiges Rendering, Interaktionszustände (Klicks, Scrollen, Consent-Banner), Traffic-Limits, Authentifizierungsanforderungen und Fragen der Inhaltslizenzierung. Nur die ersten beiden sind wirklich Rendering-Probleme. Der Rest hat mit JavaScript nichts zu tun.
Hier die ehrliche Einordnung, Tool für Tool: Proxy-Rotation (Bright Data, Oxylabs) verändert das Routing und kann Rate-Limit-Reibung verringern, schafft aber keine Berechtigung, wo keine existiert. Verwaltetes Rendering (Crawlbase, ScraperAPI) führt JavaScript aus, damit client-gerenderte Inhalte sichtbar werden — eine gerenderte Seite kann aber trotzdem eine Login-Sperre oder ein Abo-Prompt zurückgeben; Rendering macht die Hürde nur sichtbar, es umgeht sie nicht. Headless-Browser-Automatisierung (Selenium) kann echte Interaktionen steuern, aber selbst die Selenium-Dokumentation sagt klar, dass es nicht dafür gebaut ist, CAPTCHAs zu automatisieren. Bei Thunderbit gilt dieselbe Logik: Rendering und Zugriffshandling nur auf kompatiblen, autorisierten Seiten — ohne so zu tun, als ließe sich damit eine harte Paywall großer Abonnement-Publisher knacken.
Keines der zehn Tools in diesem Artikel garantiert Zugriff durch CAPTCHA, Login-Sperre oder Paywall. Wer dir etwas anderes erzählt, verkauft etwas, das es nicht gibt. Wenn du immer wieder an eine Wand läufst, ist der richtige Weg ein offizieller Feed, eine API oder ein Lizenzvertrag — nicht ein Eskalieren deiner Scraping-Taktik.
Ist das Scraping von News-Inhalten legal? Urheberrecht und Nutzungsbedingungen
Das ist keine Rechtsberatung, und die Ergebnisse können je nach Rechtsraum und Anwendungsfall stark variieren — aber ein paar Grenzen sollte man kennen, bevor man etwas baut.
Fakten sind in der Regel nicht urheberrechtlich geschützt; die Ausdrucksform meist schon. Das Circular 33 des U.S. Copyright Office und 17 U.S.C. §102 ziehen diese Linie klar. Eine in einem Artikel berichtete Tatsache ist nicht geschützt, nur weil ein Publisher sie zuerst veröffentlicht hat — die konkrete Formulierung, Struktur und Fotografie des Publishers sind es meist schon. Gerade beim News-Scraping ist das eine wichtige Unterscheidung, weil News-Inhalte — anders als offene Datensätze oder Branchenverzeichnisse — fast immer in ihrer Ausdrucksform urheberrechtlich geschützt sind.
Fair Use ist ein Abwägungstest, kein Wortzahl-Kriterium, gemäß 17 U.S.C. §107. Die Zusammenfassung des Copyright Office zu Associated Press v. Meltwater ist hier eine nützliche Warnung: Ein kommerzieller News-Monitoring-Dienst, der Artikel-Auszüge kopierte, wurde unter diesen konkreten Umständen nicht als Fair Use angesehen. Das ist kein pauschales Verbot für Monitoring — sondern eine Erinnerung daran, dass „wir indexieren es doch nur“ nicht automatisch gewinnt.
Auf der Zugriffsseite haben die Entscheidung des Neunten Bezirks in hiQ Labs v. LinkedIn und das Urteil des Supreme Court in Van Buren den Anwendungsbereich des Computer Fraud and Abuse Act eingegrenzt — aber keines davon gibt eine allgemeine Erlaubnis, die Nutzungsbedingungen eines Publishers zu ignorieren oder technische Zugriffskontrollen auszuhebeln. Und robots.txt, standardisiert in RFC 9309, wird ausdrücklich als Protokoll und nicht als Sicherheitsmechanismus beschrieben — es zu respektieren ist gute Praxis, aber rechtlich ist es kein eindeutiger Freifahrtschein in die eine oder andere Richtung.
Praktische Best Practice: Konzentriere dich auf öffentlich zugängliche Daten, vermeide die Wiederveröffentlichung vollständiger Artikeltexte, lass Quellenangabe und Canonical Links intakt und hol dir vor dem Scraping hinter einer Paywall oder vor dem Bau eines Produkts, das Volltexte im großen Stil weiterverteilt, unbedingt juristischen Rat ein.
Welchen News-Scraper solltest du wählen?
Wenn du Nicht-Techniker bist und morgen eine Tabelle mit Schlagzeilen brauchst, beginne
Mehr erfahren
