Neulich kam ein Kollege aus dem Sales-Team auf mich zu: Er wollte Kontaktdaten aus rund 200 Branchenverzeichnissen herausziehen. Sein Plan? Alles per Copy & Paste in eine Tabelle kippen. Ich schlug ihm vor, lieber mit ChatGPT einen Python-Scraper zu bauen. Zwanzig Minuten später hatte er ein Skript. Dreißig Minuten danach kam die Nachricht: „Auf den ersten fünf Seiten lief alles – und dann hat es einfach … aufgehört.“
Das passiert erstaunlich oft. ChatGPT schreibt Scraping-Code nämlich richtig gut – bis es das plötzlich nicht mehr tut. Und die meisten Tutorials im Netz hören genau dort auf, wo es interessant wird: „Schau, auf dieser Mini-Testseite klappt’s“ – und lassen dich dann hängen, sobald du auf eine echte Seite mit JavaScript, Bot-Schutz oder Pagination triffst. In diesem Leitfaden zeige ich dir, wie ChatGPT Web Scraping in der Praxis wirklich abläuft: der komplette Workflow, fünf wiederverwendbare Prompt-Vorlagen statt nur eines Beispiels, eine schonungslose Analyse der typischen Fehlerquellen und konkrete Auswege, wenn etwas schiefgeht – inklusive No-Code-Alternativen wie Thunderbit, mit denen du ganz ohne Programmieren auskommst.
Was ist ChatGPT Web Scraping?
„ChatGPT Web Scraping“ meint, ChatGPT zum Auslesen von Daten aus Websites einzusetzen. Der entscheidende Punkt, den viele übersehen: ChatGPT scrapt selbst gar nichts. Es kann keine URL aufrufen, kein HTML abrufen und sich nicht durch Seiten klicken. Was es kann: Code erzeugen – meist in Python –, der genau diese Aufgaben übernimmt, oder rohes HTML, das du in den Chat einfügst, analysieren und in strukturierte Daten verwandeln.
Dafür gibt es zwei gängige Wege:
- ChatGPT als Code-Generator: Du beschreibst die Seite und die gewünschten Daten, und ChatGPT schreibt ein Python-Skript – typischerweise mit BeautifulSoup, Selenium oder Playwright –, das du lokal ausführst.
- ChatGPT als Datenparser: Du kopierst rohes HTML in den Chat (oder lädst es über den Code Interpreter hoch), und ChatGPT extrahiert die benötigten Felder als JSON oder CSV.
In beiden Fällen holst du die Daten selbst ab und führst den Prozess selbst aus. ChatGPT ist das Gehirn, nicht die Hand. Selbst mit dem neueren ChatGPT Atlas Browser (veröffentlicht im Oktober 2025), der Webseiten konversationell durchsuchen kann, bekommst du Antworten – aber keine strukturierten CSV-Tabellen mit 500 Produktzeilen. Es ist ein Browsing-Assistent, keine Datenextraktions-Pipeline.
Warum ChatGPT fürs Web Scraping nutzen? Und für wen ist das gedacht?
ChatGPT senkt die Einstiegshürde fürs Web Scraping enorm. Laut der 2025 Stack Overflow Developer Survey nutzen oder planen 84% der Entwickler inzwischen KI-Tools in ihrem Workflow, und ChatGPT führt das Feld mit 82% Anteil an. Doch die Zielgruppe für „ChatGPT Web Scraping“ sind längst nicht nur Entwickler. Es sind SDRs, die Prospect-Listen bauen, E-Commerce-Manager, die Wettbewerberpreise im Blick behalten, Immobilienanalysten, die Listing-Daten ziehen, und Marketing-Teams, die Inhalte zusammentragen.
Ein kompakter Überblick über typische Anwendungsfälle und ihre Nutznießer:
| Anwendungsfall | Wer profitiert | Welche Daten werden extrahiert |
|---|---|---|
| Lead-Generierung im Vertrieb | SDRs, Sales Ops | Namen, E-Mail-Adressen, Telefonnummern aus Verzeichnissen |
| Preisbeobachtung im Wettbewerb | E-Commerce-, Pricing-Teams | Produktnamen, Preise, Verfügbarkeit, SKUs |
| Marktforschung | Analysten, Gründer | Unternehmensinfos, Bewertungen, Ratings, Feature-Listen |
| Immobilien-Datenerfassung | Makler, Investoren | Immobilienpreise, Adressen, Zimmer/Bäder, Maklerinfos |
| Content-Aggregation | Marketing-, SEO-Teams | Artikeltitel, URLs, Veröffentlichungsdaten, Autoren |
Daten von 100 Seiten von Hand zu kopieren, kann 3 bis 5 Stunden verschlingen. Ein von ChatGPT erzeugtes Skript schafft dasselbe in wenigen Minuten – wenn es läuft. Genau um dieses „wenn“ dreht sich dieser Artikel.
Gartner geht davon aus, dass bis 2026 mindestens 80% der Nutzer von Low-Code-Tools Entwickler außerhalb klassischer IT-Abteilungen sein werden. Wer „ChatGPT Web Scraping“ googelt, sind immer öfter Nicht-Entwickler, die Daten brauchen, ohne dafür einen Engineer einzustellen. Für sie ist ChatGPT meist die erste Anlaufstelle – und Tools wie Thunderbit die Lösung, sobald das Skript den Dienst verweigert.
So funktioniert ChatGPT Web Scraping: Schritt für Schritt
Hier der komplette Ablauf von vorne bis hinten, anhand einer Verzeichnisliste mit Unternehmen – und nicht anhand einer Spielzeugseite.
- Schwierigkeitsgrad: Mittel (du solltest Python zumindest grundsätzlich bedienen können)
- Zeitaufwand: ca. 15–30 Minuten für den ersten Lauf
- Was du brauchst: Chrome-Browser, eine Python-Umgebung (Python 3.10+), ChatGPT (die Free-Version reicht) und eine Ziel-URL
Schritt 1: Website prüfen und die benötigten Daten identifizieren
Öffne die Seite, die du scrapen willst, in Chrome. Klick mit der rechten Maustaste auf ein Datenfeld, das du brauchst (z. B. einen Firmennamen), und wähle Untersuchen. Damit öffnen sich die Chrome DevTools, und das zugehörige HTML-Element wird hervorgehoben.
Halte Ausschau nach CSS-Selektoren – also nach Dingen wie h2.business-name, span.phone oder a.website-link. Je präziser deine Selektoren, desto besser fällt ChatGPTs Ergebnis aus. Kopiere dir einen repräsentativen HTML-Ausschnitt (eine „Karte“ oder Zeile mit Daten), den du später in den Prompt einfügst.
Am Ende hast du eine kurze Liste mit Feldnamen, etwa business_name, phone, website_url, plus die passenden CSS-Selektoren.
Schritt 2: Einen detaillierten Prompt für ChatGPT schreiben
Genau hier scheitern die meisten Anleitungen – sie werfen einen vagen Prompt hin und hoffen auf das Beste. Ein guter Scraping-Prompt besteht aus sechs Teilen:
- Sprache und Library: „Schreibe ein Python-3.11-Skript mit BeautifulSoup 4.“
- Ziel-URL: Die exakte Seite, die gescrapt werden soll.
- CSS-Selektoren: Für jedes Feld der in Schritt 1 gefundene Selektor.
- Ausgabeformat: CSV, JSON oder beides.
- Spezielle Vorgaben: Encoding, Fehlerbehandlung, Wartezeiten.
- HTML-Ausschnitt: Füge 20–40 Zeilen echtes HTML ein, damit ChatGPT die Struktur sieht.
Hier ein Beispiel-Prompt mit Kommentaren:
Du bist ein Senior-Python-Engineer. Schreibe einen Web-Scraper mit Python 3.11 und BeautifulSoup 4.
Ziel-URL: https://example.com/businesses
Ziel: Extrahiere jede Business-Karte auf der Seite und gib pro Unternehmen eine Zeile zurück.
Benötigte Felder (CSS-Selektoren in Klammern):
- business_name (h2.biz-name)
- phone (span.phone-number)
- website_url (a.biz-link, href)
- rating (div.stars[data-rating])
Ausgabe: Speichere als businesses.csv mit UTF-8-Encoding und einer Kopfzeile.
Anforderungen:
- Verwende requests mit einem realistischen User-Agent-Header
- Gehe mit fehlenden Feldern sauber um (None statt Absturz)
- Gib am Ende die Anzahl der extrahierten Unternehmen aus
- Füge eine 1-Sekunden-Pause zwischen Requests ein, wenn du über mehrere Seiten iterierst
Hier ist ein repräsentativer HTML-Ausschnitt von der Seite (eine Business-Karte):
<PASTE 20-40 LINES OF THE ACTUAL HTML HERE>
Tipp: Der HTML-Ausschnitt ist der größte Hebel für die Genauigkeit. ChatGPT kann die URL nicht selbst aufrufen, deshalb ist dieses Snippet seine einzige verlässliche Quelle für die Seitenstruktur.
Schritt 3: Den erzeugten Code prüfen und testen
Führe ChatGPTs Code nicht blind aus. Lies ihn zuerst durch. Achte dabei auf:
- Ausgedachte Selektoren: ChatGPT erfindet hin und wieder CSS-Klassen, die es auf der Seite gar nicht gibt.
- Fehlende Libraries: Prüfe, ob
pip install requests beautifulsoup4(oderplaywrightetc.) berücksichtigt ist. - Feste Werte: Kontrolliere, ob URL, Feldnamen und Dateipfade stimmen.
Richte eine virtuelle Python-Umgebung ein, installiere die Abhängigkeiten und teste das Skript erst mit einer kleinen Stichprobe (ein, zwei Seiten). Sieh dir die CSV-Ausgabe an: Sind die Spalten gefüllt? Klaffen Lücken, wo du Daten erwartet hättest?
Schritt 4: Mit Folge-Prompts verfeinern
Beim Iterieren ist ChatGPT stark. Erwischt das erste Skript nur Seite 1, frag nach:
„Das Skript scrapt nur die erste Seite. Kannst du Pagination ergänzen, damit alle Seiten erfasst werden? Die Seite nutzt ?page=1, ?page=2 usw. Stoppe, wenn eine Seite keine Ergebnisse liefert oder nach 50 Seiten.“
Fehlen Felder, bitte ChatGPT um Regex-Fallbacks für E-Mails oder Telefonnummern. Setzt die Seite stark auf JavaScript, verlange eine Playwright-Version. Jeder Folge-Prompt baut auf dem vorherigen Code auf – stell dir Pair Programming mit einem sehr schnellen (aber manchmal etwas zu selbstsicheren) Partner vor.
5 Copy-and-Paste-Prompt-Vorlagen für ChatGPT Web Scraping
Eine Anleitung, die das bietet, habe ich bisher nicht gefunden. Ich habe fünf Prompt-Vorlagen für unterschiedliche Szenarien entworfen, getestet und überarbeitet. Kopiere sie, ersetze URL und HTML-Ausschnitt, und ChatGPT liefert dir im ersten Anlauf – oder zumindest ziemlich nah dran – lauffähigen Code.
Vorlage 1: Scraper für Listing-Seiten (Produktkataloge, Verzeichnisse)
Wann verwenden: Du hast eine Seite mit vielen Einträgen (Produkte, Unternehmen, Jobangebote) und willst pro Eintrag eine Zeile.
Du bist ein Senior-Python-Engineer. Schreibe einen Web-Scraper mit Python 3.11 und BeautifulSoup 4.
Ziel-URL: [DEINE URL]
Ziel: Extrahiere jede Kartenansicht auf der Seite und gib pro Eintrag eine Zeile zurück.
Benötigte Felder (CSS-Selektoren in Klammern — aus dem Inspect-Dialog abgeleitet):
- [feld_1] ([selektor_1])
- [feld_2] ([selektor_2])
- [feld_3] ([selektor_3])
- [feld_4] ([selektor_4, falls Attribut nötig])
Ausgabe: Speichere als items.csv mit UTF-8-Encoding und einer Kopfzeile.
Anforderungen:
- Verwende requests mit einem realistischen User-Agent-Header
- Gehe mit fehlenden Feldern sauber um (None statt Absturz)
- Gib am Ende die Anzahl der extrahierten Einträge aus
- Füge eine 1-Sekunden-Pause zwischen Requests ein, wenn du über mehrere Seiten iterierst
Hier ist ein repräsentativer HTML-Ausschnitt von der Seite (eine Kartenansicht):
[20-40 ZEILEN DES ECHTEN HTML EINFÜGEN]
Erwartetes Ergebnis: Eine CSV-Datei mit einer Zeile pro Eintrag und Spalten, die deinen Feldnamen entsprechen.
Vorlage 2: Detail-/Unterseiten-Scraper (einzelne Produkt- oder Profilseiten)
Wann verwenden: Du hast eine einzelne Seite mit vielen Details (Produktseite, Personenprofil, Immobilienangebot) und willst alles in einem strukturierten Datensatz festhalten.
Schreibe eine Python-Funktion `scrape_detail(url)`, die eine Detailseiten-URL entgegennimmt und ein Dict mit diesen Schlüsseln zurückgibt:
- [feld_1]
- [feld_2]
- [feld_3]
- [feld_4]
- [feld_5]
Verwende BeautifulSoup. Gehe mit fehlenden Feldern sauber um (gib dafür None zurück).
Baue Regex-Fallbacks für E-Mail und Telefonnummern ein — nicht jede Seite markiert sie gleich.
Gib das Dict zurück und hänge es außerdem als eine Zeile an details.csv an (Datei beim ersten Aufruf mit Kopfzeile erstellen).
Referenz-HTML-Ausschnitt von einer echten Detailseite:
[40-60 ZEILEN HTML EINER DETAILSEITE EINFÜGEN]
Erwartetes Ergebnis: Ein Dict pro Seite und eine wachsende CSV-Datei mit einer Zeile pro Detailseite.
Vorlage 3: Scraper für dynamische/JavaScript-gerenderte Seiten (Playwright)
Wann verwenden: Die Seite lädt Inhalte per JavaScript nach (React, Angular usw.) – im HTML-Quelltext siehst du nur ein leeres <div id="root">.
Schreibe einen Python-Web-Scraper mit Playwright (sync API) für eine JavaScript-gerenderte Seite.
Ziel-URL: [DEINE URL]
Ziel: Extrahiere alle Ergebnis-Karten, die nach dem vollständigen Laden der Seite dynamisch erscheinen.
Anforderungen:
- Verwende `page.wait_for_selector('[DEIN KARTEN-SELEKTOR]', timeout=15000)`, um auf Inhalte zu warten
- Scrolle zweimal bis zum Seitenende und mache dazwischen jeweils eine 1-Sekunden-Pause, um Lazy-Loading-Inhalte auszulösen
- Extrahiere aus jeder Karte: [feld_1], [feld_2], [feld_3], [feld_4]
- Speichere als results.json als Liste von Dicts, UTF-8
- Starte mit headless=False (damit ich den Ablauf sehen kann) und füge am Ende eine 2-Sekunden-Pause vor dem Schließen ein
Verwende nicht requests oder BeautifulSoup — nur Playwright.
Erwartetes Ergebnis: Eine JSON-Datei mit einem Objekt pro Ergebnis-Karte und vollständig gefüllten Feldern.
Vorlage 4: Pagination-Handler (Scraping über mehrere Seiten)
Wann verwenden: Du hast bereits einen funktionierenden Scraper für eine Seite und musst jetzt alle Seiten durchlaufen.
Nimm den folgenden bestehenden BeautifulSoup-Scraper und erweitere ihn um eine Pagination-Schleife, die ALLE Seiten sammelt, nicht nur Seite 1.
Die Seite nutzt URL-Parameter-Pagination: ?page=1, ?page=2 usw.
Abbruchbedingung: wenn die aktuelle Seite keine Einträge liefert ODER wenn der HTTP-Status nicht 200 ist ODER wenn Seite 100 erreicht ist (Sicherheitsgrenze).
Füge hinzu:
- Eine höfliche 1,5-Sekunden-Pause zwischen den Seitenaufrufen
- Einen try/except-Block um jeden Request, der den Fehler protokolliert und weitermacht
- Eine Fortschrittsausgabe alle 5 Seiten: „Seite 15 → bisher 300 Einträge“
- Abschließendes Speichern in items_all.csv
Vorhandenes Skript:
[DEIN AKTUELLES EINZELSEITEN-SKRIPT EINFÜGEN]
Erwartetes Ergebnis: Eine einzige CSV mit allen Einträgen aller Seiten plus Konsolenausgabe zum Fortschritt.
Vorlage 5: Daten bereinigen und strukturieren („HTML einfügen“-Ansatz)
Wann verwenden: Du hast bereits rohes HTML (aus curl, aus dem Browser oder aus einer Datei) und möchtest, dass ChatGPT es in saubere strukturierte Daten umwandelt – ganz ohne Code.
Ich werde rohes HTML von einer Produkt-Detailseite einfügen. Du musst keinen Code schreiben — gib die extrahierten Daten einfach als JSON-Objekt zurück, das diesem Schema entspricht:
{
"name": string,
"brand": string,
"price": number,
"currency": string (ISO 4217),
"availability": "in_stock" | "out_of_stock" | "preorder" | "unknown",
"rating": number (0-5) oder null,
"review_count": integer oder null,
"description": string (max. 500 Zeichen),
"key_specs": [{"name": string, "value": string}]
}
Verwende null für alles, was du wirklich nicht finden kannst — erfinde nichts.
Gib AUSSCHLIESSLICH das JSON-Objekt zurück, keinen Fließtext, keinen Markdown-Block.
HTML:
[GESAMTES SEITEN-HTML EINFÜGEN]
Erwartetes Ergebnis: Ein einzelnes JSON-Objekt, das sich direkt in eine Tabelle oder Datenbank übernehmen lässt.
Wo ChatGPT Web Scraping scheitert: ehrliche Grenzen
Diesen Teil ignorieren die meisten Anleitungen komplett. Ich habe genug Stunden mit dem Debuggen von ChatGPT-generierten Scrapern verbracht, um genau zu wissen, wo sie auseinanderbrechen – und die 2025 Stack Overflow Survey bestätigt, dass nur 3% der Entwickler KI-Ausgaben „sehr stark“ vertrauen. Die Gründe:
JavaScript-lastige und dynamische Websites
Über 98,8% aller Websites setzen JavaScript für clientseitige Funktionen ein. Allein React läuft inzwischen auf 7,2% aller Websites – ein ~67%iger Anstieg binnen eines Jahres. Sagst du ChatGPT „scrape diese Seite“, kommt standardmäßig meist ein requests + BeautifulSoup-Skript zurück. Dieses Skript holt nur das rohe HTML – und auf einer React- oder Angular-Seite ist das rohe HTML oft nicht mehr als ein leeres <div id="root">. Die eigentlichen Daten erscheinen erst, nachdem JavaScript ausgeführt wurde, was requests nie tut.
ChatGPT kann Selenium- oder Playwright-Code erzeugen, sofern du danach fragst. Solche Skripte sind aber langsamer (Playwright braucht im Schnitt 2,9 Sekunden pro Seitenaufruf statt unter einer Sekunde bei statischen Requests) und müssen häufig wegen Wartebedingungen, Scroll-Triggern und Element-Selektoren nachgebessert werden, die ChatGPT falsch errät.
Bot-Schutz und CAPTCHAs
Cloudflare schützt etwa 20% aller Websites, und Dienste wie DataDome werben mit 99,9% Bot-Erkennungsgenauigkeit. Ein nacktes requests.get() mit Python-User-Agent ist, ehrlich gesagt, ein klassischer Bot-Fingerabdruck. Von ChatGPT erzeugte Skripte kennen weder Proxy-Rotation noch TLS-Fingerprinting-Spoofing, weder Cookie-Handling noch CAPTCHA-Lösung. Auf jeder kommerziellen Seite mit auch nur grundlegendem Schutz wird das Skript schon beim ersten Request abgewiesen.
Pagination und Scraping im großen Maßstab
ChatGPTs Standard-Pagination-Schleife arbeitet meist ?page=N ab oder klickt einen .next-Button. Echte Websites setzen aber auf cursor-basierte Pagination, Infinite Scroll mit IntersectionObserver oder GraphQL-Aufrufe. Brauchbaren Code dafür liefert ChatGPT nur, wenn du den exakten Netzwerkruf zeigst – und selbst dann sind die Schleifen oft fragil. Sowohl der ChatGPT-Scraping-Guide von Oxylabs als auch das Tutorial von Decodo aus 2026 nennen Pagination als den Punkt, an dem ihre Beispiel-Scraper am häufigsten einen zweiten oder dritten Prompt brauchen.
Laufendes und geplantes Scraping
ChatGPT liefert dir ein Einmal-Skript. Keinen Scheduler, keine Änderungsüberwachung, keine Benachrichtigungen. Willst du „Wettbewerberpreise jeden Morgen prüfen“, brauchst du Cron, Airflow oder Lambda – Dinge, die der erste ChatGPT-Antwortblock nicht abdeckt. Für Business-User, die regelmäßig Daten brauchen, ist das schnell eine Sackgasse.
Das Geschwindigkeits- und Kostenproblem
Bei JS-lastigen Seiten liegen die realen Laufzeiten mit Selenium oder Playwright unter Idealbedingungen bei 3–10 Sekunden pro Seite, mit Wiederholungen und Bot-Schutz-Wartezeiten eher bei 40–60 Sekunden pro Seite – ein Problem, das in Foren und Tutorials häufig berichtet wird.
Nutzt du die ChatGPT-API zum Parsen von HTML (also den „HTML einfügen“-Ansatz im großen Maßstab), steigen die Tokenkosten rasch an. Bei den aktuellen GPT-4o-Preisen (~2,50 $/M Input-Tokens, 10 $/M Output-Tokens) kostet das Parsen von 1.000 Produktseiten allein an Tokens rund 95–105 $ (ca. 88–97 €). Mit GPT-4o mini fällt derselbe Umfang auf etwa 6,50 $ (ca. 6 €). Rechnest du Proxy-Kosten (3–10 $/GB, ca. 2,80–9,30 €/GB), die Wartung des lokalen Crawlers und Entwicklerzeit dazu, wirkt „einfach ChatGPT nehmen“ plötzlich deutlich teurer.
| Skalierung | GPT-4o Tokenkosten (geschätzt) | GPT-4o mini Tokenkosten (geschätzt) |
|---|---|---|
| 100 Seiten | ~9,55 $ | ~0,65 $ |
| 1.000 Seiten | ~95,50 $ | ~6,50 $ |
| 10.000 Seiten | ~955 $ | ~65 $ |
Die Schätzungen basieren auf ca. 50.000 Input-Tokens und 2.000 Output-Tokens pro Seite. Die tatsächlichen Kosten hängen von Seitengröße und Komplexität der Ausgabe ab.
ChatGPT Web Scraping vs. No-Code-AI-Scraper vs. Custom Code: Entscheidungsrahmen
Nicht jede Scraping-Aufgabe verlangt nach demselben Werkzeug. Diesen Entscheidungsrahmen nutze ich bei Thunderbit, nachdem ich alle drei Ansätze in echten Projekten getestet habe.
| Szenario | ChatGPT + Python | No-Code AI Scraper (z. B. Thunderbit) | Custom Code + Proxies |
|---|---|---|---|
| Einfache statische Seiten | ✅ Sehr gut – schnell erzeugt | ✅ Funktioniert, aber evtl. überdimensioniert | ⚠️ Überengineert |
| JS-gerenderte / dynamische Inhalte | ⚠️ Braucht Selenium/Playwright – Code bricht oft | ✅ Verarbeitet per Browser-/Cloud-Scraping | ✅ Volle Kontrolle |
| Seiten mit Bot-Schutz / CAPTCHA | ❌ ChatGPT kann keine CAPTCHAs lösen | ✅ Cloud-Scraping-Infrastruktur deckt vieles ab | ✅ Mit Proxy-Rotation |
| Pagination (100+ Seiten) | ⚠️ Fragile Schleifen, Debugging nötig | ✅ Eingebaute Pagination-Unterstützung | ✅ Robust mit Engineering |
| Nutzer ohne Entwicklerhintergrund | ❌ Python-Kenntnisse erforderlich | ✅ 2 Klicks, kein Code | ❌ Programmierung nötig |
| Laufendes/geplantes Scraping | ❌ Manuelles Wiederholen nötig | ✅ Scheduled-Scraper-Funktion | ✅ Mit Cron/Orchestrierung |
| Export nach Sheets/Airtable/Notion | ⚠️ Zusätzlicher Code nötig | ✅ Nativer Export mit einem Klick | ⚠️ Zusätzlicher Integrationscode |
Kurz gefasst: Nimm ChatGPT für schnelle Einmal-Skripte und zum Lernen. Greif zu einem No-Code-Tool wie Thunderbit, wenn das Scraping produktionsreif, wiederkehrend oder nicht-technisch sein soll. Und setze auf Custom Code plus Proxies für Engineering-Projekte im Enterprise-Maßstab, bei denen du maximale Kontrolle brauchst.
Die No-Code-Alternative: So erledigt Thunderbit Web-Scraping-Aufgaben ohne Code
Für Leser ohne Programmiererfahrung – oder für alle, die schon zu viele Abende mit dem Debuggen von ChatGPT-Skripten vergeudet haben – gibt es einen völlig anderen Weg. ChatGPT erzeugt den Code. Thunderbit überspringt ihn.
Ich arbeite im Thunderbit-Team, deshalb lege ich das offen. Trotzdem bin ich ehrlich überzeugt: Für die meisten Business-User ist das der schnellste Weg. So sieht der Ablauf aus.
AI Suggest Fields: Datenstruktur auf jeder Seite automatisch erkennen
Öffne irgendeine Webseite, klick auf die Thunderbit Chrome Extension und wähle „AI Suggest Fields“. Die KI von Thunderbit liest die gerenderte Seite – auch per JavaScript geladene Inhalte – und schlägt Spaltennamen samt Datentypen vor. Kein Inspect, keine CSS-Selektoren, kein Prompt Engineering. Danach einfach auf „Scrape“ klicken.
Stell das dem ChatGPT-Ansatz gegenüber: DevTools öffnen, Selektoren suchen, Prompt schreiben, Code prüfen, Abhängigkeiten installieren, Skript ausführen, Ausgabe kontrollieren, nachbessern. Thunderbit schrumpft das auf zwei Klicks.
Unterseiten-Scraping, um Listen automatisch anzureichern
Nach dem Scraping einer Liste klickst du auf „Scrape Subpages“. Thunderbit ruft dann die Detailseite jeder Zeile auf und ergänzt weitere Felder – etwa E-Mail, Telefonnummer oder Bio – direkt in deiner bestehenden Tabelle. Bei ChatGPT bräuchtest du dafür ein separates Skript, eine Schleife, eine Fehlerbehandlung für jede Unterseite und einen Mechanismus zum Zusammenführen der Daten. Thunderbit erledigt das in einem Rutsch.
Überall exportieren: Google Sheets, Airtable, Notion, Excel
Thunderbit bietet kostenlosen Ein-Klick-Export nach Google Sheets, Airtable, Notion und Excel – nicht nur als CSV. Ein von ChatGPT generiertes Skript schreibt normalerweise in eine lokale CSV- oder JSON-Datei. Der Weg nach Sheets oder Airtable verlangt zusätzliche Bibliotheken und Authentifizierungscode.
Cloud Scraping vs. Browser Scraping
Thunderbit kennt zwei Modi. Cloud Scraping läuft auf den Servern von Thunderbit, verarbeitet rund 50 Seiten pro Batch und ist flott bei öffentlichen Seiten. Browser Scraping nutzt deine eingeloggte Sitzung für geschützte oder login-pflichtige Seiten. Bei ChatGPT müsstest du Proxies, Cookies und Session-Handling im Code konfigurieren – jedes davon ein eigenes Debugging-Abenteuer.
Unter der Haube setzt Thunderbit auf mehrere KI-Modelle (darunter ChatGPT, Gemini, Claude und weitere), um Seiten visuell zu lesen und zu erkennen, was extrahiert werden soll. In gewisser Weise nutzt Thunderbit also ohnehin ChatGPT – plus drei weitere führende Modelle – und übernimmt für dich das Abrufen, Rendern, den Bot-Schutz, die Pagination und den Export.
Praxisbeispiele: Sales, E-Commerce und Immobilien
Die meisten ChatGPT-Scraping-Tutorials nehmen „Books to Scrape“ oder eine andere Spielzeugseite. So sieht echtes Business-Scraping aus – einmal mit dem ChatGPT-Ansatz und einmal mit dem Thunderbit-Shortcut.
Lead-Generierung aus Unternehmensverzeichnissen
Szenario: Du brauchst Namen, E-Mail-Adressen und Telefonnummern aus einem Verzeichnis für den Outbound-Vertrieb.
ChatGPT-Ansatz: Nimm Vorlage 1 (Listing-Seite), um das Verzeichnis zu scrapen, und anschließend Vorlage 2 (Detailseite), um jedes Profil nach Kontaktdaten zu durchsuchen. Du brauchst Regex-Fallbacks für E-Mails und Telefonnummern, eine höfliche Verzögerung und einen Deduplizierungsdurchlauf. Rechne mit 30–60 Minuten Setup und Debugging.
Thunderbit-Ansatz: Öffne das Verzeichnis, klick auf „AI Suggest Fields“, scrape die Liste und zieh dann per „Scrape Subpages“ die Kontaktdaten aus jedem Profil. Exportiere alles in eine CRM-fähige Tabelle. Gesamtzeit: rund 3 Minuten. Die integrierten E-Mail- und Telefon-Extraktoren von Thunderbit übernehmen das Parsen automatisch.
Preisüberwachung im E-Commerce
Szenario: Du willst Produkte, Preise, Verfügbarkeit und SKUs von Wettbewerbern wöchentlich verfolgen.
ChatGPT-Ansatz: Erzeuge mit Vorlage 1 einen Scraper, ergänze die Pagination mit Vorlage 4 und starte ihn jede Woche von Hand. Ändert der Wettbewerber das Seitenlayout, brechen die Selektoren und du fängst von vorn an.
Thunderbit-Ansatz: Scraper einmal einrichten, per geplantem Cloud Scraping von Thunderbit täglich oder wöchentlich laufen lassen und nach Google Sheets exportieren. Die KI liest die Seitenstruktur bei jedem Lauf neu ein, sodass Layoutänderungen nichts kaputtmachen. Mehr dazu in unserem Leitfaden zum Scraping von Preisen.
Datenerfassung bei Immobilienangeboten
Szenario: Du brauchst Preise, Adressen, Zimmer/Bäder und Maklerinfos von einer Immobilienplattform.
ChatGPT-Ansatz: Die meisten Immobilienseiten (à la Zillow) sind React-SPAs mit starkem Bot-Schutz. Ein requests + BeautifulSoup-Skript liefert nur eine leere Seite. Eine Playwright-Version wird binnen weniger Minuten gedrosselt.
Thunderbit-Ansatz: Cloud Scraping mit KI-Felderkennung kommt mit dem JavaScript-Rendering klar und passt sich an Layoutänderungen an. Immobilienportale ändern ihr Design häufig – Thunderbits KI liest die Seite jedes Mal neu ein, sodass du keine Selektoren von Hand aktualisieren musst. Wirf einen Blick in unseren Leitfaden zum Web Scraping im Immobilienbereich.
Mehr als Einmalscrapes: ChatGPT-API-Pipelines vs. Thunderbit Extract API
Sobald Scraping Teil eines Produkts oder einer Pipeline wird, ändert sich die Frage: ChatGPT-API zum Parsen von HTML oder eine eigens dafür gebaute Scraping-API?
Die ChatGPT-API zum Parsen von HTML verwenden
Der Ansatz: Ein lokaler Crawler (requests, Playwright) holt das HTML, dann schickst du es an die OpenAI-API, um strukturiertes JSON zu extrahieren. Das ist der „HTML einfügen“-Trick in großem Maßstab.
Es funktioniert. Aber Kosten und Wartung sind real. Bei GPT-4o-Preisen kostet das Parsen von 1.000 Seiten rund 95 $ (ca. 88 €) an Tokens. Crawler, Proxies, Prompt Engineering und Ausgabeschema verantwortest du selbst. Ändert sich die Seite, bricht dein Prompt und du musst nachziehen.
Thunderbit Extract API: speziell für strukturierte Webdaten gebaut
Die Open API von Thunderbit verfolgt ein anderes Modell. Du definierst ein JSON Schema, schickst per POST eine URL und bekommst strukturierte Daten zurück. JavaScript-Rendering und Bot-Schutz sind bereits eingebaut. Die Batch-Verarbeitung unterstützt bis zu 100 URLs pro Anfrage.
| Funktion | ChatGPT API + Custom Code | Thunderbit Extract API |
|---|---|---|
| Strukturierte Ausgabe | Manuelles Schema im Prompt | Über JSON Schema definiert |
| JavaScript-Rendering | Selbst umgesetzt (Playwright etc.) | Integriert (mehrere Render-Modi) |
| Bot-Schutz / CAPTCHA | Selbst umgesetzt (Proxies etc.) | Automatisch gehandhabt |
| Batch-Verarbeitung | Du baust die Schleife | Batch-Endpunkt (bis zu 100 URLs) |
| Wartung | Prompts brechen, Code veraltet | Verwaltete KI-Engine |
Für Teams, die Webdaten als Service möchten, ohne dauerhaft eine Scraping-Pipeline zu pflegen, ist Thunderbits API der kürzere Weg in die Produktion. Die Thunderbit-Preise zeigen dir die Kreditkosten pro Extraktion.
Tipps für bessere Ergebnisse mit ChatGPT Web Scraping
Ein paar Dinge, die ich auf die harte Tour gelernt habe.
Formuliere deine Prompts präzise. Nenne immer: Programmiersprache, Library, Ziel-URL, CSS-Selektoren, Ausgabeformat und Sonderfälle. Vage Prompts erzeugen vagen Code.
Füge HTML-Ausschnitte ein, nicht nur URLs. ChatGPT kann URLs nicht selbst öffnen. Das HTML-Snippet ist seine einzige verlässliche Quelle für die Seitenstruktur. Schon 20–40 Zeilen einer einzelnen Datenkarte heben die Genauigkeit spürbar.
Bitte ChatGPT, Code zu prüfen und zu optimieren. Nach dem ersten Skript fragst du: „Prüfe diesen Code auf Fehler, füge Fehlerbehandlung hinzu und optimiere ihn hinsichtlich Performance.“ Im zweiten Durchgang findet es seine eigenen Fehler überraschend oft.
Teste immer zuerst mit einer kleinen Stichprobe. Lass das Skript auf 1–2 Seiten laufen, bevor du skalierst. Einen kaputten Selektor auf Seite 1 zu erkennen, erspart dir den Ärger von 500 fehlgeschlagenen Requests.
Iteriere, statt neu anzufangen. Passt das erste Skript zu 80%, füge die Ausgabe wieder ein und bitte ChatGPT, die restlichen 20% zu korrigieren. Genau in diesem iterativen Dialog läuft ChatGPT zu Höchstform auf.
Ethische und rechtliche Aspekte von ChatGPT Web Scraping
Die rechtliche Seite zählt, deshalb hier die Kurzfassung.
Nach aktueller US-Rechtsprechung ist das Scraping öffentlich zugänglicher Daten grundsätzlich kein Bundes-Computerverbrechen. Das hat das Urteil hiQ v. LinkedIn festgelegt, und das Urteil Meta v. Bright Data vom Januar 2024 hat das bestätigt – ein Richter entschied, dass das Scraping öffentlich zugänglicher, ausgeloggter Daten von Facebook und Instagram nicht gegen Metas Nutzungsbedingungen verstößt, weil ein Besucher ohne Konto kein „User“ im Sinne dieser Bedingungen ist.
Trotzdem kann das Scrapen geschützter oder authentifizierter Daten oder ein Verstoß gegen die Nutzungsbedingungen einer Website nach deren Zustimmung rechtliche Risiken mit sich bringen. Und wenn du personenbezogene Daten scrapest (E-Mails, Telefonnummern), gelten unabhängig von der Herkunft der Daten die Datenschutzgesetze der EU und Kaliforniens (DSGVO, CCPA).
Prüfe vor dem Scraping immer robots.txt und die Nutzungsbedingungen. Halte dich an Ratenlimits. Gehe verantwortungsvoll mit personenbezogenen Daten um. Und setze auf Tools mit eingebauten Compliance-Funktionen – Thunderbit etwa respektiert standardmäßig robots.txt und unterstützt verantwortungsvolle Datenpraktiken. Für einen tieferen Einblick siehe unseren Leitfaden zu den rechtlichen Implikationen von Web Scraping.
Wann ChatGPT fürs Web Scraping sinnvoll ist – und wann etwas Besseres die richtige Wahl ist
ChatGPT ist ein wirklich starkes Tool fürs Web Scraping – es baut im Handumdrehen Prototypen und vermittelt dir, wie Scraping unter der Haube funktioniert. Für schnelle Einmal-Skripte auf einfachen statischen Seiten ist es kaum zu schlagen.
Für produktionsreifes, laufendes oder groß angelegtes Scraping – besonders wenn du kein Entwickler bist – ist ein spezialisiertes Tool wie Thunderbit schneller, zuverlässiger und wartungsfrei. Und für Enterprise-Engineering-Projekte gibt dir Custom Code mit Proxy-Infrastruktur die volle Kontrolle.
Meine Kurzentscheidungshilfe:
- Schneller Einmal-Use, Lernen oder Prototyping: ChatGPT + Python
- Business-User, No-Code, wiederkehrende Scrapes: Thunderbit Chrome Extension
- Developer-Pipelines, strukturierter API-Zugriff: Thunderbit API
- Enterprise-Skalierung, volle Kontrolle: Custom Code + Proxies + Orchestrierung
Wenn du den No-Code-Weg ausprobieren möchtest, bietet Thunderbit eine kostenlose Stufe, mit der du im kleinen Rahmen testest und die Ergebnisse selbst beurteilst. Und willst du das Tool in Aktion sehen, findest du auf unserem YouTube-Kanal Walkthroughs für verschiedene Anwendungsfälle.
Thunderbit für AI Web Scraping ausprobieren Get Started Free
FAQs
Kann ChatGPT Websites wirklich selbst scrapen?
Nein. ChatGPT erzeugt Scraping-Code oder analysiert HTML, das du bereitstellst, aber es ruft keine URLs auf, lädt keine Seiten und führt keine Skripte aus. Selbst ChatGPT Atlas (der integrierte Browser, der im Oktober 2025 veröffentlicht wurde) ist nur ein konversationsbasierter Browsing-Assistent – er kann eine Seite zusammenfassen, liefert dir aber keine strukturierte CSV mit 500 Zeilen.
Ist ChatGPT Web Scraping kostenlos?
Die kostenlose ChatGPT-Version kann Scraping-Code ohne direkte Kosten erzeugen. Aber das Ausführen des Codes erfordert Python und Bibliotheken (kostenlos). Wenn du die OpenAI-API nutzt, um HTML im großen Stil zu parsen, fallen Tokenkosten an – ungefähr 6,50 $ (ca. 6 €) pro 1.000 Seiten mit GPT-4o mini oder etwa 95 $ (ca. 88 €) mit GPT-4o. Proxies und Infrastruktur kommen zusätzlich dazu.
Welche Python-Library ist am besten für von ChatGPT erzeugte Web-Scraper?
Für statische HTML-Seiten sind BeautifulSoup und die requests-Library die einfachste und schnellste Lösung. Für JavaScript-gerenderte Seiten ist Playwright die moderne Wahl – schneller als Selenium (im Schnitt etwa 2,9 Sekunden pro Seitenaufruf gegenüber 4,8 Sekunden) und mit einer saubereren API. Selenium ist hauptsächlich noch für Legacy-Projekte sinnvoll.
Kann ich ChatGPT nutzen, um Daten ohne Programmieren zu scrapen?
Nicht direkt. ChatGPT erzeugt Code, den du trotzdem ausführen musst. Wenn du eine echte No-Code-Option willst, ermöglichen dir Tools wie Thunderbit das Scraping mit zwei Klicks – ohne Python, ohne Terminal, ohne Debugging. Du bekommst von der KI vorgeschlagene Felder, Ein-Klick-Export zu Google Sheets oder Airtable und integrierte Unterstützung für JavaScript-Rendering und Bot-Schutz.
Ist es legal, Websites mit von ChatGPT erzeugtem Code zu scrapen?
Das Scrapen öffentlich verfügbarer, ausgeloggter Daten ist nach aktueller US-Rechtsprechung in der Regel legal (hiQ v. LinkedIn, Meta v. Bright Data). Das Scrapen geschützter Inhalte, ein Verstoß gegen die Nutzungsbedingungen einer Website oder der unsachgemäße Umgang mit personenbezogenen Daten (E-Mails, Telefonnummern) kann jedoch rechtliche Risiken nach Vertragsrecht oder Datenschutzgesetzen wie DSGVO und CCPA mit sich bringen. Prüfe immer robots.txt und die Nutzungsbedingungen der Website, bevor du Daten scrapest.
Mehr erfahren
