Craigslist sieht aus, als hätte sich seit 2003 kaum etwas verändert – und doch sind die Daten in diesen schlichten Kleinanzeigen erstaunlich wertvoll. Mit rund 127 Millionen monatlichen Besuchen und zig Millionen neuen Inseraten pro Monat gehört die Plattform nach wie vor zu den größten Kleinanzeigenportalen in den USA – eine öffentliche API gibt es dafür aber nicht.
Ich habe bei Thunderbit jahrelang Automatisierungstools entwickelt, und in Gesprächen mit Vertriebs-, Operations- und Immobilien-Teams taucht ein Satz immer wieder auf: „Ich brauche Craigslist-Daten in einer Tabelle – und ich will nicht drei Stunden lang copy-pasten.“ Das Problem: Die meisten Ratgeber zu den „besten Craigslist-Scrapern“ sind veraltet, blenden die schwierigen Punkte aus, etwa den Anti-Bot-Schutz, oder listen einfach nur Tools auf, ohne sie wirklich miteinander zu vergleichen.
Deshalb habe ich diesen Leitfaden mit 10 Tools zusammengestellt, die 2026 tatsächlich noch funktionieren – von No-Code-Chrome-Erweiterungen über Enterprise-Proxy-Plattformen bis hin zu Open-Source-Python-Bibliotheken. Egal, ob Sie im Business-Bereich arbeiten und noch nie eine Zeile Code geschrieben haben oder als Entwickler in Python denken: Hier ist etwas für Sie dabei.
Warum Craigslist 2026 scrapen? Die wichtigsten Anwendungsfälle für Business-Teams
Craigslist wirkt altmodisch, aber genau das macht den Reiz aus – und den Wert. Die Plattform liegt weltweit immer noch auf Platz 3 unter den Kleinanzeigen-Websites und ist laut offiziellem Verzeichnis in 416 US-Bundesstaaten-/Gebiets- und Regionaleinträgen vertreten. Das heißt: eine riesige Menge hyperlokaler Angebote, die Sie so gebündelt sonst nirgends bekommen.
Diese Anwendungsfälle sehe ich immer wieder:
- Lead-Generierung: Anzeigen in den Bereichen Services und Gigs enthalten oft eine Firmenbeschreibung, geografische Angaben und einen Craigslist-Weiterleitungs-Kontaktpfad – genug, damit Vertriebsteams daraus lokale Lead-Listen bauen können.
- Immobilien-Monitoring: Wohnungsseiten zeigen Miete, Stadtteil, Zimmer/Bäder, Quadratmeter und Zeitstempel – ideal für Mietvergleiche und Verfügbarkeits-Tracking.
- Wettbewerbsfähige Preisbeobachtung: Angebotsanzeigen enthalten Titel, Preis, Zustand und Standort – pures Gold für Wiederverkaufs- oder Arbitrage-Analysen.
- Recruiting und Arbeitsmarktbeobachtung: In den Kategorien Jobs und Gigs finden sich Vergütung, Beschäftigungsart und Rollenbeschreibungen für lokale Talentmarkt-Scans.
- Marktanalyse über Regionen hinweg: Da Craigslist nach Subdomain und Stadt segmentiert ist, können Sie Region für Region Preisniveau, Volumen oder Kategorienmix abfragen.
- Workflow-Automatisierung: Viele möchten Craigslist-Daten einfach ohne manuelles Browsen in CSV, Google Sheets, Airtable oder ein CRM fließen lassen.
Ein Nutzer berichtete, dass ein täglicher Craigslist-Scrape, der früher 60–90 Minuten dauerte, mit Automatisierung auf etwa 5 Minuten sank. Genau diese Zeitersparnis summiert sich schnell.
Craigslist-Daten mit KI scrapen Thunderbits agentischer Web Scraper liest Craigslist-Inseratseiten selbstständig aus und zieht Preise, Beschreibungen und Kontaktdaten mit 1 Klick. Get Started Free
Wie wir die besten Craigslist-Scraper ausgewählt haben: unsere Bewertungskriterien
Nicht jeder Craigslist-Scraper ist gleich, und das „beste“ Tool hängt stark davon ab, wer Sie sind und was Sie brauchen. Ich habe jedes Tool anhand von sechs Kriterien bewertet:
- Einfachheit der Einrichtung — Anfängerfreundlich (No-Code) oder nur mit Entwicklerkenntnissen nutzbar?
- Umgang mit Craigslist-Anti-Bot-Schutz — Enthält das Tool integrierte Proxy-Rotation, CAPTCHA-Handling oder Browser-Fingerprinting?
- Preismodell — Kostenlos, Freemium, kostenpflichtig oder Enterprise?
- Exportoptionen — CSV, Excel, Google Sheets, Airtable, Notion, JSON, Datenbank?
- Unterstützung für mehrere Regionen — Kann das Tool alle 416 US-Craigslist-Seiten abdecken oder nur eine Stadt nach der anderen?
- Wartungsaufwand — Bricht das Tool, wenn Craigslist sein Seitenlayout ändert, oder passt es sich automatisch an?
Kein anderer Vergleichsartikel, den ich gefunden habe, stellt Tools mit konsistenten Kriterien so nebeneinander – wenn Sie also genug von schwammigen „Top-10“-Listen haben, ist dieser Artikel für Sie.
Die 10 besten Craigslist-Scraper auf einen Blick
Bevor wir in die Tiefe gehen, hier die Hauptvergleichstabelle. Ich habe die Tools in drei Gruppen eingeteilt: No-Code-Tools für Business-User, Enterprise-Plattformen für Skalierung und Open-Source-Bibliotheken für Entwickler.
| Tool | Typ | Kostenloser Tarif? | Proxy-/Anti-Bot-Support | CAPTCHA-Handling | Exportformate | Am besten geeignet für |
|---|---|---|---|---|---|---|
| Thunderbit | No-Code Chrome-Erweiterung | Ja (6 Seiten/Monat) | Browser-Modus (für moderate Läufe kein Proxy nötig) | N/A (Browser-Session) | Excel, Sheets, Airtable, Notion, CSV, JSON | Nicht-technische Business-User |
| Bright Data | Enterprise Scraper + Proxy + Dataset | Testversion | Managed Unblocking, Proxys, Retries, Rendering | Ja (automatisch gelöst) | JSON, NDJSON, CSV, Parquet, XLSX, API | Datenerfassung im Enterprise-Maßstab |
| Oxylabs | API + Proxy-Stack | Testversion | Managed Unblocking, Residential-/ISP-Proxys | Ja | HTML, Screenshot, API-Outputs | Entwickler mit Bedarf an Enterprise-Infrastruktur |
| Apify | Cloud-Actor-Marktplatz | Ja (5 $/Monat Guthaben) | Proxy-Rotation (abhängig vom Actor) | Teilweise / actor-spezifisch | JSON, CSV, XML, Excel, JSONL | Flexible Low-Code-Cloud-Automatisierung |
| ParseHub | No-Code visueller Scraper | Ja | Kostenpflichtige Proxy-Rotation, Cloud-Runs | Kein Kernfeature | CSV, JSON, API/S3/Dropbox (kostenpflichtig) | No-Code-Nutzer mit begrenztem Budget |
| Phantombuster | Cloud-Automatisierungsplattform | Ja (eingeschränkt) | Proxy-Support vorhanden | Credits / workflow-basiert | CSV, JSON (kostenpflichtig) | Vertriebsautomatisierung über mehrere Plattformen |
| Scrapy | Open-Source Python-Crawler | Kostenlos (OSS) | Eigene Proxys/Middleware erforderlich | Nein | JSON, JSONL, CSV, XML, DB | Produktions-Crawler |
| Playwright | Open-Source Browser-Automatisierung | Kostenlos (OSS) | Eigene Browser-/Proxy-Konfiguration erforderlich | Nein | Eigener Export | Kontrolle auf Browser-Ebene |
| Selenium | Open-Source Browser-Automatisierung | Kostenlos (OSS) | Eigene Browser-/Proxy-Konfiguration erforderlich | Nein | Eigener Export | Legacy-Stacks mit mehreren Sprachen |
| BeautifulSoup | Open-Source HTML-Parser | Kostenlos (OSS) | Keine eigene Unterstützung | Nein | Eigener Export | Leichtgewichtiges Parsen |
Drei klare Gruppen zeichnen sich ab:
- No-Code-Tools (Thunderbit, ParseHub, Phantombuster) für Business-User, die Daten ohne Engineering-Aufwand wollen.
- Enterprise-Plattformen (Bright Data, Oxylabs, Apify) für Teams, die Skalierung, Anti-Bot-Infrastruktur und verwaltete Auslieferung brauchen.
- Open-Source-Developer-Tools (Scrapy, Playwright, Selenium, BeautifulSoup) für maximale Kontrolle – allerdings mit Setup-, Wartungs- und Proxy-Aufwand.
Jetzt zu den Details.
1. Thunderbit
Thunderbit ist eine KI-gestützte Chrome-Erweiterung für alle, die strukturierte Daten von beliebigen Websites – einschließlich Craigslist – ohne Code und ohne Proxy-Konfiguration brauchen.
Ich bin natürlich voreingenommen (wir haben das Tool gebaut), aber warum Thunderbit hier an erster Stelle steht, ist klar: Es löst genau die Probleme, die Craigslist-Scraping für Nicht-Techniker kompliziert machen – wechselnde Seitenlayouts je Kategorie, Anreicherung über Detailseiten und das ständige Brechen von CSS-Selektoren bei Layout-Änderungen.
So funktioniert es bei Craigslist:
- Installieren Sie die Thunderbit Chrome Extension und öffnen Sie eine beliebige Craigslist-Anzeigenseite (zum Beispiel Wohnungen in Ihrer Stadt).
- Klicken Sie auf „One Click Extract“ — Thunderbits KI liest die Seite, erkennt die Struktur, entscheidet, welche Spalten passen, und extrahiert die Daten in einem Schritt in eine Tabelle. Bei Wohnungsanzeigen bekommen Sie etwa Titel, Preis, Quadratmeter, Schlafzimmer, Standort, Veröffentlichungsdatum und Link. Bei Jobs bekommen Sie Titel, Vergütung, Jobtyp und mehr. Ohne manuelle Selektoren.
- Pagination verarbeiten — Thunderbit kommt mit Craigslists klickbasierter Seitennavigation zurecht.
- Verwenden Sie „Scrape Subpages“, um jede einzelne Anzeige zu öffnen und Detailfelder zu extrahieren: vollständige Beschreibung, alle Bilder, eingebettete Kontaktinfos und mehr.
- Exportieren Sie nach Google Sheets, Excel, Airtable, Notion oder CSV — kostenlos.
Wichtige Funktionen:
- KI-gestützte Felderkennung: Passt sich automatisch an unterschiedliche Craigslist-Kategorien an – Wohnungen erhalten Quadratmeter-/Schlafzimmer-Spalten, Jobs bekommen Vergütungs-/Jobtyp-Spalten, Verkaufsanzeigen erhalten Zustand-/Preis-Spalten. Kein manueller CSS-Aufwand.
- Scraping von Unterseiten: Nach dem Scrapen einer Ergebnisliste können Sie jede Anzeige besuchen, um Felder von der Detailseite zu holen (vollständige Beschreibung, Bilder, Kontaktdaten).
- Browserbasierter Scraping-Modus: Läuft in Ihrer eigenen Chrome-Session, daher ist für moderate Mengen kein Proxy nötig. Das spart eine Menge Kosten und Komplexität.
- Keine Wartung: Die KI liest die Seite jedes Mal neu. Wenn Craigslist sein Layout ändert, bleibt Ihr Scraper funktionsfähig.
- Kostenloser Export: Excel, Google Sheets, Airtable, Notion, CSV, JSON – kein Export-Paywall.
Preis: Kostenloser Tarif (6 Seiten/Monat), kostenlose Testphase (10 Seiten), kostenpflichtige Pläne für höhere Volumina.
Am besten für: Vertriebsteams, die Leads aus Craigslist-Services/Gigs scrapen, Immobilien-Teams, die Mietpreise beobachten, Operations-Teams, die strukturierte Craigslist-Daten ohne Entwicklerunterstützung brauchen, und alle, die Daten in einem Schritt scrapen, labeln und exportieren möchten.
Thunderbit für Craigslist-Scraping testen Der kostenlose Tarif deckt 6 Seiten pro Monat ab – genug, um Craigslist-Scraping vor einem kostenpflichtigen Upgrade zu testen. Get Started Free
2. Bright Data
Bright Data ist die Schwergewichtslösung für Unternehmen. Es ist die einzige Plattform in dieser Liste mit einer dedizierten Craigslist Scraper-Produktseite und einem Craigslist Dataset-Marktplatz.
Wenn Sie täglich Tausende Craigslist-Listings über alle US-Regionen hinweg scrapen müssen, ist Bright Data dafür gebaut. Der Web Unlocker übernimmt IPs, Retries, Rendering und Blocking – einschließlich automatischer CAPTCHA-Lösung standardmäßig. Mit der Web Scraper IDE können Sie eigene Craigslist-Workflows bauen und programmatisch alle 416 regionalen URLs durchlaufen.
Wichtige Funktionen:
- Riesiges Residential-Proxy-Netzwerk (Millionen IPs)
- Integrierte CAPTCHA-Lösung und Anti-Bot-Umgehung
- Craigslist-spezifische Scraper- und Dataset-Produkte
- Export: JSON, NDJSON, CSV, Parquet, XLSX, API-Auslieferung, Webhooks
Preis: Der Craigslist-Scraper kostet 0,5 $ pro 1.000 Seitenaufrufe im Pay-as-you-go-Modell; Pläne wie 380.000 Seitenaufrufe für 499 $. Residential Proxys starten bei 4 $/GB im Pay-as-you-go-Modell. Eine kostenlose Testphase mit 1.000 Requests für eine Woche ist verfügbar.
Am besten für: Enterprise-Teams, die große Datenmengen aus mehreren Regionen mit garantierter Verfügbarkeit und dediziertem Support erfassen müssen. Kleine Teams mit knappem Budget sollten sich eher anderweitig umsehen.
3. Oxylabs
Oxylabs ist ein Premium-Anbieter für Proxy- und Scraping-Infrastruktur mit einer dedizierten Craigslist Scraper API und einer Craigslist-Proxys-Seite.
Oxylabs ist stärker auf Entwickler ausgerichtet als der All-in-one-Ansatz von Bright Data. Die Web Scraper API und der Web Unblocker unterstützen JavaScript-Rendering, Retries, Session-Handling, Fingerprint-Erzeugung und weitergehendes Anti-Bot-Handling. Die kostenlose Testphase der Craigslist Scraper API reicht bis zu 2.000 Ergebnissen.
Wichtige Funktionen:
- Residential- und ISP-Proxy-Pools (Residential ab 6 $/GB, ISP ab 0,60 $/IP)
- Web Unblocker mit Auto-Fingerprint und Session-Management
- Craigslist-spezifischer API-Endpunkt
- 7-tägige Testphase verfügbar
Preis: Die Scraper-API für „andere Seiten“ startet bei etwa 0,15 $ pro 1.000 Ergebnisse ohne JS, 0,35 $ pro 1.000 mit JS. Der Web-Unblocker-Micro-Tarif beginnt bei etwa 75 $/Monat. Residential Proxys im großen Maßstab können bei 1 TB etwa 0,50 $/GB kosten.
Am besten für: Entwicklerteams, die verwaltete Proxy-Infrastruktur und API-basierte Workflows für dauerhaftes Craigslist-Scraping wollen. Teams, die Oxylabs-Proxys bereits für andere Projekte nutzen, können Craigslist leicht ergänzen.
4. Apify
Apify ist eine cloudbasierte Plattform für Web Scraping und Automatisierung mit einem Marktplatz vorgefertigter „Actors“ – also Scraper-Vorlagen, die Sie ohne Code ausführen können.
Die Craigslist-Landschaft auf Apify ist interessant: Es gibt mehrere von der Community gepflegte Craigslist-Actors mit sehr unterschiedlicher Qualität. Der Actor ivanvs/craigslist-scraper hat 829 Nutzer insgesamt und eine Bewertung von 5,0, während automation-lab/craigslist-scraper 44 Nutzer und eine 1,0-Bewertung hat. Die Qualität ist also uneinheitlich, deshalb sollten Sie vor dem Einsatz testen.
Wichtige Funktionen:
- Mehrere Craigslist-Actors verfügbar (einige erfassen rund 120 Listings pro Seite mit integrierten Verzögerungen)
- Cloud-Ausführung, geplante Läufe, API-Zugriff, Webhook-Integrationen
- Proxy-Rotation verfügbar
- Export: JSON, CSV, XML, Excel, JSONL
Preis: Kostenloser Tarif mit 5 $/Monat Guthaben, kostenpflichtige Pläne ab etwa 49 $/Monat. Die nutzungsbasierte Compute-Abrechnung kann bei intensiver Nutzung schnell steigen – achten Sie auf Ihren CU-Verbrauch.
Am besten für: Teams, die eine Cloud-Lösung ohne Infrastrukturverwaltung wollen, Nutzer, die mit Low-Code-Konfiguration zurechtkommen, und Teams, die regelmäßige, geplante Craigslist-Scrapes brauchen.
5. ParseHub
ParseHub ist ein Desktop-Tool für visuelles Web Scraping, bei dem Sie per Point-and-Click festlegen, welche Seitenelemente ausgelesen werden sollen.
Um einen Craigslist-Scrape in ParseHub aufzusetzen, klicken Sie auf Anzeigentitel, Preise und Links und bringen dem Tool so bei, was es erfassen soll. Die Pagination wird über AJAX-Klickschleifen verarbeitet, und kostenpflichtige Pläne unterstützen Cloud-Läufe. Der kostenlose Tarif erlaubt bis zu 5 Projekte, was für kleinere Craigslist-Aufgaben durchaus ordentlich ist.
Wichtige Funktionen:
- Visueller Point-and-Click-Workflow-Builder
- Unterstützung für Pagination und dynamische Inhalte
- Cloud-Läufe und Zeitplanung in kostenpflichtigen Plänen
- Export: CSV, Excel, JSON
Preis: Kostenloser Tarif (5 Projekte), kostenpflichtige Pläne ab etwa 189 $/Monat für mehr Seiten und geplante Läufe.
Einschränkungen: Kann bei großen Scrapes langsam sein, hat im kostenlosen Tarif nur eingeschränkte geplante Läufe und ist – entscheidend – CSS-Selektor-basiert. Das heißt: Wenn Craigslist das Layout ändert, ist manuelle Wartung nötig.
Am besten für: Einzelanwender oder kleine Teams mit moderatem Scraping-Bedarf, die ein visuelles No-Code-Tool möchten, aber keine KI-gestützte Felderkennung brauchen.
6. Phantombuster
Phantombuster ist eine cloudbasierte Automatisierungsplattform, die ursprünglich für LinkedIn- und Social-Media-Scraping bekannt wurde. Es ist kein Craigslist-natives Tool, aber der Web Element Extractor kann öffentliche Seiten per CSS-Selektoren auslesen.
Einen Craigslist-Scrape in Phantombuster einzurichten, erfordert mehr Arbeit als bei einem spezialisierten Tool – Sie müssen Selektoren definieren, den Workflow bauen und die Zeitplanung einrichten. Wenn Sie Phantombuster aber ohnehin schon für LinkedIn oder Social-Media-Lead-Gen nutzen, lässt sich Craigslist problemlos in die Pipeline aufnehmen.
Wichtige Funktionen:
- Vorgefertigte Automatisierungsvorlagen und Cloud-Ausführung
- Zeitplanung und CRM-Integrationen
- Proxy-Support und CAPTCHA-Lösungs-Credits verfügbar
- Export: CSV, JSON in kostenpflichtigen Plänen (kostenloser Tarif auf 10 Zeilen begrenzt)
Preis: Kostenloser Tarif mit 5 Slots, 2 Stunden/Monat und Exportlimit von 10 Zeilen. Kostenpflichtige Jahrespläne starten bei etwa 56 $/Monat bei jährlicher Abrechnung.
Am besten für: Vertriebsteams, die Phantombuster bereits für Lead-Generierung über mehrere Plattformen nutzen und Craigslist in ihren Workflow aufnehmen wollen.
7. Scrapy
Scrapy ist das bekannteste Open-Source-Python-Framework für Web Scraping – und die naheliegende Wahl für Entwicklerteams, die bei Craigslist-Crawls maximale Kontrolle wollen.
Die aktuelle stabile Version ist 2.15.0 (9. April 2026). Scrapy unterstützt Crawling über mehrere Regionen hinweg (alle regionalen URLs durchiterieren), integrierte Request-Planung und Drosselung, Downloader-Middleware für Proxy-Rotation sowie Feed-Exporte nach CSV, JSON, JSONL, XML und in Datenbank-Pipelines. Das scrapy-playwright-Plugin ergänzt Browser-Rendering, wenn es nötig ist.
Wichtige Funktionen:
- Hochgradig anpassbarer Crawler in Produktionsqualität
- Middleware für Proxys, Retries, Cookies und User-Agent-Rotation
- Feed-Exporte: JSON, JSONL, CSV, XML, Datenbank-Pipelines
- Kostenlos und Open Source
Der versteckte Preis: Scrapy selbst ist gratis, aber der Betrieb in großem Maßstab auf Craigslist bedeutet Proxy-Abos (50–500+ $/Monat), Hosting/Server-Kosten und laufende Wartung, wenn Craigslist seine HTML-Struktur ändert.
Am besten für: Entwicklerteams mit Python-Erfahrung, die maximale Flexibilität, vorhandene Proxy-Infrastruktur und hohes Volumen beim regionalen Craigslist-Crawling brauchen.
8. Playwright
Playwright ist eine moderne Browser-Automatisierungsbibliothek von Microsoft, mit der sich Chromium, Firefox und WebKit programmatisch steuern lassen. Die Entwicklung ist aktiv – v1.59.1 wurde am 1. April 2026 veröffentlicht.
In Entwicklerkreisen gilt Playwright für Craigslist-Scraping zunehmend als bessere Wahl als Selenium. Es ist schneller, zuverlässiger und bietet mit Community-Plugins wie playwright-extra eine bessere Tarnung gegen Erkennung. Unterstützt werden Headless- und Headed-Modus, automatisches Warten auf Elemente, Network Interception sowie Screenshot-/PDF-Erstellung.
Wichtige Funktionen:
- Unterstützt Python, JavaScript/TypeScript, Java und .NET
- Headless- und Headed-Browser-Modi
- Auto-Wait für Elemente, Network Interception
- Kostenlos und Open Source
Vorteil bei Craigslist: Playwright kann menschliches Verhalten überzeugender nachahmen als rohe HTTP-Requests, wodurch das Blockierungsrisiko sinkt. Die Stimmung in der Reddit-Community fällt bei neuen Projekten durchweg zugunsten von Playwright gegenüber Selenium aus.
Versteckte Kosten: Dieselben wie bei Scrapy – Proxy-Kosten, Hosting und Wartung, wenn Selektoren brechen.
Am besten für: Entwickler, die feingranulare Browserkontrolle brauchen, Teams, die Scraper für JavaScript-gerenderte Inhalte bauen, und alle, die eine moderne Alternative zu Selenium bevorzugen.
9. Selenium
Selenium ist das lang etablierte und weit verbreitete Framework für Browser-Automatisierung. Die aktuelle Version ist 4.43.0 (10. April 2026), und die Funktionen für BiDi und Netzwerksteuerung werden weiter ausgebaut.
Selenium unterstützt mehrere Sprachen (Python, Java, C#, JavaScript) und alle wichtigen Browser. Es kann vollständige Browsersitzungen simulieren, bei Bedarf Logins verarbeiten und durch Seiten scrollen. Im Vergleich zu Playwright ist es aber langsamer, ausführlicher im Code und ohne zusätzliche Stealth-Bibliotheken wie undetected-chromedriver leichter als Bot erkennbar.
Wichtige Funktionen:
- Unterstützung für mehrere Sprachen (Python, Java, C#, JavaScript)
- Simulation vollständiger Browsersitzungen
- Ausgereiftes Ökosystem mit umfangreicher Dokumentation
- Kostenlos und Open Source
Einschränkungen: Die Community tendiert 2026 bei neuen Projekten klar zu Playwright. In einem Reddit-Thread wurde berichtet, dass Cloudflare Selenium „auch mit Residential Proxys“ noch erkannte – Tarnung ist out of the box schwieriger.
Am besten für: Entwicklerteams, die bereits auf Selenium gesetzt haben und nicht migrieren wollen, Projekte mit Bedarf an Multi-Language-Support (Java, C#) und bestehende Scraping-Setups.
10. BeautifulSoup
BeautifulSoup ist eine leichtgewichtige Python-Bibliothek zum Parsen von HTML und XML. Die aktuelle PyPI-Version ist 4.14.3 (30. November 2025).
Wichtig zu wissen: BeautifulSoup ist ein Parser, kein vollständiger Scraper. Es lädt keine Webseiten und übernimmt keine Browser-Automatisierung. Man kombiniert es mit der requests-Bibliothek für das Abrufen per HTTP; BeautifulSoup parst dann das HTML, das Sie ihm geben. Das macht es für Entwickler zum einfachsten Einstieg – aber auch zum am stärksten begrenzten Werkzeug.
Wichtige Funktionen:
- Extrem leicht zu lernen – minimaler Codeaufwand
- Gut für kleine oder einmalige Craigslist-Scrapes
- Kostenlos und Open Source
Einschränkungen: Keine eingebaute Pagination, kein JavaScript-Rendering, keine Proxy-Rotation – all das müssen Sie selbst ergänzen. Wenn Craigslist seine HTML-Struktur ändert, brechen Ihre Selektoren und müssen manuell angepasst werden.
Am besten für: Python-Anfänger, die Craigslist-Scraping mit minimalem Setup ausprobieren möchten, kurze einmalige Datenerfassungen aus einer Kategorie oder Region und Entwickler, die einfach nur einen schlanken Parser brauchen.
Das Anti-Ban-Playbook für Craigslist: Proxys, Rate Limits und was Sie blockieren lässt
Das ist der Teil, den die meisten Craigslist-Scraping-Guides auslassen – und der wichtigste überhaupt. Scraperlys Test von April 2026 stuft Craigslist als Ziel mit 3/5 Schwierigkeit ein und nennt benutzerdefinierte CAPTCHAs, Rate Limiting und IP-Blocking als Gründe. Das Bright-Data-Tutorial empfiehlt Nutzern statt einfachem HTTP den Web Unlocker oder einen Playwright-basierten Scraping Browser. Oxylabs weist auf seiner Proxy-Seite für Craigslist darauf hin, dass Craigslist Proxys erkennen kann und Residential Proxys die beste Wahl sind.
Das funktioniert wirklich:
| Strategie | Wirksamkeit auf Craigslist | Kosten | Komplexität |
|---|---|---|---|
| Residential Proxys | ✅ Hoch | $$ (4–6 $/GB) | Mittel |
| ISP-Proxys | ✅ Hoch | $ (0,60–0,80 $/IP) | Mittel |
| Datacenter-Proxys | ⚠️ Gering (oft blockiert) | $ (0,20–0,40 $/IP) | Niedrig |
| Browserbasiertes Scraping (eigene Session) | ✅ Mittel bis hoch | Kostenlos | Niedrig |
| Rate Limiting + zufällige Verzögerungen | ✅ Unverzichtbare Basis | Kostenlos | Niedrig |
Praktische Tipps:
- Request-Verzögerungen: Mindestens 2–5 Sekunden zwischen Requests. Scraperly empfiehlt etwa 5–10 Requests/Minute pro IP und einen Wechsel nach 20–30 Requests.
- Session-Rotation: Rotieren Sie User-Agents und Browser-Fingerprints. Vorhersehbare Crawl-Muster werden schnell erkannt.
- Datacenter-Proxys vermeiden: Sie sind billig, werden auf Craigslist aber schnell blockiert.
- Browserbasiertes Scraping löst das Proxy-Problem bei moderaten Volumina praktisch ganz. Thunderbits Browser-Modus läuft in Ihrer eigenen Chrome-Session – kein Proxy-Setup, keine IP-Rotation, keine Kosten. Für die meisten Business-User, die ein paar hundert Anzeigen scrapen, reicht das völlig aus.
Und ein Punkt, den viele übersehen: Wenn Craigslist sein CSS ändert (was regelmäßig passiert), bricht jeder Scraper, der auf CSS-Selektoren basiert. Sie müssen die Seite prüfen, die neuen Selektoren finden, Ihren Code anpassen und erneut testen. KI-gestützte Tools wie Thunderbit umgehen das komplett – die KI liest die Seitenstruktur jedes Mal neu, sodass Layoutänderungen Ihren Workflow nicht zerstören.
Code vs. No-Code: Zwei vollständige Craigslist-Scraping-Walkthroughs
Ich weiß, dass sich die Zielgruppe dieses Artikels grob in zwei Hälften teilt: nicht-technische Business-User, die einfach nur die Daten wollen, und Entwickler auf Anfänger- bis Mittelstufe, die funktionierenden Code suchen. Deshalb hier beide Wege nebeneinander.
No-Code: Craigslist mit Thunderbit scrapen – Schritt für Schritt
- Installieren Sie die Thunderbit Chrome Extension aus dem Chrome Web Store.
- Öffnen Sie eine Craigslist-Anzeigenseite — zum Beispiel Wohnungen in Ihrer Stadt (
https://yourcity.craigslist.org/search/apa). - Klicken Sie auf „One Click Extract“ — Thunderbits KI liest die Seite, erkennt die Struktur, bestimmt die passenden Spalten für die Kategorie und befüllt in einem Schritt eine strukturierte Tabelle. Bei Wohnungsanzeigen sehen Sie etwa Titel, Preis, Quadratmeter, Schlafzimmer, Standort, Veröffentlichungsdatum und Link. Sie können jede Spalte danach noch anpassen.
- Pagination verarbeiten — klicken Sie sich durch die Seiten oder lassen Sie Thunderbit das übernehmen.
- „Scrape Subpages“ nutzen, um jede einzelne Anzeige zu öffnen und mit Detailfeldern anzureichern: vollständige Beschreibung, alle Bilder, eingebettete Kontaktdaten.
- Exportieren nach Google Sheets, Excel, Airtable, Notion oder CSV – kostenlos.
Der gesamte Ablauf dauert etwa 2 Minuten pro Ergebnisseite. Keine CSS-Selektoren, keine Proxys, kein Code.
Code-Weg: Craigslist mit Python + Playwright scrapen
Playwright ist 2026 die in Entwicklerforen am häufigsten empfohlene Bibliothek für Craigslist-Scraping. Hier ist ein funktionierendes Python-Beispiel, das eine Craigslist-Wohnungsseite scrapt, Titel/Preis/Link extrahiert, Pagination verarbeitet und die Ergebnisse ausgibt.
Der Ansatz: Zuerst strukturierte JSON-LD-Daten versuchen (Craigslist bindet auf manchen Seiten ItemList-Schema ein), dann auf DOM-Selektoren zurückfallen. Pagination erfolgt über s=120.
import asyncio, json
from urllib.parse import urlparse, parse_qs, urlencode, urlunparse
from playwright.async_api import async_playwright
def next_page_url(url, step=120):
p = urlparse(url)
qs = parse_qs(p.query)
offset = int(qs.get("s", ["0"])[0]) + step
qs["s"] = [str(offset)]
return urlunparse((p.scheme, p.netloc, p.path, "", urlencode(qs, doseq=True), ""))
async def scrape_page(page, url):
await page.goto(url, wait_until="domcontentloaded")
await page.wait_for_timeout(1500)
data = []
# Try JSON-LD first
for raw in await page.locator('script[type="application/ld+json"]').all_text_contents():
try:
obj = json.loads(raw)
except Exception:
continue
if isinstance(obj, dict) and obj.get("@type") == "ItemList":
for item in obj.get("itemListElement", []):
thing = item.get("item", {})
data.append({
"title": thing.get("name"),
"price": thing.get("offers", {}).get("price"),
"link": thing.get("url"),
})
if data:
return data
# Fallback: DOM selectors
cards = page.locator("div.cl-search-result, li.cl-static-search-result")
count = await cards.count()
for i in range(count):
card = cards.nth(i)
title = await card.locator("a.posting-title, a.titlestring").first.text_content()
link = await card.locator("a.posting-title, a.titlestring").first.get_attribute("href")
price = (await card.locator(".price, .result-price").first.text_content()
if await card.locator(".price, .result-price").count() else None)
data.append({"title": (title or "").strip(), "price": (price or "").strip(), "link": link})
return data
async def main():
start_url = "https://newyork.craigslist.org/search/apa?query=studio"
async with async_playwright() as p:
browser = await p.chromium.launch(headless=True)
page = await browser.new_page()
url = start_url
all_rows = []
for _ in range(3): # scrape 3 pages
rows = await scrape_page(page, url)
if not rows:
break
all_rows.extend(rows)
url = next_page_url(url)
await browser.close()
for row in all_rows[:10]:
print(row)
asyncio.run(main())
Was Sie zusätzlich zu diesem Skript brauchen: Playwright installiert (pip install playwright && playwright install), Proxy-Konfiguration für hohe Volumina und manuelles CAPTCHA-Handling, falls Sie an Rate Limits stoßen. Das ist der Kompromiss: volle Kontrolle, aber auch volle Verantwortung.
Kostenlos vs. bezahlt: ehrlicher Kostenvergleich für jeden Craigslist-Scraper
Das ist die Tabelle, die ich mir gewünscht hätte, als ich mit der Recherche begonnen habe. „Kostenlos“ ist beim Web Scraping ein dehnbarer Begriff.
| Tool | Völlig kostenlos? | Limits im kostenlosen Tarif | Preis ab | Versteckte Kosten |
|---|---|---|---|---|
| Thunderbit | Kostenloser Tarif (6 Seiten) | 6 Seiten/Monat; Testphase = 10 Seiten | Kostenpflichtige Pläne für höhere Volumina | Keine – Export ist kostenlos |
| Scrapy | ✅ Open Source | Unbegrenzt | 0 $ | Proxy-Kosten, Hosting, Wartung |
| BeautifulSoup | ✅ Open Source | Unbegrenzt | 0 $ | Proxy-Kosten, Hosting, Wartung |
| Playwright | ✅ Open Source | Unbegrenzt | 0 $ | Proxy-Kosten, Hosting, Wartung |
| Selenium | ✅ Open Source | Unbegrenzt | 0 $ | Proxy-Kosten, Hosting, Wartung |
| ParseHub | Kostenloser Tarif | 5 Projekte | ca. 189 $/Monat | Eingeschränkte geplante Läufe im Gratis-Tarif |
| Apify | Kostenloser Tarif | 5 $/Monat Guthaben gratis | ca. 49 $/Monat | Compute-basierte Preise können stark steigen |
| Phantombuster | Kostenloser Tarif | 5 Slots, 2 Std./Monat, Export auf 10 Zeilen begrenzt | ca. 56 $/Monat (jährlich) | Slot-basierte Preisstruktur |
| Bright Data | Nur Testphase | 1.000 Requests / 1 Woche | ca. 500 $+/Monat | Proxy-Kosten extra |
| Oxylabs | Nur Testphase | 2.000 Ergebnisse / 1 GB | ca. 75 $+/Monat (Unblocker) | Enterprise-Preise |
Das große Sternchen bei „kostenlosen“ Open-Source-Tools: Scrapy, Playwright, Selenium und BeautifulSoup kosten zwar nichts bei der Installation, aber im großen Maßstab auf Craigslist brauchen Sie Entwicklerzeit für das Setup, 50–500+ $/Monat für Residential Proxys und laufende Wartung jedes Mal, wenn Craigslist sein HTML ändert. Thunderbit liest die Seite jedes Mal neu (keine Wartung), Exporte sind kostenlos, und browserbasiertes Scraping eliminiert bei moderaten Volumina die Proxy-Kosten. Für Nicht-Entwickler ist das ein echter Vorteil.
Was Sie tatsächlich extrahieren können: Craigslist-Datenfelder nach Kategorie
Unterschiedliche Craigslist-Kategorien haben völlig unterschiedliche Datenstrukturen. Eine Wohnungsanzeige sieht ganz anders aus als ein Job-Posting. Hier ist, was Sie in den wichtigsten Bereichen realistisch extrahieren können:
| Craigslist-Kategorie | Extrahierbare Felder | Kontaktinfos verfügbar? |
|---|---|---|
| Wohnen / Wohnungen | Titel, Preis, Quadratmeter, Schlafzimmer, Badezimmer, Standort, Datum, Bilder, Beschreibung, Kartenlink, Verfügbarkeit, Haustierregelung, Waschen/Parken | ⚠️ Manchmal (anonymisierte E-Mail-Weiterleitung) |
| Zu verkaufen | Titel, Preis, Zustand, Standort, Datum, Bilder, Beschreibung, Marke/Modell/Baujahr (variiert) | ⚠️ Manchmal |
| Jobs | Titel, Unternehmen, Vergütung, Standort, Jobtyp, Erfahrungsniveau, Datum, Beschreibung | Selten (nur Bewerbungslink) |
| Services | Titel, Standort, Beschreibung, Bilder | ⚠️ Manchmal |
| Gigs | Titel, Vergütung, Standort, Datum, Beschreibung | ⚠️ Manchmal |
Ein paar wichtige Hinweise:
- Kontaktinfos: Craigslist verwendet anonymisierte E-Mail-Weiterleitungen ausdrücklich, um direktes E-Mail-Scraping zu verhindern. Tools, die behaupten, „E-Mails zu extrahieren“, ziehen oft nur die Relay-Adresse (
reply+randomstring@craigslist.org) und nicht die echte E-Mail des Anbieters. - Detailseiten-Felder wie vollständige Beschreibung, alle Bilder und eingebettete Kontaktinformationen erscheinen nur, wenn Sie jede einzelne Anzeige aufrufen – nicht auf der Suchergebnisseite.
- Thunderbits „One Click Extract“ erkennt automatisch, welche Felder auf der aktuellen Seite verfügbar sind, und schlägt die passende Spaltenstruktur vor. Wer Wohnungen scrapt, bekommt Quadratmeter-/Schlafzimmer-Spalten; wer Jobs scrapt, erhält Vergütungs-/Jobtyp-Spalten – ohne manuelle Konfiguration. Mit dem Scraping von Unterseiten werden anschließend die Detailseiten jeder Anzeige geöffnet, um die dort verfügbaren Felder zu holen.
Rechtliche Einordnung: Craigslist-Nutzungsbedingungen, der 3Taps-Fall und was Sie wissen sollten
Ich bin kein Anwalt, und das hier ist keine Rechtsberatung. Aber ich weiß, dass viele Nutzer sich darüber Sorgen machen – und das verdient eine klare Antwort.
Der wichtigste Präzedenzfall: In Craigslist v. 3Taps (2013) erwirkte Craigslist eine einstweilige Verfügung gegen 3Taps wegen Scraping und erneuter Veröffentlichung von Inseraten nach einer Abmahnung. 3Taps soll IP-Sperren über Proxy-Server umgangen haben, und das Gericht wertete den Zugriff nach einer Blockierung möglicherweise als „ohne Autorisierung“. Die EFF wies darauf hin, dass der Fall 2015 beigelegt wurde.
Craigslists Nutzungsbedingungen verbieten ausdrücklich die Verwendung von „robots, spiders, scripts, scrapers, crawlers oder irgendeinem automatisierten oder manuellen Äquivalent“, um mit der Website zu interagieren. Bei Verstößen setzen sie sogar pauschalen Schadensersatz von 0,25 $ pro Seite nach den ersten 1.000 Seitenaufrufen innerhalb von 24 Stunden an.
Praktische Orientierung:
- ✅ Öffentliche Inseratsdaten für Marktanalyse oder persönliche Nutzung scrapen
- ✅ robots.txt und Rate Limits respektieren
- ⚠️ Gescrapte Inserate nicht massenhaft erneut veröffentlichen
- ⚠️ Gescrapte Kontaktdaten nicht für unerwünschtes Marketing verwenden
- ❌ Technische Zugriffsbeschränkungen nach einer Blockierung nicht umgehen
Der Unterschied ist wichtig: Öffentlich sichtbare Daten für die eigene Analyse zu scrapen ist etwas anderes als massenhaftes Republizieren oder das Sammeln von E-Mail-Adressen für Spam. Aber Sie sollten wissen, dass Craigslist historisch von der Durchsetzung der Nutzungsbedingungen über IP-Blocking bis hin zu rechtlichen Schritten eskaliert hat.
Welcher Craigslist-Scraper ist der richtige für Sie?
Nach Test und Bewertung aller 10 Tools lautet meine Empfehlung je nach Szenario:
- Nicht-technischer Business-User, der schnell Craigslist-Daten braucht → Thunderbit. Kein Code, KI-gestützte Felderkennung, keine Wartung, kostenloser Export. Der schnellste Weg von „Ich brauche diese Daten“ zu „sie sind in meiner Tabelle“.
- Enterprise-Team, das täglich Tausende Listings über alle Regionen hinweg scrapt → Bright Data. Craigslist-spezifischer Scraper, massive Proxy-Infrastruktur, automatische CAPTCHA-Lösung, dedizierter Support.
- Entwicklerteam, das verwaltete API-/Proxy-Infrastruktur braucht → Oxylabs für proxy-first Workflows, Apify für Flexibilität über den Actor-Marktplatz.
- Entwickler mit vollem Kontroll- und Anpassungsbedarf → Scrapy + Playwright. Open Source, maximale Flexibilität, aber bringen Sie Ihre eigenen Proxys und Ihre Wartung mit.
- Preisbewusster Nutzer mit moderatem Bedarf → Apify kostenloser Tarif (5 $/Monat Guthaben) oder ParseHub kostenloser Tarif (5 Projekte).
- Vertriebsteam, das bereits Multi-Plattform-Lead-Gen-Tools nutzt → Phantombuster. Ergänzen Sie Craigslist in Ihrer bestehenden Pipeline.
- Python-Anfänger mit einmaligem Scrape → BeautifulSoup + requests. Minimaler Code, minimales Setup, minimale Möglichkeiten.
Für die meisten nicht-technischen Business-User bietet Thunderbit die beste Balance aus Einfachheit, Genauigkeit und Kosten. Für Entwickler ist Scrapy + Playwright die stärkste Kombination. Für Enterprise-Skalierung ist Bright Data schwer zu schlagen.
Wenn Sie sehen möchten, wie KI-gestütztes Craigslist-Scraping in der Praxis aussieht, probieren Sie Thunderbit aus – der kostenlose Tarif reicht aus, um es mit Ihrem eigenen Anwendungsfall zu testen. Und wenn Sie tiefer in Web-Scraping-Techniken einsteigen möchten, sehen Sie sich unsere Leitfäden zu Scraping in Google Sheets, den besten automatisierten Web-Scraping-Tools und Web Scraping ohne Blockierung an. Außerdem können Sie unseren YouTube-Kanal für Schritt-für-Schritt-Videoanleitungen besuchen.
Viel Erfolg beim Scraping – und mögen Ihre Daten immer sauber, strukturiert und einsatzbereit sein.
FAQs
Ist es legal, Craigslist-Listings zu scrapen?
Craigslists Nutzungsbedingungen verbieten automatisiertes Scraping ausdrücklich, und der Fall Craigslist v. 3Taps ist das wichtigste rechtliche Präzedenzurteil. Das Scrapen öffentlicher Inseratsdaten für persönliche oder analytische Zwecke wird in der Regel anders bewertet als massenhaftes Republizieren oder Spam, aber Sie sollten Rate Limits und Seitenregeln immer respektieren – und das hier ist keine Rechtsberatung.
Kann ich Craigslist ohne Programmieren scrapen?
Ja. Tools wie Thunderbit, ParseHub und Apify bieten No-Code- oder Low-Code-Optionen zum Extrahieren von Craigslist-Daten. Thunderbits KI-gestützte Felderkennung macht es besonders einfach – einfach auf „One Click Extract“ und dann auf „Scrape“ klicken.
Was ist der beste kostenlose Craigslist-Scraper?
Für Entwickler sind Scrapy oder BeautifulSoup komplett kostenlos und Open Source (wobei Proxy- und Wartungskosten hinzukommen). Für Nicht-Programmierer ist Thunderbits kostenloser Tarif (6 Seiten/Monat) der beste Einstieg; als Alternative bietet sich ParseHubs kostenloser Tarif (5 Projekte) an.
Wie vermeide ich eine Blockierung beim Craigslist-Scraping?
Nutze Rate Limiting (mindestens 2–5 Sekunden Verzögerung), rotiere User-Agents, vermeide Datacenter-Proxys (Residential- oder ISP-Proxys funktionieren auf Craigslist deutlich besser) und folge keinen vorhersehbaren Crawl-Mustern. Bei moderaten Volumina umgehen browserbasierte Tools wie Thunderbit das Proxy-Problem komplett, weil sie in Ihrer eigenen Chrome-Session laufen.
Kann ich alle Craigslist-Regionen auf einmal scrapen?
Mit Entwickler-Tools wie Scrapy oder Playwright können Sie programmatisch alle 416 regionalen US-/Gebiets-URLs durchlaufen. Enterprise-Tools wie Bright Data und Oxylabs haben Multi-Region-Scraping bereits integriert. Mit Thunderbit öffnen Sie einfach jede regionale Seite und arbeiten mit demselben Workflow – die KI passt sich automatisch an jede Seite an.
Thunderbit für Craigslist-Scraping testen Get Started Free
Mehr erfahren
