Craigslist donne l’impression de ne pas avoir bougé depuis 2003, pourtant les données cachées dans ses annonces en texte brut ont une vraie valeur. Avec environ 127 millions de visites mensuelles et des dizaines de millions de nouvelles publications chaque mois, la plateforme reste l’un des plus grands sites de petites annonces aux États-Unis — et il n’existe aucune API publique pour y accéder.
J’ai passé des années à créer des outils d’automatisation chez Thunderbit, et j’entends sans cesse la même remarque côté commercial, opérations et immobilier : « J’ai besoin des données Craigslist dans un tableur, et je n’ai pas envie de faire du copier-coller pendant trois heures. » Le problème, c’est que la plupart des guides sur les « meilleurs extracteurs Craigslist » sont soit dépassés, soit évitent les sujets difficiles (comme la protection anti-bot), soit se contentent d’aligner des outils sans vraiment les comparer.
J’ai donc réuni ici 10 outils qui fonctionnent réellement en 2026 — des extensions Chrome sans code aux plateformes d’entreprise avec proxy, jusqu’aux bibliothèques Python open source. Que vous n’ayez jamais écrit une ligne de code ou que vous pensiez en Python, vous trouverez votre solution.
Pourquoi extraire Craigslist en 2026 ? Les principaux cas d’usage pour les équipes métier
Craigslist peut sembler vieillissant, mais c’est justement ce qui fait son charme — et sa valeur. Il reste classé 3e au monde parmi les sites de petites annonces et couvre 416 sites américains et territoires dans son annuaire officiel : un volume d’offres hyperlocales qu’on ne trouve nulle part ailleurs.
Voici les cas d’usage que je vois revenir encore et encore :
- Génération de leads : les annonces de services et de missions incluent souvent activité, zone géographique et contact relayé par Craigslist — de quoi bâtir une liste de prospects locaux.
- Veille immobilière : les pages logement affichent loyer, quartier, chambres/salles de bain, surface et date de publication — idéal pour les comparatifs de loyers et le suivi des disponibilités.
- Suivi des prix de la concurrence : les annonces de vente montrent titre, prix, état et localisation — précieux pour la revente ou l’arbitrage.
- Recrutement et suivi du marché du travail : les catégories jobs et gigs livrent rémunération, type de contrat et description du poste pour scanner le marché local des talents.
- Analyse de marché multi-régions : Craigslist étant segmenté par sous-domaine et par ville, vous pouvez interroger chaque zone séparément pour suivre prix, volumes ou mix de catégories.
- Automatisation des workflows : beaucoup veulent simplement faire circuler les données Craigslist vers CSV, Sheets, Airtable ou un CRM — sans navigation manuelle.
Un utilisateur a vu son scraping quotidien de Craigslist passer de 60–90 minutes à environ 5 minutes grâce à l’automatisation — un gain de temps qui s’accumule vite.
Extraire les données Craigslist avec l’IA L’extracteur web agentique de Thunderbit lit lui-même les pages d’annonces Craigslist et récupère prix, descriptions et coordonnées en 1 clic. Get Started Free
Comment nous avons sélectionné les meilleurs extracteurs Craigslist : nos critères d’évaluation
Tous les extracteurs Craigslist ne se valent pas : le « meilleur » outil dépend de votre profil et de vos besoins. J’ai évalué chaque solution selon six critères :
- Facilité de prise en main — accessible aux débutants (sans code), ou faut-il un développeur ?
- Gestion des protections anti-bot — rotation de proxy intégrée, gestion des CAPTCHA, fingerprinting ?
- Tarification — gratuit, freemium, payant ou entreprise ?
- Options d’export — CSV, Excel, Sheets, Airtable, Notion, JSON, base de données ?
- Prise en charge multi-régions — extrait-il sur l’ensemble des 416 sites Craigslist américains, ou se limite-t-il à une ville ?
- Effort de maintenance — l’outil casse-t-il quand Craigslist change sa mise en page, ou s’adapte-t-il seul ?
Aucun article concurrent ne propose une comparaison côte à côte avec des critères aussi cohérents — si les listes « top 10 » trop vagues vous ont déjà frustré, celui-ci devrait vous plaire.
Les 10 meilleurs extracteurs Craigslist en un coup d’œil
Avant d’entrer dans le détail, voici le tableau comparatif principal. Je les ai répartis en trois catégories : outils sans code pour les utilisateurs métier, plateformes d’entreprise pour l’échelle, bibliothèques open source pour les développeurs.
| Outil | Type | Version gratuite ? | Proxy / anti-bot | Gestion des CAPTCHA | Formats d’export | Idéal pour |
|---|---|---|---|---|---|---|
| Thunderbit | Extension Chrome sans code | Oui (6 pages/mois) | Mode navigateur (pas de proxy nécessaire pour des volumes modérés) | N/A (session navigateur) | Excel, Sheets, Airtable, Notion, CSV, JSON | Utilisateurs métier non techniques |
| Bright Data | Extracteur d’entreprise + proxy + dataset | Essai | Déblocage géré, proxies, tentatives de reprise, rendu | Oui (résolution automatique) | JSON, NDJSON, CSV, Parquet, XLSX, API | Collecte à l’échelle entreprise |
| Oxylabs | API + pile proxy | Essai | Déblocage géré, proxies résidentiels/ISP | Oui | HTML, capture d’écran, sorties API | Développeurs ayant besoin d’une infra d’entreprise |
| Apify | Marché d’actors cloud | Oui (crédits de 5 $/mois) | Rotation de proxy (selon l’actor) | Partiel / dépend de l’actor | JSON, CSV, XML, Excel, JSONL | Automatisation cloud low-code flexible |
| ParseHub | Extracteur visuel sans code | Oui | Rotation de proxy payante, exécutions cloud | Pas une fonction centrale | CSV, JSON, API/S3/Dropbox (payant) | Utilisateurs sans code avec budget limité |
| Phantombuster | Plateforme d’automatisation cloud | Oui (limité) | Prise en charge des proxies | Crédits / basé sur workflow | CSV, JSON (payant) | Automatisation commerciale multi-plateforme |
| Scrapy | Crawler Python open source | Gratuit (OSS) | Proxies à fournir soi-même | Non | JSON, JSONL, CSV, XML, BD | Crawler de production |
| Playwright | Automatisation de navigateur open source | Gratuit (OSS) | Navigateur/proxy à fournir soi-même | Non | Export personnalisé | Contrôle au niveau navigateur |
| Selenium | Automatisation de navigateur open source | Gratuit (OSS) | Navigateur/proxy à fournir soi-même | Non | Export personnalisé | Piles multi-langages héritées |
| BeautifulSoup | Analyseur HTML open source | Gratuit (OSS) | Aucun par défaut | Non | Export personnalisé | Parsing léger |
On distingue clairement trois approches :
- Outils sans code (Thunderbit, ParseHub, Phantombuster) pour les utilisateurs métier qui veulent des données sans surcharge d’ingénierie.
- Plateformes d’entreprise (Bright Data, Oxylabs, Apify) pour les équipes qui ont besoin d’échelle, d’anti-bot et de livraison gérée.
- Outils open source (Scrapy, Playwright, Selenium, BeautifulSoup) pour un contrôle maximal — au prix de la configuration, de la maintenance et des proxies.
Passons maintenant aux analyses détaillées.
1. Thunderbit
Thunderbit est une extension Chrome alimentée par l’IA, conçue pour extraire des données structurées depuis n’importe quel site — Craigslist compris — sans coder ni configurer de proxy.
Je ne suis pas neutre (c’est nous qui l’avons créé), mais si je place Thunderbit en premier, c’est qu’il résout précisément les problèmes que Craigslist pose aux non-techniciens : mise en page variable selon les catégories, enrichissement depuis les pages détail, et casse permanente des sélecteurs CSS.
Comment ça fonctionne sur Craigslist :
- Installez la Thunderbit Chrome Extension et ouvrez une page d’annonces Craigslist (par exemple des appartements dans votre ville).
- Cliquez sur « One Click Extract » — l’IA de Thunderbit lit la page, en déduit la structure, choisit les colonnes pertinentes et extrait les données en une seule passe. Pour l’immobilier : titre, prix, surface, chambres, localisation, date de publication, lien. Pour les offres d’emploi : titre, rémunération, type de poste, etc. Sans configuration manuelle.
- Gérez la pagination — Thunderbit suit la pagination par clic de Craigslist.
- Utilisez « Scrape Subpages » pour ouvrir chaque annonce et extraire les champs propres à la page détail : description complète, images, coordonnées, et plus encore.
- Exportez vers Google Sheets, Excel, Airtable, Notion ou CSV — gratuitement.
Fonctionnalités clés :
- Détection de champs par IA : s’adapte aux catégories Craigslist — logement (surface/chambres), offres (rémunération/type de poste), ventes (état/prix). Aucun travail CSS manuel.
- Scraping des sous-pages : après la page de résultats, ouvre chaque annonce pour récupérer les champs propres au détail (description complète, images, coordonnées).
- Mode navigateur : fonctionne dans votre propre session Chrome, donc pas besoin de proxy pour des volumes modérés — un poste de coût et de complexité en moins.
- Aucune maintenance : l’IA relit la page à chaque exécution — quand Craigslist change sa mise en page, votre extracteur ne casse pas.
- Export gratuit : Excel, Google Sheets, Airtable, Notion, CSV, JSON — aucun paywall sur les exports.
Tarification : version gratuite (6 pages/mois), essai gratuit (10 pages), offres payantes pour des volumes plus élevés.
Idéal pour : les équipes commerciales qui extraient des leads depuis les services/missions Craigslist, les équipes immobilières qui suivent les loyers, les équipes opérations sans support développeur, et quiconque veut extraire, qualifier et exporter en une seule étape.
Essayez Thunderbit pour le scraping Craigslist L’offre gratuite couvre 6 pages par mois — largement de quoi tester Craigslist avant de passer à une formule payante. Get Started Free
2. Bright Data
Bright Data est l’option lourde pour l’entreprise — la seule de cette liste avec à la fois une page produit dédiée Craigslist Scraper et une place de marché Craigslist Dataset.
Pour extraire chaque jour des milliers d’annonces Craigslist dans toutes les régions américaines, Bright Data est taillé pour cette échelle. Son Web Unlocker gère IP, reprises, rendu et blocage — dont la résolution automatique des CAPTCHA par défaut. Le Web Scraper IDE crée des workflows personnalisés, et vous pouvez parcourir programmatiquement les 416 URLs régionales.
Fonctionnalités clés :
- Très grand réseau de proxies résidentiels (des millions d’IP)
- Résolution de CAPTCHA et contournement anti-bot intégrés
- Produits extracteur et dataset spécifiques à Craigslist
- Export : JSON, NDJSON, CSV, Parquet, XLSX, livraison via API, webhooks
Tarification : l’extracteur Craigslist est facturé 0,5 $ par 1 000 chargements de pages en paiement à l’usage, avec des offres comme 380 000 chargements pour 499 $. Les proxies résidentiels commencent à 4 $/Go en paiement à l’usage. Il existe un essai gratuit de 1 000 requêtes pendant une semaine.
Idéal pour : les équipes d’entreprise ayant besoin d’une collecte massive et multi-régions, avec disponibilité garantie et support dédié. Les petites équipes sensibles au budget devraient regarder ailleurs.
3. Oxylabs
Oxylabs est un fournisseur premium de proxies et d’infrastructure de scraping, avec une Craigslist Scraper API dédiée et une page Craigslist proxies.
Oxylabs est plus orienté développeurs que l’approche tout-en-un de Bright Data. Son Web Scraper API et son Web Unblocker gèrent rendu JS, reprises, sessions, fingerprint et anti-bot au sens large. L’essai gratuit de la Craigslist Scraper API va jusqu’à 2 000 résultats.
Fonctionnalités clés :
- Pools de proxies résidentiels et ISP (résidentiels à partir de 6 $/Go, ISP à partir de 0,60 $/IP)
- Web Unblocker avec fingerprint et gestion de session automatiques
- Point d’accès API spécifique à Craigslist
- Essai gratuit de 7 jours disponible
Tarification : l’API de scraping pour les « autres sites » commence autour de 0,15 $/1 000 résultats sans JS, 0,35 $/1 000 avec JS. Le Web Unblocker en formule micro démarre vers 75 $/mois. À grande échelle, les proxies résidentiels peuvent descendre à 0,50 $/Go à 1 To.
Idéal pour : les équipes développeurs qui veulent une infrastructure de proxies gérée et des workflows API pour un scraping Craigslist continu. Celles utilisant déjà Oxylabs ailleurs pourront y ajouter Craigslist facilement.
4. Apify
Apify est une plateforme cloud de web scraping avec une place de marché d’« Actors » prêts à l’emploi — des modèles d’extracteurs que vous lancez sans coder.
L’écosystème Craigslist sur Apify est intéressant : plusieurs actors communautaires existent, à des niveaux de qualité très différents. L’actor ivanvs/craigslist-scraper totalise 829 utilisateurs et une note de 5,0, contre 44 utilisateurs et 1,0 pour automation-lab/craigslist-scraper. Testez avant de vous engager.
Fonctionnalités clés :
- Plusieurs actors Craigslist disponibles (certains extraient environ 120 annonces par page avec délais intégrés)
- Exécution cloud, lancements programmés, accès API, intégrations webhook
- Rotation de proxy disponible
- Export : JSON, CSV, XML, Excel, JSONL
Tarification : version gratuite avec 5 $ de crédits mensuels, formules payantes à partir d’environ 49 $/mois. La tarification à la consommation peut vite grimper en usage intensif — surveillez bien votre consommation de CU.
Idéal pour : les équipes qui veulent une solution cloud sans gérer l’infrastructure, les utilisateurs à l’aise en low-code, et les équipes qui ont besoin de scrapes Craigslist planifiés et récurrents.
5. ParseHub
ParseHub est un outil de scraping visuel sur ordinateur : on clique sur les éléments de la page pour définir ce qu’il faut extraire.
Pour configurer un scraping Craigslist dans ParseHub, vous cliquez sur titres, prix et liens pour lui apprendre quoi récupérer. Il gère la pagination via des boucles de clic AJAX et propose des exécutions cloud avec les forfaits payants. La version gratuite (5 projets) suffit pour un usage à petite échelle.
Fonctionnalités clés :
- Création de workflow visuelle par clics
- Gestion de la pagination et du contenu dynamique
- Exécutions cloud et planification sur les offres payantes
- Export : CSV, Excel, JSON
Tarification : version gratuite (5 projets), offres payantes à partir d’environ 189 $/mois pour plus de pages et de tâches planifiées.
Limites : lent sur les gros volumes, tâches planifiées limitées en gratuit, et — surtout — basé sur des sélecteurs CSS, donc maintenance manuelle à chaque changement de structure chez Craigslist.
Idéal pour : les utilisateurs individuels ou petites équipes aux besoins modérés qui cherchent un outil visuel sans code, sans avoir besoin de détection de champs par IA.
6. Phantombuster
Phantombuster est une plateforme d’automatisation cloud, popularisée par le scraping LinkedIn et réseaux sociaux. Ce n’est pas un outil natif pour Craigslist, mais son Web Element Extractor peut extraire des pages publiques via sélecteurs CSS.
Configurer un scraping Craigslist y demande plus d’efforts qu’avec un outil dédié : sélecteurs, workflow, planification. Mais si vous utilisez déjà Phantombuster pour LinkedIn ou la génération de leads sociale, y ajouter Craigslist reste simple.
Fonctionnalités clés :
- Modèles d’automatisation prêts à l’emploi et exécution cloud
- Planification et intégrations CRM
- Support de proxies et crédits pour la résolution de CAPTCHA
- Export : CSV, JSON sur les offres payantes (la version gratuite est limitée à 10 lignes)
Tarification : version gratuite avec 5 slots, 2 h/mois et un plafond d’export à 10 lignes. Les offres annuelles payantes démarrent vers 56 $/mois facturés annuellement.
Idéal pour : les équipes commerciales qui utilisent déjà Phantombuster pour la génération de leads multi-plateformes et veulent y intégrer Craigslist.
7. Scrapy
Scrapy est le framework Python open source le plus populaire pour le web scraping — le choix évident pour les équipes qui veulent un contrôle maximal sur leur crawl Craigslist.
La dernière version stable est 2.15.0 (9 avril 2026). Scrapy gère le crawling multi-régions, la planification et le throttling intégrés, les middlewares de téléchargement pour la rotation de proxy, et les exports de flux vers CSV, JSON, JSONL, XML ou base de données. Le plugin scrapy-playwright ajoute un rendu navigateur si besoin.
Fonctionnalités clés :
- Crawler hautement personnalisable de niveau production
- Middlewares pour proxies, reprises, cookies et rotation d’user-agent
- Exports de flux : JSON, JSONL, CSV, XML, pipelines base de données
- Gratuit et open source
Coût caché : Scrapy lui-même est gratuit, mais le faire tourner à grande échelle sur Craigslist implique des abonnements proxy (50 à 500 $+/mois), des coûts d’hébergement/serveur et une maintenance continue chaque fois que Craigslist modifie sa structure HTML.
Idéal pour : les équipes Python qui veulent une flexibilité maximale, ont déjà une infrastructure proxy et font du crawling Craigslist multi-régions à grand volume.
8. Playwright
Playwright est une bibliothèque moderne d’automatisation de navigateur signée Microsoft, qui contrôle Chromium, Firefox et WebKit par programme. Le rythme de publication est soutenu — la version 1.59.1 est sortie le 1er avril 2026.
Dans les communautés de développeurs, Playwright est de plus en plus recommandé à la place de Selenium pour le scraping Craigslist : plus rapide, plus fiable, meilleure furtivité anti-détection grâce à des plugins comme playwright-extra. Il gère les modes headless et avec interface, l’attente automatique des éléments, l’interception réseau et la capture d’écran/PDF.
Fonctionnalités clés :
- Prise en charge de Python, JavaScript/TypeScript, Java et .NET
- Modes navigateur headless et avec interface
- Attente automatique des éléments, interception réseau
- Gratuit et open source
Avantage pour Craigslist : Playwright imite le comportement d’un vrai utilisateur plus efficacement que de simples requêtes HTTP, ce qui réduit le risque de blocage. La communauté Reddit favorise régulièrement Playwright face à Selenium pour les nouveaux projets.
Coûts cachés : les mêmes que pour Scrapy — coûts de proxy, hébergement et maintenance lorsque les sélecteurs cassent.
Idéal pour : les développeurs qui veulent un contrôle fin du navigateur, les équipes qui extraient du contenu rendu en JavaScript, et toute personne qui préfère une alternative moderne à Selenium.
9. Selenium
Selenium est le framework d’automatisation de navigateur historique, toujours largement utilisé. La dernière version est 4.43.0 (10 avril 2026), avec des capacités BiDi et de contrôle réseau en expansion.
Selenium prend en charge plusieurs langages (Python, Java, C#, JavaScript) et tous les principaux navigateurs : simulation de sessions complètes, connexion, défilement. Mais face à Playwright, il est plus lent, plus verbeux, et plus facile à détecter comme bot sans bibliothèque de furtivité comme undetected-chromedriver.
Fonctionnalités clés :
- Prise en charge multi-langages (Python, Java, C#, JavaScript)
- Simulation complète de session navigateur
- Écosystème mature avec documentation très fournie
- Gratuit et open source
Limites : en 2026, la communauté tend à préférer Playwright pour les nouveaux projets. Un fil Reddit notait encore que Cloudflare détectait Selenium « même avec des proxies résidentiels » — la furtivité est plus difficile dès le départ.
Idéal pour : les équipes déjà engagées sur Selenium et qui ne veulent pas migrer, les projets multi-langages (Java, C#), et les configurations de scraping héritées.
10. BeautifulSoup
BeautifulSoup est une bibliothèque Python légère pour analyser du HTML et du XML. Version actuelle sur PyPI : 4.14.3 (30 novembre 2025).
Point important : BeautifulSoup est un parseur, pas un extracteur complet. Il ne récupère pas les pages web et ne gère pas l’automatisation du navigateur — on l’associe à requests pour récupérer le HTML, qu’il analyse ensuite. C’est le point d’entrée le plus simple pour les développeurs, mais aussi le plus limité.
Fonctionnalités clés :
- Très facile à apprendre — très peu de code nécessaire
- Idéal pour les extractions Craigslist de petite taille ou ponctuelles
- Gratuit et open source
Limites : pas de pagination native, pas de rendu JavaScript, pas de rotation de proxy — tout est à ajouter manuellement. Si Craigslist modifie sa structure HTML, vos sélecteurs cassent et il faut les corriger à la main.
Idéal pour : les débutants Python qui veulent essayer le scraping Craigslist avec une configuration minimale, les extractions ponctuelles d’une catégorie ou d’une région, et les développeurs qui ont juste besoin d’un parseur léger.
Le playbook anti-ban Craigslist : proxies, limites de débit et ce qui vous fait bloquer
C’est la partie que la plupart des guides sur le scraping Craigslist passent sous silence, alors que c’est la plus importante. Les tests de Scraperly d’avril 2026 classent Craigslist en difficulté 3/5, citant CAPTCHA personnalisés, limitation de débit et blocage d’IP. Le tutoriel de Bright Data oriente vers Web Unlocker ou un Scraping Browser basé sur Playwright plutôt que vers du HTTP brut. La page proxy d’Oxylabs indique que Craigslist détecte les proxies et que les proxies résidentiels sont le meilleur choix.
Voici ce qui fonctionne réellement :
| Stratégie | Efficacité sur Craigslist | Coût | Complexité |
|---|---|---|---|
| Proxies résidentiels | ✅ Élevée | $$ (4–6 $/Go) | Moyenne |
| Proxies ISP | ✅ Élevée | $ (0,60–0,80 $/IP) | Moyenne |
| Proxies datacenter | ⚠️ Faible (souvent bloqués) | $ (0,20–0,40 $/IP) | Faible |
| Scraping basé navigateur (session propre) | ✅ Moyenne à élevée | Gratuit | Faible |
| Limitation du rythme + délais aléatoires | ✅ Indispensable | Gratuit | Faible |
Conseils actionnables :
- Délais entre requêtes : 2 à 5 secondes minimum. Scraperly recommande 5 à 10 requêtes/minute par IP, puis un changement d’IP après 20 à 30 requêtes.
- Rotation de session : faites varier user agents et fingerprints du navigateur. Les schémas de crawl trop prévisibles sont détectés rapidement.
- Évitez les proxies datacenter : ils sont bon marché mais se font bloquer très vite sur Craigslist.
- Le scraping basé navigateur élimine le problème des proxies pour des volumes modérés. Le mode navigateur de Thunderbit tourne dans votre propre session Chrome — pas de proxy, pas de rotation d’IP, pas de coût. Largement suffisant pour extraire quelques centaines d’annonces.
Et voici l’angle maintenance que beaucoup oublient : quand Craigslist modifie son CSS (ce qui arrive périodiquement), tous les extracteurs basés sur sélecteurs CSS cassent. Il faut inspecter la page, trouver les nouveaux sélecteurs, mettre à jour le code et retester. Les outils IA comme Thunderbit évitent tout cela — l’IA relit la structure à chaque exécution, donc les changements de mise en page ne cassent pas votre workflow.
Code ou sans code : deux workflows complets pour extraire Craigslist
Le public de cet article est à peu près partagé en deux : utilisateurs métier non techniques qui veulent juste les données, et développeurs débutants à intermédiaires qui veulent du code qui fonctionne. Voici les deux parcours, côte à côte.
Sans code : comment extraire Craigslist avec Thunderbit (pas à pas)
- Installez l’extension Chrome Thunderbit depuis le Chrome Web Store.
- Ouvrez une page d’annonces Craigslist — par exemple les appartements dans votre ville (
https://yourcity.craigslist.org/search/apa). - Cliquez sur « One Click Extract » — l’IA de Thunderbit lit la page, en déduit la structure, choisit les colonnes adaptées à la catégorie et remplit un tableau structuré en une passe. Pour le logement : titre, prix, surface, chambres, localisation, date de publication, lien. Ajustez ensuite une colonne si besoin.
- Gérez la pagination — cliquez d’une page à l’autre, ou laissez Thunderbit le faire.
- Utilisez « Scrape Subpages » pour ouvrir chaque annonce et l’enrichir avec les champs de la page détail : description complète, images, coordonnées.
- Exportez vers Google Sheets, Excel, Airtable, Notion ou CSV — gratuitement.
L’ensemble prend environ 2 minutes par page de résultats. Aucun sélecteur CSS, aucun proxy, aucun code.
Parcours code : comment extraire Craigslist avec Python + Playwright
Playwright est la bibliothèque la plus recommandée pour le scraping Craigslist dans les forums de développeurs en 2026. Voici un extrait Python fonctionnel qui extrait une page de résultats logement, récupère titre/prix/lien, gère la pagination et affiche les résultats.
L’approche : tenter d’abord le JSON-LD structuré (Craigslist intègre parfois le schéma ItemList), puis basculer vers les sélecteurs DOM. La pagination se fait avec s=120.
import asyncio, json
from urllib.parse import urlparse, parse_qs, urlencode, urlunparse
from playwright.async_api import async_playwright
def next_page_url(url, step=120):
p = urlparse(url)
qs = parse_qs(p.query)
offset = int(qs.get("s", ["0"])[0]) + step
qs["s"] = [str(offset)]
return urlunparse((p.scheme, p.netloc, p.path, "", urlencode(qs, doseq=True), ""))
async def scrape_page(page, url):
await page.goto(url, wait_until="domcontentloaded")
await page.wait_for_timeout(1500)
data = []
# Try JSON-LD first
for raw in await page.locator('script[type="application/ld+json"]').all_text_contents():
try:
obj = json.loads(raw)
except Exception:
continue
if isinstance(obj, dict) and obj.get("@type") == "ItemList":
for item in obj.get("itemListElement", []):
thing = item.get("item", {})
data.append({
"title": thing.get("name"),
"price": thing.get("offers", {}).get("price"),
"link": thing.get("url"),
})
if data:
return data
# Fallback: DOM selectors
cards = page.locator("div.cl-search-result, li.cl-static-search-result")
count = await cards.count()
for i in range(count):
card = cards.nth(i)
title = await card.locator("a.posting-title, a.titlestring").first.text_content()
link = await card.locator("a.posting-title, a.titlestring").first.get_attribute("href")
price = (await card.locator(".price, .result-price").first.text_content()
if await card.locator(".price, .result-price").count() else None)
data.append({"title": (title or "").strip(), "price": (price or "").strip(), "link": link})
return data
async def main():
start_url = "https://newyork.craigslist.org/search/apa?query=studio"
async with async_playwright() as p:
browser = await p.chromium.launch(headless=True)
page = await browser.new_page()
url = start_url
all_rows = []
for _ in range(3): # scrape 3 pages
rows = await scrape_page(page, url)
if not rows:
break
all_rows.extend(rows)
url = next_page_url(url)
await browser.close()
for row in all_rows[:10]:
print(row)
asyncio.run(main())
Ce qu’il vous faudra en plus de ce script : installer Playwright (pip install playwright && playwright install), configurer des proxies pour les gros volumes, et gérer les CAPTCHA à la main en cas de limite atteinte. L’arbitrage : contrôle total, responsabilité totale.
Gratuit vs payant : répartition honnête des coûts pour chaque extracteur Craigslist
C’est le tableau que j’aurais aimé avoir au début de mes recherches. Le mot « gratuit » est trompeur en web scraping.
| Outil | Vraiment gratuit ? | Limites de la version gratuite | Prix de départ payant | Coûts cachés |
|---|---|---|---|---|
| Thunderbit | Version gratuite | 6 pages/mois ; essai gratuit = 10 pages | Offres payantes pour volumes plus élevés | Aucun — l’export est gratuit |
| Scrapy | ✅ Open source | Illimité | 0 $ | Coûts des proxies, hébergement, maintenance |
| BeautifulSoup | ✅ Open source | Illimité | 0 $ | Coûts des proxies, hébergement, maintenance |
| Playwright | ✅ Open source | Illimité | 0 $ | Coûts des proxies, hébergement, maintenance |
| Selenium | ✅ Open source | Illimité | 0 $ | Coûts des proxies, hébergement, maintenance |
| ParseHub | Version gratuite | 5 projets | ~189 $/mois | Exécutions planifiées limitées en gratuit |
| Apify | Version gratuite | 5 $ de crédits/mois | ~49 $/mois | La facturation à la consommation peut grimper |
| Phantombuster | Version gratuite | 5 slots, 2 h/mois, export limité à 10 lignes | ~56 $/mois (annuel) | Tarification par slot |
| Bright Data | Essai uniquement | 1 000 requêtes / 1 semaine | ~500 $+/mois | Proxies en supplément |
| Oxylabs | Essai uniquement | 2 000 résultats / 1 Go | ~75 $+/mois (Unblocker) | Tarification entreprise |
Le gros astérisque sur les outils open source « gratuits » : Scrapy, Playwright, Selenium et BeautifulSoup coûtent 0 $ à installer, mais les faire tourner à grande échelle implique des heures de configuration, 50 à 500 $+/mois en proxies résidentiels, et une maintenance continue à chaque modification HTML. Le mode navigateur de Thunderbit relit la page à chaque fois (zéro maintenance), les exports sont gratuits, et le scraping via navigateur élimine les coûts de proxy pour des volumes modérés — un vrai avantage pour les non-développeurs.
Ce que vous pouvez réellement extraire : les champs Craigslist par catégorie
Chaque catégorie Craigslist a une structure de données différente : une annonce de logement n’a rien à voir avec une offre d’emploi. Voici ce qu’il est réaliste d’extraire dans chaque grande section :
| Catégorie Craigslist | Champs extractibles | Coordonnées disponibles ? |
|---|---|---|
| Logement / appartements | Titre, prix, surface, chambres, salles de bain, localisation, date, images, description, lien de carte, disponibilité, politique animaux, laverie/parking | ⚠️ Parfois (relay e-mail anonymisé) |
| Vente | Titre, prix, état, localisation, date, images, description, marque/modèle/année (variable) | ⚠️ Parfois |
| Emplois | Titre, entreprise, rémunération, localisation, type de poste, niveau d’expérience, date, description | Rarement (lien de candidature uniquement) |
| Services | Titre, localisation, description, images | ⚠️ Parfois |
| Missions / gigs | Titre, rémunération, localisation, date, description | ⚠️ Parfois |
Quelques points importants :
- Coordonnées : Craigslist anonymise les e-mails via des relais pour empêcher le scraping direct. Les outils qui prétendent « extraire les emails » récupèrent souvent l’adresse relais (
reply+randomstring@craigslist.org), pas l’e-mail réel de l’annonceur. - Les champs de la page détail comme la description complète, toutes les images et les coordonnées intégrées n’apparaissent qu’en ouvrant chaque annonce individuellement — pas sur la page de résultats.
- « One Click Extract » de Thunderbit détecte automatiquement les champs disponibles et propose la bonne structure de colonnes : surface/chambres pour le logement, rémunération/type de poste pour l’emploi — sans configuration manuelle. Le scraping de sous-pages visite ensuite chaque annonce pour les champs propres à la page détail.
Vérification juridique : conditions d’utilisation de Craigslist, l’affaire 3Taps et ce qu’il faut savoir
Je ne suis pas avocat, et ceci ne constitue pas un avis juridique. Mais beaucoup d’utilisateurs s’inquiètent de ce point, qui mérite une réponse claire.
Le précédent clé : dans Craigslist v. 3Taps (2013), Craigslist a obtenu une injonction contre 3Taps pour scraping et republication d’annonces après une mise en demeure. 3Taps aurait contourné des blocages IP via des serveurs proxy, et le tribunal a jugé que l’accès après blocage pouvait être « sans autorisation ». L’EFF a noté que l’affaire s’est réglée en 2015.
Les conditions d’utilisation de Craigslist interdisent explicitement l’usage de « robots, spiders, scripts, scrapers, crawlers, ou tout équivalent automatisé ou manuel ». Craigslist prévoit même des dommages-intérêts de 0,25 $ par page au-delà des 1 000 premières pages vues sur 24 heures en cas de violation.
Conseils pratiques :
- ✅ Extraire des données publiques d’annonces pour de la recherche de marché ou un usage personnel
- ✅ Respecter robots.txt et les limites de débit
- ⚠️ Ne pas republier massivement les annonces extraites
- ⚠️ Ne pas utiliser les coordonnées extraites pour du marketing non sollicité
- ❌ Ne pas contourner les restrictions techniques après blocage
La distinction compte : extraire des données publiques pour votre propre analyse n’est pas la même chose que republier massivement ou récupérer des e-mails pour spammer. Mais Craigslist est historiquement passé de l’application de ses conditions au blocage d’IP, puis à l’action judiciaire.
Quel extracteur Craigslist choisir ?
Après avoir testé les 10 solutions, voici mes recommandations selon les cas :
- Utilisateur métier non technique qui a besoin vite de données Craigslist → Thunderbit. Sans code, détection de champs par IA, zéro maintenance, export gratuit — le chemin le plus rapide de « j’ai besoin de ces données » à « elles sont dans mon tableur ».
- Équipe entreprise extrayant chaque jour des milliers d’annonces dans toutes les régions → Bright Data. Extracteur dédié Craigslist, proxy massif, CAPTCHA auto-résolus, support dédié.
- Équipe développeurs qui veut une infrastructure API/proxy gérée → Oxylabs pour les workflows centrés proxy, Apify pour la flexibilité du marché d’actors.
- Développeur qui veut un contrôle total → Scrapy + Playwright. Open source, flexibilité maximale, mais proxies et maintenance à votre charge.
- Utilisateur attentif au budget, besoins modérés → version gratuite d’Apify (5 $ de crédits/mois) ou de ParseHub (5 projets).
- Équipe commerciale utilisant déjà des outils multi-plateformes → Phantombuster. Ajoutez Craigslist à votre pipeline existant.
- Débutant Python pour un scraping ponctuel → BeautifulSoup + requests. Peu de code, peu de configuration, peu de possibilités.
Pour la plupart des utilisateurs métier non techniques, Thunderbit offre le meilleur équilibre simplicité/précision/coût. Pour les développeurs, Scrapy + Playwright reste la combinaison la plus puissante. Pour l’échelle entreprise, Bright Data est difficile à battre.
Pour voir à quoi ressemble un scraping Craigslist piloté par l’IA, essayez Thunderbit — la version gratuite suffit pour tester votre cas d’usage. Pour aller plus loin sur le web scraping, voyez nos guides comment extraire vers Google Sheets, les meilleurs outils de scraping web automatisé, et le web scraping sans se faire bloquer. Notre chaîne YouTube propose aussi des tutoriels vidéo pas à pas.
Bon scraping — et que vos données soient toujours propres, structurées et prêtes à l’emploi.
FAQ
Est-il légal d’extraire des annonces Craigslist ?
Les conditions d’utilisation de Craigslist interdisent explicitement le scraping automatisé, et l’affaire Craigslist v. 3Taps fait jurisprudence. L’extraction de données publiques à des fins personnelles ou d’analyse est généralement traitée différemment d’une republication massive ou du spam, mais respectez toujours les limites de débit et les règles du site — ceci ne constitue pas un avis juridique.
Puis-je extraire Craigslist sans coder ?
Oui. Des outils comme Thunderbit, ParseHub et Apify proposent des options sans code ou low-code pour extraire des données Craigslist. La détection de champs par IA de Thunderbit rend l’expérience très simple : cliquez sur « One Click Extract » puis sur « Scrape ».
Quel est le meilleur extracteur Craigslist gratuit ?
Pour les développeurs, Scrapy ou BeautifulSoup sont totalement gratuits et open source (même si proxy et maintenance s’ajoutent). Pour les non-codeurs, la version gratuite de Thunderbit (6 pages/mois) est le meilleur point de départ, avec celle de ParseHub (5 projets) en option.
Comment éviter d’être bloqué en extrayant Craigslist ?
Limitez le rythme (2 à 5 secondes entre requêtes), faites tourner les user agents, évitez les proxies datacenter (résidentiels ou ISP fonctionnent bien mieux sur Craigslist) et évitez les schémas de crawl trop prévisibles. Pour des volumes modérés, les outils basés navigateur comme Thunderbit contournent le problème des proxies en opérant dans votre propre session Chrome.
Puis-je extraire toutes les régions Craigslist en même temps ?
Avec des outils développeur comme Scrapy ou Playwright, vous pouvez boucler programmatiquement sur les 416 URLs régionales américaines/territoriales. Les outils d’entreprise comme Bright Data et Oxylabs intègrent déjà le scraping multi-régions. Avec Thunderbit, ouvrez chaque site régional et utilisez le même workflow — l’IA s’adapte automatiquement à chaque page.
Essayez Thunderbit pour le scraping Craigslist Get Started Free
En savoir plus
