Il web diventa ogni anno più complesso, e la distanza tra «mi serve questo dato» e «so come recuperarlo» resta ostinatamente ampia. Per chi è alle prime armi, la prima domanda è spesso molto semplice: Devo davvero imparare Python solo per estrarre i prezzi dei prodotti da un sito?
La risposta, per fortuna, è no. Ma la domanda successiva — quale strumento dovrei usare davvero? — è quella che complica tutto. Esistono app desktop no-code, estensioni per browser, framework Python, librerie Go, spider SEO, API gestite e progetti open source, spesso con confini poco netti tra loro. Tra le opzioni più interessanti disponibili nel 2026, dieci si distinguono per gli aspetti che contano davvero per un principiante: quanta programmazione serve, quanto velocemente si ottengono dati utili, se lo strumento gestisce siti molto dinamici in JavaScript, cosa offre gratis e per quale caso d’uso è davvero adatto. Che tu non abbia mai scritto una riga di codice o sia un junior developer alla ricerca del tuo primo framework di crawling, qui troverai un punto di partenza sensato.
Come abbiamo scelto i migliori web crawler per principianti
«Principiante» non significa «non tecnico». Significa chi non ha mai costruito prima un flusso di web crawling — e questo include anche chi sa scrivere un po’ di Python o JavaScript, ma non ha mai gestito una coda di URL o lavorato con un file robots.txt.
Ogni strumento è stato valutato su sei dimensioni che corrispondono alle domande che i principianti fanno davvero nei forum:
- Codice richiesto — Nessuno, Python/JS di base oppure livello intermedio+
- Difficoltà di configurazione — Da installazione a primo dato utilizzabile
- Rendering JavaScript — Sa gestire SPA e pagine che caricano contenuti in modo dinamico?
- Generosità del piano gratuito — Cosa ottieni prima di pagare?
- Formati di output — CSV, JSON, Excel, Google Sheets e così via
- Caso d’uso ideale — Lo scenario preciso in cui lo strumento dà il meglio per un principiante
La lista copre tre fasce di competenza: no-code (nessuna programmazione), intermedio (Python o JavaScript di base) e principiante avanzato (Go o conoscenza più profonda dei framework). Ho cercato di essere onesto su punti di forza e limiti di ciascuno, perché scegliere il crawler sbagliato rispetto al proprio livello è uno dei modi più rapidi per buttare via un pomeriggio.
Scegli il tuo primo web crawler: un rapido diagramma decisionale
Prima di leggere le dieci recensioni, rispondi a tre domande. Le risposte ti porteranno a uno o due strumenti adatti.
Domanda 1: Quanto ti senti a tuo agio con il codice?
- Nessuna esperienza → Vai alla domanda 2a
- Python base → Vai alla domanda 2b
- JavaScript/TypeScript → Vai alla domanda 2c
- Go → Colly
Domanda 2a (No code): qual è il tuo obiettivo principale?
- Estrazione di dati generici (informazioni prodotto, liste contatti, ricerca) → Thunderbit o Octoparse
- Flussi complessi in più passaggi (login, menu a tendina, scroll infinito) → ParseHub o Octoparse
- Analisi SEO → Screaming Frog
Domanda 2b (Python): qual è il tuo obiettivo principale?
- Pipeline AI/LLM (RAG, training di chatbot) → Crawl4AI o Firecrawl
- Crawling strutturato su larga scala di siti per lo più statici → Scrapy
- Automazione browser su siti ricchi di JavaScript → Playwright (ma preparati a costruire tu la logica di crawling)
Domanda 2c (JavaScript/TypeScript): qual è il tuo obiettivo principale?
- Crawling di SPA moderne con anti-blocking → Crawlee
- Interazioni browser complesse (login, click, screenshot) → Playwright
- Markdown pulito per alimentare sistemi AI → Firecrawl (via API/SDK)
Filtro budget: se ti serve software a costo zero e puoi ospitarlo in autonomia, gli strumenti open source qui elencati (Scrapy, Crawlee, Crawl4AI, Playwright e Colly) non impongono quote per pagina, anche se restano costi di calcolo, banda, storage, manutenzione e limiti del sito di destinazione. Se non puoi gestire l’infrastruttura, Octoparse, ParseHub, Thunderbit, Firecrawl e Screaming Frog offrono tutti un percorso gratuito con limiti diversi.
Questo diagramma da solo può farti risparmiare ore di salto da una scheda all’altra. Tienilo tra i preferiti.
I migliori web crawler per principianti in sintesi
Ecco la tabella completa di confronto. «Codice richiesto» indica quale linguaggio — se serve — dovrai usare. «JS Rendering» indica se lo strumento gestisce pagine che caricano contenuti tramite JavaScript. «Free Tier» riassume cosa ottieni gratis. Le recensioni dettagliate seguono sotto.
| Strumento | Livello | Codice richiesto | Rendering JS | Piano gratuito | Ideale per |
|---|---|---|---|---|---|
| Octoparse | Principiante | Nessuno | ✅ Integrato | Piano gratuito: 10 task, solo in locale, 10K righe/export | Scraping point-and-click di siti strutturati |
| ParseHub | Principiante | Nessuno | ✅ Integrato | 5 progetti pubblici, 200 pagine/esecuzione, conservazione 14 giorni | Flussi complessi su più pagine senza codice |
| Thunderbit | Principiante | Nessuno | ✅ Tramite browser | Piano gratuito (verifica i limiti attuali) | Estrazione assistita dall’AI dalla pagina che stai già visualizzando |
| Crawl4AI | Intermedio | Python | ✅ Chromium | Open source (self-hosted) | Crawling pronto per LLM per pipeline RAG |
| Firecrawl | Intermedio | API/SDK | ✅ Gestito | 1.000 crediti/mese (cloud) | Output Markdown pulito per ingestione AI |
| Scrapy | Intermedio | Python | ⚠️ Richiede plugin | Open source (BSD) | Progetti di crawling HTTP grandi e personalizzabili |
| Crawlee | Intermedio | JS/TS o Python | ✅ Via Playwright | Open source (Apache) | Crawling moderno in JS con anti-blocking |
| Playwright | Intermedio | Python/JS/Java/.NET | ✅ Nativo | Open source (Apache) | Automazione browser + interazione con siti ricchi di JS |
| Screaming Frog | Principiante | Nessuno | ✅ (solo a pagamento) | 500 URL/crawling (gratis per sempre) | Audit SEO e analisi tecnica del sito |
| Colly | Principiante avanzato | Go | ⚠️ Nessun rendering integrato | Open source (Apache) | Crawling HTTP rapido e leggero in concorrenza |
Ora passiamo all’analisi dettagliata.
1. Octoparse
Octoparse è un task builder desktop no-code con esecuzione cloud a pagamento opzionale. Incolli un URL, lasci che Auto-detect identifichi campi dati ripetuti e pattern di navigazione, controlli l’anteprima e poi avvii il task in locale. L’editor visuale supporta loop, rami, paginazione, scroll infinito, AJAX, form e menu a tendina, anche se i flussi dinamici a volte richiedono aggiustamenti manuali dei tempi.
Funzionalità principali:
- Auto-detect per campi dati e navigazione tra pagine
- Rendering JavaScript integrato tramite il browser interno
- Centinaia di template predefiniti per siti comuni
- Workflow modificabili con loop personalizzati, rami e controlli dei selettori
- Esportazione in Excel, CSV, HTML, JSON, XML, Google Sheets e database (a seconda del piano)
Prezzo: il piano gratuito limitato consente esecuzioni in locale. L’esecuzione cloud, la pianificazione, la rotazione IP e l’accesso API richiedono un piano a pagamento. Verifica sempre i prezzi aggiornati prima di impegnarti, perché i limiti dei piani cambiano.
Ideale per: principianti che vogliono estrazioni ripetute e strutturate da e-commerce, directory o siti con elenchi, senza scrivere codice. Meno adatto se cerchi la comodità di un’estensione browser o output già ottimizzati per LLM.
2. ParseHub
ParseHub è un estrattore visuale scaricabile per Windows, macOS e Linux (tramite AppImage). La sua interfaccia a struttura ad albero modella selezioni, click, input nei form, scroll e template di pagina. Supporta AJAX/JavaScript, menu a tendina, tab, pop-up, paginazione, login e scroll infinito.
Funzionalità principali:
- Albero di comandi visuale per flussi di estrazione multi-step
- Gestione di AJAX, JavaScript, menu a tendina, tab e scroll infinito
- App desktop multipiattaforma (Windows, macOS, Linux)
- Accesso API per recuperare i dati in modo programmato
- Esportazione in CSV e JSON
Prezzo: sono disponibili piani gratuiti e a pagamento. Una «pagina» fatturabile può essere un URL oppure un caricamento dinamico attivato da click o scroll, quindi il limite di pagine non sempre equivale allo stesso numero di URL. Verifica i limiti attuali di progetto, esecuzione e conservazione prima di scegliere un piano.
Nota privacy: non inserire credenziali di produzione in un crawler di terze parti finché non hai capito come lo strumento salva i dati di login e del progetto. Per la valutazione, usa un account di test con permessi limitati.
Ideale per: principianti che devono estrarre siti dinamici e complessi, con navigazione articolata, menu a tendina o caricamento tramite scroll, senza scrivere codice.
ParseHub vs Octoparse: differenze principali
Entrambi sono strumenti desktop no-code che gestiscono JavaScript. Il modello ad albero di ParseHub offre un controllo più esplicito sui flussi multi-step — utile per navigazioni complesse, ma con una curva d’ingresso più ripida per i task semplici. L’Auto-detect di Octoparse è più rapido per siti strutturati e semplici e offre limiti di esportazione più generosi nel piano gratuito. Se il sito target è soprattutto fatto di tabelle ed elenchi, inizia con Octoparse. Se devi modellare una sequenza di click, compilazione di form e navigazione condizionata, l’approccio di ParseHub può risultare più chiaro.
3. Thunderbit
Thunderbit è un’estensione browser per Chrome ed Edge basata su AI, pensata per utenti business non tecnici che vogliono estrarre dati dalla pagina che stanno già guardando. (Trasparenza totale: lavoro in Thunderbit, quindi ti dirò chiaramente sia i punti di forza sia i limiti.)
Funzionalità principali:
- AI Suggest Fields rileva automaticamente le colonne in base al contenuto della pagina
- Prompt AI a livello di campo per classificazione, traduzione, formattazione e normalizzazione durante l’estrazione
- Esportazione in Excel/CSV, Google Sheets, Airtable e Notion
- Browser Mode funziona con la sessione renderizzata dell’utente e gestisce contenuti caricati in JavaScript sulle pagine compatibili
- Nessuna installazione software oltre all’estensione browser
Prezzo: il piano gratuito include attualmente 6 pagine/mese con un massimo di 30 crediti per pagina. Starter ($15/mese oppure $9/mese con fatturazione annuale) aggiunge paginazione, scraping delle sottopagine, scraping in blocco, enrichment, scraper predefiniti e pianificazioni. Verifica i prezzi aggiornati qui.
Limiti da conoscere: Thunderbit è orientato a pagine e schema, non a un vero spider di scoperta dell’intero dominio. La paginazione e lo scraping delle sottopagine sono disponibili nel piano Starter, non nel Free. I campi suggeriti dall’AI vanno sempre controllati prima di avviare uno scraping: i suggerimenti sono buoni, ma non infallibili.
Ideale per: team sales, operations e ricerca che hanno bisogno di dati strutturati dalla pagina già aperta nel browser, con aiuto dell’AI per evitare la configurazione manuale dei campi. Se vuoi recuperare velocemente una tabella, un elenco o una serie di record da una pagina compatibile ed esportarli in un foglio di calcolo, questa è la strada più rapida che conosco.
Per approfondire come funziona in pratica l’estrazione assistita dall’AI, consulta la nostra guida su AI web scraping.
4. Crawl4AI
Crawl4AI è un crawler Python open source, pensato browser-first e progettato per produrre output puliti per flussi di lavoro con LLM. Restituisce HTML grezzo e pulito, diverse varianti Markdown, contenuti estratti strutturati, link, media, tabelle, screenshot, PDF e MHTML.
Funzionalità principali:
- AsyncWebCrawler con Chromium/Playwright sotto il cofano
- Molteplici formati di output ottimizzati per pipeline RAG e agent workflow
- Crawling adattivo che valuta copertura, coerenza e saturazione per dare priorità ai link più rilevanti e fermarsi quando ha raccolto abbastanza informazioni
- Estrazione opzionale tramite LLM locali (Ollama) o API cloud
- Licenza Apache-2.0 con un requisito aggiuntivo di attribuzione
Prezzo: totalmente open source, senza costo per pagina. Gestisci tu l’infrastruttura e paghi eventuale inferenza LLM, locale o cloud.
Limiti: richiede familiarità con Python async e dipendenze browser. La qualità dell’estrazione dipende dall’LLM utilizzato, se presente. Il crawler adattivo dà priorità ai link rilevanti usando segnali di sufficienza informativa: non apprende in modo permanente né corregge da solo i selettori CSS.
Ideale per: utenti Python intermedi che costruiscono pipeline dati per AI e vogliono controllo completo senza costi per richiesta imposti dal vendor.
5. Firecrawl
Firecrawl è una API gestita per dati web, con SDK per Python e Node.js, e una codebase self-hosted con licenza AGPL. Il servizio cloud gestisce il rendering JavaScript e restituisce Markdown, riassunti, HTML, link, immagini, screenshot, JSON e tracciamento delle modifiche.
Funzionalità principali:
- Endpoint
/crawlcon filtri per percorso, profondità di scoperta, sitemap, limiti, ritardi e controllo della concorrenza - Rendering JavaScript automatico sul cloud gestito
- Più formati di output, incluso Markdown pulito
- Endpoint
/mapper scoprire rapidamente la struttura del sito - Percorsi Browser/Interact e agent beta per interazioni multi-step, separati dal crawling di base
Prezzo: Cloud Free include 1.000 crediti/mese, con due richieste concorrenti e rate limit ridotti. I piani a pagamento si basano su crediti e concorrenza: controlla la pagina prezzi per i valori aggiornati. Il self-hosting sposta su di te infrastruttura e manutenzione e non include tutte le funzionalità del cloud gestito.
Limiti: il /crawl di base scopre ricorsivamente URL tramite link e sitemap, ma non garantisce la gestione di qualsiasi paginazione basata su click. Il costo in crediti varia in base al tipo di operazione. Le funzionalità di self-hosting e cloud non coincidono.
Ideale per: utenti intermedi che devono portare contenuti web in LLM, chatbot o knowledge base e preferiscono un servizio gestito invece di ospitare da soli uno stack browser.
Firecrawl vs Crawl4AI: quale scegliere per le pipeline AI?
Firecrawl eccelle nella conversione gestita in Markdown con API pulite: invii un URL e ricevi output strutturato. Crawl4AI eccelle in un approccio local-first in cui controlli il browser e, se vuoi, l’LLM. Se vuoi minimizzare la gestione dell’infrastruttura, il cloud di Firecrawl è la strada più semplice. Se vuoi self-hosting completo senza costo per pagina imposto da un vendor e hai dimestichezza con Python async, Crawl4AI ti offre più controllo.
6. Scrapy
Scrapy è il framework Python storico, con licenza BSD, per crawling e scraping, costruito sul motore asincrono Twisted. Offre scheduling delle richieste, follow dei link, deduplicazione, middleware, retry, throttling, pipeline ed esportazione feed in JSON, JSON Lines, CSV, XML, pickle e marshal.
Funzionalità principali:
- Gestione asincrona delle richieste, adatta a crawling ampi ma ben delimitati
- Ecosistema molto ricco di middleware (proxy, retry, throttling, header personalizzati)
- Architettura a pipeline per pulizia e archiviazione dei dati
- Enorme comunità, documentazione e estensioni di terze parti
- Completamente open source (licenza BSD)
Limiti: nessun rendering JavaScript nativo. La guida ufficiale sui contenuti dinamici consiglia, quando possibile, di individuare la fonte dati sottostante oppure di integrare deliberatamente un componente browser/rendering (per esempio scrapy-playwright). L’architettura — spider, middleware, item pipeline, settings — ha una curva di apprendimento reale.
Prezzo: gratuito. Lo ospiti tu.
Ideale per: utenti Python intermedi che devono fare crawling su larga scala di siti per lo più statici o renderizzati lato server.
Iniziare con Scrapy: quickstart commentato
Ecco il percorso minimo dall’installazione al primo dato:
pip install scrapy
scrapy startproject beginner_crawl
cd beginner_crawl
scrapy genspider example example.com
Apri beginner_crawl/spiders/example.py e modificalo:
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
allowed_domains = ["example.com"] # Resta solo su questo dominio
start_urls = ["https://example.com"] # URL iniziale
custom_settings = {
"ROBOTSTXT_OBEY": True, # Rispetta robots.txt
"DOWNLOAD_DELAY": 2, # Attendi 2 secondi tra le richieste
"CLOSESPIDER_PAGECOUNT": 10, # Ferma dopo 10 pagine (limite di sicurezza)
"USER_AGENT": "Beginner-Crawl-Bot (+https://yoursite.com/bot-info)",
}
def parse(self, response):
yield {
"title": response.css("title::text").get(),
"url": response.url,
}
# Segui i link nella pagina (all’interno di allowed_domains)
for link in response.css("a::attr(href)").getall():
yield response.follow(link, callback=self.parse)
Eseguilo:
scrapy crawl example -o output.json
Prima di scalare, prova i selettori con scrapy shell "https://example.com". I tempi di setup variano in base alla tua esperienza con Python: se sei alle prime armi con virtual environment e comandi da terminale, non aspettarti di finire in dieci minuti.
7. Crawlee
Crawlee è una libreria crawler con licenza Apache per JavaScript/TypeScript e Python, mantenuta da Apify. Offre classi solo HTTP (come CheerioCrawler) e crawler browser basati su Playwright/Puppeteer, oltre a code request, dataset, gestione delle sessioni, retry e controlli di limite.
Funzionalità principali:
- Scegli tra HTTP-first (CheerioCrawler) o browser completo (PlaywrightCrawler) in base al progetto
- Coda richieste, deduplicazione e storage dataset integrati
- Gestione sessioni, fingerprint browser, retry e controlli di confine richieste
- Prima scelta per TypeScript, con supporto Python stabile
- La quickstart ufficiale consiglia l’approccio HTTP-first quando l’HTML contiene già i dati
Prezzo: gratuito. Open source, self-hosted.
Limiti: richiede conoscenze di JavaScript/TypeScript o Python. Meno documentazione comunitaria rispetto a Scrapy. Le funzioni anti-blocking non concedono autorizzazione né garantiscono accesso: riducono il rischio di rilevamento, ma non rendono lecite attività di crawling non autorizzate.
Ideale per: sviluppatori JavaScript intermedi che devono fare crawling di SPA moderne e siti renderizzati in JS con gestione coda e anti-blocking integrati.
Quickstart di Crawlee: dall’installazione al primo dato
npx crawlee create my-crawler
cd my-crawler
Quando compare il prompt di configurazione, seleziona il template Playwright.
Modifica il gestore in src/routes.ts per estrarre ciò che ti serve, poi:
npm start
I risultati finiscono nella directory dataset locale come JSON. Aggiungi maxRequestsPerCrawl, limiti di profondità, regole same-domain e un limite ragionevole di concorrenza prima di andare oltre il test.
8. Playwright
Playwright è il framework di automazione browser di Microsoft con licenza Apache, disponibile per Python, Node.js, Java e .NET. Controlla browser reali Chromium, Firefox e WebKit, quindi è eccellente per pagine che caricano contenuti via JavaScript, richiedono login o prevedono interazioni complesse.
Funzionalità principali:
- Rendering nativo con browser reali su tre motori
- Gestisce SPA, login, click, compilazione di form, download, screenshot e PDF
- Supporto multi-linguaggio (Python, JS/TS, Java, .NET)
- Documentazione eccellente e sviluppo attivo
- Intercettazione del traffico di rete e mocking delle richieste
Cosa Playwright non è: un crawler completo. Non fornisce nativamente frontiera URL, coda di deduplicazione, politica di cortesia, modello di retry o esportatore di feed dati. Quei pezzi li costruisci tu — oppure lo combini con un framework come Crawlee che li offre.
Prezzo: gratuito. Open source.
Ideale per: sviluppatori intermedi che devono automatizzare interazioni browser su siti pesanti in JavaScript o protetti da login e che sanno costruire intorno allo strumento la propria logica di crawling.
9. Screaming Frog
Screaming Frog SEO Spider è un crawler tecnico SEO desktop per Windows, macOS e Linux. Non è uno strumento generico per estrarre dati: è il crawler di riferimento per audit SEO, individuazione di link rotti, catene di redirect, contenuti duplicati, metadati mancanti e centinaia di altri problemi tecnici SEO.
Funzionalità principali:
- Fino a 500 URL gratis per crawling, in modo permanente e non come trial
- Individua link rotti, catene di redirect, contenuti duplicati e metadati mancanti
- Tab dettagliate per title, meta description, heading, immagini e altro
- La versione a pagamento aggiunge rendering JavaScript, salvataggio dei crawl, estrazione personalizzata, integrazione con GA/GSC e integrazioni AI (OpenAI, Gemini, Anthropic, Ollama)
Prezzo: la versione gratuita resta disponibile per sempre con limite di 500 URL/crawl, ma esclude rendering JavaScript, configurazione avanzata, estrazione personalizzata e integrazioni. La licenza costa £199 / $279 / €245 per utente all’anno.
Limiti: curva di apprendimento ripida per chi non fa SEO. Usa molte risorse locali (soprattutto memoria per siti grandi). Nessun piano mensile. Non è progettato per l’estrazione dati generale: è uno strumento di audit.
Ideale per: principianti focalizzati su audit SEO e analisi tecnica del sito. Se devi estrarre dati prodotto o costruire lead list, cerca altrove.
10. Colly
Colly è un framework Go con licenza Apache per crawling/scraping HTTP, con API basata su callback, controllo della concorrenza, sessioni/cookie, code, caching e backend di storage sostituibili.
Funzionalità principali:
- Crawling HTTP concorrente molto veloce e leggero
- API pulita basata su callback
- Gestione integrata di cookie/sessioni e caching
- Rate limiting a livello di dominio tramite LimitRule
- Installazione attuale:
go get github.com/gocolly/colly/v2
Nota critica per chi inizia: il codice sorgente attuale di Colly inizializza IgnoreRobotsTxt = true per impostazione predefinita. Devi impostarlo esplicitamente su false e configurare LimitRule con ritardo e parallelismo adeguati. Senza questi passaggi, Colly ignorerà robots.txt e potrebbe sovraccaricare facilmente il server di destinazione.
Prezzo: gratuito. Open source.
Limiti: richiede conoscenze di programmazione Go. Nessun renderer JavaScript integrato e nessun esportatore universale di feed: l’output lo serializzi tu. Comunità più piccola rispetto agli strumenti basati su Python.
Ideale per: principianti avanzati che conoscono Go e hanno bisogno di un crawler HTTP veloce e leggero per siti statici o API, purché configurino esplicitamente robots e rate limit.
Confronto dei piani gratuiti: cosa ottieni davvero prima di pagare
Questa è la tabella che i principianti attenti al budget stanno cercando. Ogni strumento qui sotto rientra in due categorie: prodotti freemium (limitati ma senza infrastruttura da gestire) e strumenti open source (pagine illimitate, ma devi ospitare tutto tu).
Freemium / Piani gratuiti desktop
| Strumento | Limite gratuito | Limite progetti/task | Restrizioni export | Limitato nel tempo? | Blocchi principali |
|---|---|---|---|---|---|
| Octoparse | Pagine/crawl illimitate | 10 task | 10K righe/export; 50K righe/mese | No (permanente) | Cloud, scheduling, rotazione IP, API |
| ParseHub | 200 pagine/esecuzione | 5 progetti pubblici | CSV/JSON | No (permanente) | I progetti/dati possono essere pubblici; conservazione 14 giorni |
| Thunderbit | 6 pagine/mese | N/D | Excel/CSV, Sheets, Airtable, Notion | No (permanente) | Paginazione, sottopagine, bulk, pianificazioni sono nello Starter |
| Firecrawl | 1.000 crediti/mese | N/D | Tutti i formati | No (permanente) | 2 richieste concorrenti; rate limit bassi |
| Screaming Frog | 500 URL/crawl | Esecuzioni illimitate | Export limitato | No (permanente) | Rendering JS, salvataggio crawl, estrazione personalizzata, integrazioni |
Strumenti open source (self-hosted)
| Strumento | Limite pagine | Licenza | Cosa paghi |
|---|---|---|---|
| Scrapy | Nessuno | BSD | Calcolo, banda, storage, integrazione browser opzionale |
| Crawlee | Nessuno | Apache | Calcolo, banda, processi browser |
| Crawl4AI | Nessuno | Apache-2.0 + attribuzione | Calcolo, processi browser, eventuale inferenza LLM |
| Playwright | Nessuno | Apache | Calcolo, processi browser (alto uso di CPU/memoria) |
| Colly | Nessuno | Apache | Calcolo, banda |
Se il tuo budget software è zero e sai programmare, gli strumenti open source evitano quote per pagina imposte dal vendor, ma i costi di infrastruttura, i limiti del sito target e i costi operativi restano. Non sai programmare? Octoparse, ParseHub e Thunderbit offrono tutti un percorso gratuito — basta fare attenzione ai limiti e alle condizioni di privacy.
I tuoi primi 10 minuti: guida rapida per 3 livelli di competenza
La teoria è utile. La pratica lo è di più. Ecco come passare da zero al primo export di dati con tre strumenti rappresentativi, uno per ogni fascia di competenza.
Percorso no-code: iniziare con Thunderbit
- Installa l’estensione browser Thunderbit
- Vai sulla pagina target, per esempio una scheda prodotto, una directory o una pagina risultati
- Fai clic sull’icona Thunderbit e scegli AI Suggest Fields — l’AI rileva automaticamente le colonne in base al contenuto della pagina
- Controlla e modifica i campi suggeriti (rinomina, rimuovi o aggiungi colonne; aggiungi Field AI Prompts per classificazione o formattazione)
- Fai clic su Scrape
- Controlla i risultati nell’estensione, quindi esporta in Excel, Google Sheets, Airtable o Notion
Su una pagina compatibile, l’obiettivo è una configurazione rapida, non un progetto di programmazione.
Per una guida più dettagliata, consulta il nostro articolo su come estrarre dati dalle pagine web usando Thunderbit.
Percorso per chi inizia con Python: iniziare con Scrapy
Guarda il quickstart commentato nella sezione Scrapy sopra. I comandi chiave sono pip install scrapy, scrapy startproject, modifica il tuo spider con ROBOTSTXT_OBEY = True e un DOWNLOAD_DELAY, poi scrapy crawl example -o output.json. Testa i selettori in scrapy shell prima di scalare. I tempi dipendono dalla tua esperienza con Python.
Percorso JavaScript: iniziare con Crawlee
Vedi il quickstart di Crawlee sopra. Esegui npx crawlee create my-crawler, seleziona il template Playwright, modifica il tuo handler e poi npm start. I risultati appariranno come JSON nella directory dataset locale. Aggiungi maxRequestsPerCrawl e vincoli di dominio prima di aumentare la scala.
Per una guida più lunga, pensata prima di tutto per Python, che mostra come si incastra un progetto crawler, questo corso è un buon compagno:
5 errori da principiante che fanno fallire il primo crawling e come evitarli
Sono errori che ricorrono di continuo nei forum, e quasi nessun articolo di punta li tratta in una sezione dedicata.
Errore 1: usare un crawler solo HTTP su un sito renderizzato in JavaScript
Il problema: molti siti moderni caricano i dati via JavaScript dopo la risposta HTML iniziale. Una semplice richiesta HTTP restituisce una pagina scheletro con <div> vuoti — senza dati.
Soluzione: prima di scegliere lo strumento, apri la pagina target, fai clic destro e visualizza il sorgente. Se i dati che ti servono non sono nell’HTML grezzo, ti serve uno strumento con rendering browser: Playwright, PlaywrightCrawler di Crawlee oppure uno strumento no-code come Thunderbit o Octoparse che renderizza nel browser. Ma non usare un browser per default se l’HTTP basta: aggiunge costi e complessità.
Errore 2: ignorare robots.txt e le regole di Crawl-Delay
Il problema: robots.txt è uno standard che comunica a quali percorsi un crawler identificato può accedere. Ignorare la policy di crawling di un sito può portare a blocchi, danni operativi e rischi di conformità.
Soluzione: controlla sempre yoursite.com/robots.txt prima di iniziare e verifica il comportamento predefinito reale dello strumento scelto. I default variano: Colly, per esempio, inizializza IgnoreRobotsTxt = true e richiede configurazione esplicita. Ricorda che robots.txt è un segnale di controllo del crawling, non un’autorizzazione legale. Un percorso consentito non equivale al permesso di raccogliere o riutilizzare i dati per qualunque scopo.
Errore 3: inviare troppe richieste senza rate limiting
Il problema: sparare centinaia di richieste al secondo può sovraccaricare il server di destinazione, farti bloccare l’IP ed è in generale una cattiva pratica.
Soluzione: imposta un ritardo positivo. In Scrapy, usa DOWNLOAD_DELAY = 2 e valori bassi per CONCURRENT_REQUESTS_PER_DOMAIN. In Colly, configura LimitRule con ritardo e parallelismo. I tool cloud o no-code di solito gestiscono questo aspetto automaticamente, ma controlla comunque le impostazioni. Parti con una sola richiesta in volo per dominio e aumenta solo se il comportamento e i termini del sito lo consentono.
Errore 4: scegliere uno strumento enterprise per un progetto piccolo
Il problema: mettere in piedi un cluster Scrapy distribuito con rotazione proxy e message queue per un progetto da 500 pagine è come noleggiare un camion articolato per fare la spesa.
Soluzione: torna al diagramma decisionale. Adatta la complessità dello strumento alla dimensione del progetto. Per estrazioni piccole e occasionali, un’estensione browser o uno script semplice è quasi sempre la scelta giusta.
Errore 5: non validare i dati di output
Il problema: i principianti spesso esportano i dati senza controllarli e scoprono solo dopo che metà delle righe è vuota, duplicata o corrotta.
Soluzione: controlla sempre a campione le prime 10–20 righe prima di lanciare un crawl completo. Cerca campi vuoti, problemi di encoding (mojibake), righe duplicate e valori inattesi. Definisci prima lo schema atteso: quali colonne devono esserci, che tipo di dato devono contenere, quali campi sono obbligatori. Un’esecuzione riuscita non prova che i dati siano corretti.
Cosa significa «output pronto per LLM» e perché conta anche se non stai costruendo un’AI
«LLM-ready» compare ovunque nel marketing dei crawler nel 2026. La maggior parte delle spiegazioni dà per scontato che tu sappia già cos’è un vector database. Ecco la versione semplice.
Output pronto per LLM significa testo pulito e strutturato che un modello AI, come GPT o Claude, può ingerire senza pulizie manuali. È la differenza tra consegnare a qualcuno un foglio di calcolo ordinato oppure un mucchio di pagine web stampate con banner pubblicitari, menu di navigazione e cookie banner ancora attaccati.
Perché dovrebbe interessarti anche se non stai costruendo un chatbot? Perché gli strumenti progettati per output LLM-ready tendono a produrre dati più puliti e più utili per tutti. Meno post-processing, meno colonne spazzatura, meno problemi di encoding. I dati puliti sono dati puliti, che li legga un umano o una macchina.
Quali strumenti di questa lista producono output LLM-ready nativamente?
- Firecrawl → Markdown pulito, riepiloghi, JSON strutturato
- Crawl4AI → Varianti Markdown multiple, chunk strutturati, tabelle
- Thunderbit → Campi strutturati suggeriti dall’AI con normalizzazione basata su prompt
Ecco un rapido prima/dopo per rendere l’idea. L’HTML grezzo di una pagina prodotto potrebbe apparire così:
<div class="product-card">
<span class="price">$29.99</span>
<h2 class="title">Wireless Mouse</h2>
<p class="desc">Ergonomic design, 2.4GHz...</p>
<a href="/buy" class="btn">Add to Cart</a>
</div>
Output Markdown pronto per LLM da Firecrawl:
## Wireless Mouse
- **Price:** $29.99
- **Description:** Ergonomic design, 2.4GHz
Output strutturato da Thunderbit:
| Nome prodotto | Prezzo | Descrizione |
|---|---|---|
| Wireless Mouse | $29.99 | Ergonomic design, 2.4GHz |
Entrambi sono subito utilizzabili: niente parsing HTML, niente rimozione manuale di annunci, niente mapping manuale delle colonne. Per capire meglio come l’estrazione AI si confronta con lo scraping tradizionale, consulta la nostra panoramica sui migliori AI web scraper.
Web crawling responsabile: consigli rapidi su etica e conformità
Etica e conformità nel web crawling sono troppo importanti per saltarle:
- Controlla robots.txt prima di fare crawling su qualunque sito. È il segnale standard di controllo del crawling (RFC 9309), ma non è un’autorizzazione legale né un confine di sicurezza.
- Rispetta i rate limit e gli header Retry-After. Rallenta o fermati su risposte 429 e 503.
- Usa solo dati pubblicamente disponibili o autorizzati. Se esiste un’API ufficiale o un export che soddisfa il bisogno, preferiscili.
- Controlla i termini di servizio del sito. La visibilità pubblica è rilevante, ma non equivale a una licenza generale per raccogliere o riutilizzare i dati.
- Fai attenzione ai dati personali. Riduci al minimo la raccolta, definisci regole di conservazione/cancellazione e richiedi una revisione qualificata per usi sensibili. GDPR e normative simili si applicano indipendentemente dallo strumento usato.
Molti strumenti offrono impostazioni che aiutano a fare crawling in modo responsabile, ma la configurazione non trasferisce la responsabilità lontano dall’operatore. Per approfondire il processo di base, leggi la nostra spiegazione su cos’è il web scraping.
Da quale web crawler iniziare?
Riassunto rapido per livello di competenza:
- No code: Thunderbit per estrazione assistita dall’AI dalla pagina, Octoparse per workflow visuali, ParseHub per flussi multi-step complessi, Screaming Frog per audit SEO
- Python intermedio: Scrapy per crawling HTTP su larga scala, Crawl4AI per pipeline LLM
- JavaScript intermedio: Crawlee per crawling di SPA moderne, Playwright per automazione browser complessa
- Go: Colly per crawling HTTP veloce (con configurazione esplicita di robots e rate limit)
- API gestita: Firecrawl per output Markdown pulito senza self-hosting
Il miglior crawler è quello che si adatta ai tuoi dati, ai tuoi permessi, al tuo livello e ai tuoi limiti operativi. Parti semplice, valida una piccola esecuzione e aggiungi complessità solo quando il progetto lo richiede. Se vuoi provare l’estrazione assistita dall’AI, l’estensione browser Thunderbit offre un percorso no-code dalla pagina compatibile al foglio di calcolo.
Scopri di più
- AI Web Scraping
- Web Scraping senza codice
- Cos’è il web scraping
- Alternative a Instant Data Scraper
- Scraping di LinkedIn
FAQ
1. Che cos’è un web crawler e in cosa si differenzia da un web scraper?
Un crawler scopre e recupera pagine: segue i link, gestisce una coda di URL, deduplica e applica limiti di profondità. Uno scraper estrae dati strutturati specifici da quelle pagine: analizza l’HTML, seleziona i campi e produce record. La maggior parte degli strumenti moderni fa entrambe le cose in misura diversa, e i due termini vengono spesso usati in modo intercambiabile, ma la distinzione conta quando scegli uno strumento: alcuni, come Playwright, sono ottimi nel renderizzare pagine ma non forniscono l’infrastruttura di crawling, mentre altri, come Scrapy, offrono l’intera pipeline ma richiedono un plugin per il rendering JavaScript.
2. Qual è il miglior web crawler per chi non sa programmare?
Thunderbit, Octoparse e ParseHub sono le migliori opzioni no-code per l’estrazione di dati generali. Thunderbit usa l’AI per suggerire i campi e funziona come estensione browser; Octoparse offre un builder visuale con Auto-detect; ParseHub eccelle nei flussi complessi multi-step. Per casi d’uso solo SEO, la versione gratuita di Screaming Frog fa crawling di fino a 500 URL senza alcun codice.
3. I web crawler sono gratuiti?
Ci sono due categorie. Gli strumenti completamente open source (Scrapy, Crawlee, Crawl4AI, Playwright, Colly) non prevedono costi per pagina, ma l’infrastruttura la gestisci tu e paghi calcolo, banda e storage. Gli strumenti freemium (Octoparse, ParseHub, Thunderbit, Firecrawl, Screaming Frog) offrono piani gratuiti con limiti vari su pagine, progetti, export o funzionalità. Vedi la tabella di confronto dei piani gratuiti sopra per i dettagli.
4. I web crawler possono gestire siti molto pesanti in JavaScript?
Sì, ma non tutti. Gli strumenti con rendering browser integrato — Playwright, Crawlee (PlaywrightCrawler), Octoparse, ParseHub, Crawl4AI e Thunderbit (tramite Browser Mode) — possono gestire contenuti caricati in JavaScript. Scrapy e Colly sono HTTP-first e richiedono integrazioni browser separate per il rendering JS. Screaming Frog supporta il rendering JavaScript solo nella versione a pagamento. Controlla sempre se la pagina target ha davvero bisogno di un browser aprendo prima il suo HTML sorgente.
5. Il web crawling è legale?
Non esiste una risposta unica sì/no. L’analisi legale dipende dai dati, dal metodo di accesso, dall’uso previsto, dai termini del sito, dai contratti, dalle regole di proprietà intellettuale, dagli obblighi privacy come il GDPR e dalla giurisdizione applicabile. robots.txt è un segnale di controllo del crawling, non un’autorizzazione legale, e la visibilità pubblica non equivale a una licenza generale. Per casi specifici — soprattutto quando coinvolgono dati personali, contenuti protetti da copyright, autenticazione o riuso commerciale — consulta un professionista legale qualificato.
