Google News attinge da oltre in tutto il mondo, il che lo rende uno dei feed di notizie in tempo reale più ricchi su internet. Ma ecco la parte che quasi nessuno dice subito: Google ha eliminato la sua API ufficiale per News nel 2011 e non l’ha mai sostituita.
Questo lascia scoperti i team PR che monitorano le menzioni del brand, i commerciali che seguono i segnali di mercato e gli analisti che costruiscono dashboard di competitive intelligence. Ti servono dati strutturati sulle notizie—titoli, fonti, date, testo degli articoli—ma Google scoraggia attivamente lo scraping automatico con CAPTCHA, limiti di frequenza e layout delle pagine che cambiano di continuo. In Thunderbit ho passato anni a costruire e testare strumenti di estrazione dati, e posso dirti che il divario tra “faccio un veloce scraping di Google News” e ottenere davvero dati affidabili e strutturati è molto più ampio di quanto la maggior parte delle persone si aspetti.
Questa guida copre i 10 migliori Google News scraper che ho trovato tra API, strumenti no-code e piani gratuiti, con confronti onesti sui prezzi, analisi anti-bot e il livello di dettaglio sui campi che serve davvero per scegliere lo strumento giusto.
Perché Google News è difficile da fare scraping (e perché non esiste un’API ufficiale)
Google nel 2011. Da allora, qualsiasi strumento che si presenta come “Google News API” è in realtà un wrapper di terze parti che estrae o fa da proxy ai risultati di Google News per tuo conto. L’opzione programmatica ufficiale più vicina è la , che offre 100 query gratuite al giorno e costa 5 $ ogni 1.000 query. Però richiede di configurare un motore di ricerca personalizzato e non è un sostituto diretto di Google News.
Nel frattempo, le difese anti-scraping di Google sono molto concrete:
- Limitazione di frequenza basata su IP: se colpisci Google News troppo velocemente, vedrai .
- Pagine di consenso e interstitial: a seconda della tua posizione, Google può mostrare schermate di consenso sui cookie che mandano in crisi la maggior parte dei parser.
- Contenuti renderizzati in JavaScript: gran parte di Google News viene caricata in modo dinamico, quindi le semplici richieste HTTP restituiscono HTML incompleto.
- URL incapsulati nei redirect: i link di Google News spesso passano attraverso il livello di redirect di Google prima di arrivare alla pagina del publisher.
- Deriva del layout: Google cambia regolarmente il modo in cui sono strutturate le card delle notizie, i cluster di storie e le sezioni tematiche.
Nel marzo 2025, Google ha anche , rendendo la piattaforma ancora più dinamica. I thread della community su e sono pieni di sviluppatori che condividono workaround per le pagine di consenso, i selettori rotti e i formati degli URL che cambiano.
Allora perché la gente continua a fare scraping? Perché e di queste sono query che Google non ha mai visto prima. Per il monitoraggio del brand, l’analisi dei trend, il rilevamento di segnali per i lead e la competitive intelligence, Google News resta una delle superfici di notizie più ampie e flessibili da interrogare.
RSS vs API vs scraping no-code: come scegliere il metodo giusto
Non tutti i Google News scraper funzionano allo stesso modo. Prima di scegliere uno strumento, conviene capire i tre approcci principali e quando ha senso usare ciascuno.
| Approccio | Ideale per | Limiti | Strumenti di esempio |
|---|---|---|---|
| Feed RSS di Google News | Monitoraggio semplice dei titoli, gratuito, volumi bassi | Nessun testo completo, max ~100 risultati, filtri limitati | Lettori RSS integrati, n8n |
| SERP / News API | Monitoraggio scalabile di parole chiave, metadati strutturati | Costo continuo, di solito solo titoli + snippet | SerpApi, Scrapingdog, Newsdata.io |
| Scraping diretto (no-code) | Contenuto completo degli articoli, campi dati personalizzati, ricerche una tantum | Richiede gestione anti-bot, meno scalabile delle API | Thunderbit, Octoparse, Apify |
| Scraping diretto (codice) | Massimo controllo, pipeline personalizzate | Manutenzione elevata, gestione CAPTCHA, si rompe spesso | Scrapy, BeautifulSoup + Selenium |
La maggior parte degli articoli dei concorrenti copre solo API e librerie Python. Ma i dati sull’intento degli utenti che ho visto raccontano un’altra storia: una grossa fetta di chi cerca i “migliori Google News scraper” non è composta da sviluppatori, ma da PR manager, responsabili operations e team sales che hanno bisogno di una soluzione point-and-click, non di un progetto di coding. Ecco perché in questa lista includo estensioni browser e piattaforme no-code insieme ai giganti delle API.
Vale la pena notarlo: i feed RSS di Google News sono ancora gratuiti e utili per un monitoraggio leggero dei titoli. Puoi iscriverti a un feed per un argomento o una parola chiave e ricevere circa 100 risultati con titoli, link e date di pubblicazione. Ma se ti servono testo completo, nomi degli autori, sentiment o più di cento risultati, ti servirà uno degli strumenti qui sotto.
Come abbiamo valutato i migliori Google News scraper
Ho applicato gli stessi criteri a ogni strumento in questa lista:
- Facilità d’uso: no-code, richiede codice o solo API
- Gestione anti-bot / CAPTCHA: fondamentale per Google
- Campi dati estratti: titolo, fonte, data, snippet, URL, testo completo, autore, immagini, sentiment
- Disponibilità e limiti del piano gratuito
- Costo normalizzato per 1.000 richieste: perché ogni fornitore usa una metrica diversa (al mese, per credito, per richiesta), ho standardizzato al costo per 1.000 risultati riusciti al livello a pagamento più basso
- Formati di esportazione: JSON, CSV, Google Sheets, Airtable, Notion e così via
- Scalabilità: limiti giornalieri, rate limit, concorrenza
- Caso d’uso ideale
Normalizzare i prezzi conta più di quanto si pensi. Uno strumento addebita per “ricerca” (che restituisce 10 risultati), un altro per “credito” (dove 1 credito = 1 riga), e un terzo per “richiesta” (dove il rendering JavaScript costa extra). Senza normalizzazione, stai confrontando mele con oranghi.
I 10 migliori Google News scraper in sintesi
Ecco la tabella comparativa principale. Più sotto entrerò nel dettaglio di ogni strumento, ma questa panoramica dovrebbe aiutarti a restringere rapidamente il campo.
| Strumento | Tipo | Piano gratuito | Costo ~ per 1K risultati | Gestione anti-bot | Estrazione articolo completo | Formati di esportazione | Ideale per |
|---|---|---|---|---|---|---|---|
| Thunderbit | Estensione Chrome / no-code AI | Piano gratuito (6 pagine) | ~$6–$30 per 1K righe (dipende dal piano) | Modalità browser (la tua sessione) + modalità cloud | Sì (scraping delle sottopagine) | Excel, CSV, Sheets, Airtable, Notion, JSON | Utenti non tecnici, team business |
| SerpApi | API SERP | 250 ricerche/mese | ~$5–$15 per 1K risultati | Anti-detection specifica per SERP | No (titoli + snippet) | JSON | Sviluppatori, pipeline API strutturate |
| ScraperAPI | API di scraping generica | 1.000 crediti/mese + prova da 5K | ~$0,10–$0,49 per 1K richieste | Rotazione proxy, rendering JS | Nessun parser dedicato | JSON, HTML | Sviluppatori con budget ridotto, scraping generico |
| Apify | Piattaforma di scraping cloud | Prova di 7 giorni | Varia in base ad actor/compute | Rendering JS, browser headless | Dipende dall’actor | JSON, CSV, Excel, API | Team tecnici, workflow già pronti |
| Bright Data | Scraper/dataset enterprise | 1K richieste di prova | ~$1,30–$2,50 per 1K record | Proxy, risoluzione CAPTCHA, rendering browser | Sì (prodotto News Scraper) | JSON, CSV | Pipeline enterprise |
| Octoparse | Piattaforma no-code visuale | Piano gratuito (limitato) | ~$9–$25 per 1K righe (ammortizzato) | Esecuzione cloud, anti-blocco | Sì (il template include il testo del corpo) | CSV, Excel, JSON, database | Chi costruisce workflow visuali |
| ScrapingBee | API di scraping | Crediti di prova | Variabile (a crediti, il JS costa di più) | Chrome headless, rotazione proxy, CAPTCHA | Nessun parser dedicato | JSON, HTML | Sviluppatori che hanno bisogno del rendering JS |
| Oxylabs | API SERP / scraper | Fino a 2.000 risultati di prova | ~$1,00–$2,35 per 1K risultati | Oltre 100M proxy, risoluzione CAPTCHA | No (dati SERP) | JSON | Scraping su larga scala, geotargeting |
| Scrapingdog | API SERP economica | 1.000 crediti gratuiti | ~$0,10 per 1K richieste | Anti-detection specifica per SERP | No (titoli + snippet) | JSON | Sviluppatori attenti al budget |
| Newsdata.io | API news dedicata | 200 richieste/giorno | Variabile in base al piano | N/D (non fa scraping diretto di Google) | Sì (piani premium) | JSON | Funzionalità NLP specifiche per le news |
Saltano fuori un paio di cose. Il costo per richiesta più basso? Scrapingdog e ScraperAPI. Configurazione no-code più semplice? Thunderbit e Octoparse. Affidabilità di livello enterprise con geotargeting? Bright Data e Oxylabs.
Passiamo alle analisi dettagliate.
1. Thunderbit — Il miglior Google News scraper no-code per utenti business
è lo strumento che abbiamo costruito nella nostra azienda, quindi lo dico apertamente. Ma voglio essere preciso su cosa fa e cosa non fa, perché secondo me l’onestà è più utile dell’hype.
Thunderbit è una basata su AI, pensata per chi ha bisogno di dati strutturati dai siti web senza scrivere codice. Per Google News, il flusso di lavoro è questo:
- Apri i risultati di Google News in Chrome.
- Fai clic su “AI Suggerisci campi” — l’AI legge la pagina e rileva automaticamente colonne come titolo, fonte, data, snippet e URL.
- Fai clic su “Scrape” per estrarre i dati strutturati in una tabella.
Questa è la pagina di elenco. La vera forza per i casi d’uso news arriva subito dopo: dopo aver fatto scraping dei risultati di Google News, puoi fare clic su “Scrape Subpages” per visitare ogni URL dell’articolo ed estrarre testo completo, autore, immagini e altro ancora. Questo risolve direttamente il problema del tipo “ho i link ma devo ancora visitare ed estrarre il contenuto reale”, che salta fuori di continuo nei forum.
Field AI Prompt ti permette di aggiungere istruzioni AI personalizzate per colonna. Per esempio, potresti aggiungere una colonna “Sentiment” con un prompt tipo: “Classifica questo articolo come positivo, negativo o neutro rispetto a [brand].” In questo modo estrai i dati e li arricchisci in un solo passaggio: qualcosa che nessuno dei puri strumenti API offre.
Thunderbit supporta sia Browser Scraping (gira nella tua sessione Chrome, ereditando cookie e stato di login, così evita molti trigger di rilevamento bot) sia Cloud Scraping (gestisce fino a 50 pagine alla volta con infrastruttura anti-bot integrata). Puoi anche impostare uno per il monitoraggio ricorrente delle notizie.
Funzionalità principali
- AI Suggerisci campi rileva automaticamente colonne di titolo, fonte, data e URL
- Scraping delle sottopagine per contenuto completo, autore e immagini
- Field AI Prompt per analisi del sentiment, traduzione o etichettatura personalizzata
- Modalità di scraping Cloud e Browser
- Scraping pianificato per monitoraggi giornalieri o settimanali
- Esportazione gratuita verso Google Sheets, Airtable, Notion, Excel, CSV, JSON
Prezzi
- Piano gratuito: 6 pagine
- Prova gratuita: 10 pagine
- I piani a pagamento partono da circa 9 $/mese (basati su crediti, 1 credito = 1 riga di output)
- Costo normalizzato per 1.000 righe: circa 6–30 $ a seconda del piano
Ideale per
Team sales, professionisti PR, responsabili operations e chiunque abbia bisogno di dati strutturati da Google News senza scrivere una riga di codice. È particolarmente forte quando servono contenuti completi degli articoli più campi arricchiti dall’AI, come il sentiment.
2. SerpApi — La migliore API strutturata per Google News per sviluppatori
è la scelta giusta se vuoi un endpoint API dedicato a Google News che restituisce JSON pulito e strutturato. Ha due endpoint rilevanti: uno per news.google.com (la pagina Google News) e un altro per la scheda notizie tbm=nws nella ricerca Google standard.
La documentazione dei campi è insolitamente dettagliata: ottieni title, source, authors, link, thumbnail, topic_token, story_token, related_topics e related_publications. Il supporto per story token e topic token è davvero utile per de-duplicare le storie raggruppate, un problema che molti strumenti ignorano.
Per esperienza, la velocità di risposta di SerpApi è elevata (di solito sotto i 2 secondi) e l’uptime è solido. Il limite principale: è solo API, quindi ti serve codice o un’integrazione no-code per usare i dati. Nessun testo completo dell’articolo—solo titoli, snippet e metadati.
Funzionalità principali
- Endpoint dedicato per la ricerca Google News con JSON strutturato
- Targeting per località e lingua
- Query storiche tramite parametro
tbs - Supporto a story token e topic token per il clustering
Prezzi
- Gratis:
- Developer: 75 $/mese per 5.000 ricerche
- Production: 150 $/mese per 15.000 ricerche
- Costo normalizzato per 1.000 risultati: circa 5–15 $ (assumendo ~10 risultati per ricerca)
Ideale per
Sviluppatori che costruiscono pipeline automatiche di monitoraggio news e hanno bisogno di dati SERP affidabili e strutturati con un’ottima copertura dei campi.
3. ScraperAPI — La migliore API generica economica per Google News
ScraperAPI è un’API di scraping generica, non uno strumento specifico per Google News. Ma l’abbiamo inclusa qui perché è uno dei modi più economici per colpire le pagine di Google News su larga scala, se ti senti a tuo agio nel scrivere il tuo parser.
ScraperAPI gestisce rotazione proxy, rendering JavaScript e risoluzione CAPTCHA dietro una semplice API REST. Invi un URL e ricevi l’HTML renderizzato. Il punto è che non esiste un parser dedicato a Google News, quindi dovrai estrarre i campi da solo (o affiancarlo a una libreria di parsing).
Alcuni utenti segnalano tempi di risposta più lenti (7–23 secondi nei benchmark), e il sistema a crediti fa sì che ogni tipo di richiesta costi un numero diverso di crediti. Però, per gli sviluppatori che sanno già come analizzare l’HTML di Google News, il prezzo di ScraperAPI è difficile da battere.
Funzionalità principali
- Rotazione proxy automatica e geotargeting
- Rendering JavaScript
- Modello basato su crediti (100K crediti nel piano base)
- + 5.000 crediti di prova
Prezzi
- Gratis: 1.000 crediti/mese
- Hobby: 49 $/mese (100.000 crediti)
- Startup: 149 $/mese (1.000.000 crediti)
- Costo normalizzato per 1.000 richieste: circa 0,10–0,49 $ a seconda del piano
Ideale per
Sviluppatori attenti al budget che hanno bisogno di un livello proxy/rendering economico e sono felici di costruirsi da soli un parser per Google News.
4. Apify — La migliore piattaforma cloud con actor già pronti per Google News
Apify è una piattaforma di scraping basata sul cloud con un marketplace di “Actor”, scraper preconfigurati che puoi eseguire senza programmare. Sono disponibili diversi actor Google News Scraper creati dalla community, e la piattaforma gestisce esecuzione cloud, pianificazione e storage.
Puoi iniziare rapidamente con un actor già pronto. Il compromesso: la qualità e la manutenzione degli actor della community variano. Alcuni possono rompersi quando Google cambia layout, e dipendi dall’autore dell’actor per le correzioni. L’infrastruttura di Apify è solida, ma l’esperienza specifica su Google News dipende dall’actor che scegli.
Funzionalità principali
- Actor specifici per Google News nello Store di Apify
- Esecuzioni pianificate nel cloud
- Integrazioni API e webhook
- Esportazione in JSON, CSV, Excel e via API
Prezzi
- Prova gratuita: 7 giorni
- Piani a pagamento da 49 $/mese
- Costo normalizzato per 1.000 richieste: varia in base ad actor e utilizzo compute
Ideale per
Team tecnici che vogliono workflow di scraping già pronti senza costruire tutto da zero, e che hanno bisogno di pianificazione cloud e integrazioni API.
5. Bright Data — Il miglior Google News scraper di livello enterprise
Bright Data è il colosso enterprise. Il suo prodotto News Scraper supporta esplicitamente Google News e include gestione automatica dei proxy, rendering completo del browser, risoluzione CAPTCHA e gestione batch fino a 5.000 URL. I campi includono ID, URL, titolo, autore, topic e altro ancora.
Bright Data vende anche un dataset Google News pre-raccolto a partire da 2,50 $ per 100K record, un’opzione utile per i team che non vogliono fare scraping live.
La rete di oltre 72M proxy residential è ciò che lo distingue nella gestione anti-bot. Se fai scraping di Google News da più paesi e ad alto volume, Bright Data assorbe la complessità.
Funzionalità principali
- News Scraper con supporto Google News
- Oltre 72M proxy residential con geotargeting
- Risoluzione CAPTCHA integrata
- Web Scraper IDE (visuale, semi-no-code)
- Opzioni pay-as-you-go e in abbonamento
Prezzi
- Prova gratuita: 1.000 richieste
- Pay as you go: circa 2,50 $/1K record
- Scale: 499 $/mese (384K record inclusi, circa 1,30 $/1K aggiuntivi)
Ideale per
Aziende grandi ed enterprise che hanno bisogno di dati Google News ad alto volume e alta affidabilità, con copertura geografica globale e infrastruttura di compliance.
6. Octoparse — Il miglior scraper no-code desktop per Google News
Octoparse offre sia un normale template Google News Scraper sia un template Cloud. L’elenco dei campi è insolitamente trasparente: parola chiave, fonte, titolo, data di pubblicazione, URL, testo del corpo, autore, abstract, immagini e campi messaggio errore.
Il template cloud pubblica persino una tariffa di 0,1 $ per 1.000 righe in Run Mode, una trasparenza sui prezzi rara per uno strumento no-code. Ma il costo reale dipende dal livello di abbonamento necessario per la pianificazione cloud e le funzioni anti-blocco.
Il builder visuale dei workflow di Octoparse è adatto a chi vuole un controllo esplicito sui passaggi di estrazione senza scrivere codice. La curva di apprendimento è più ripida rispetto all’approccio guidato dall’AI di Thunderbit, ma alcuni utenti preferiscono questo livello di granularità.
Funzionalità principali
- Template Google News già pronto con estrazione dettagliata dei campi
- Builder visuale point-and-click
- Esecuzione cloud e locale
- Scraping pianificato e ricorrente
- Esportazione in CSV, Excel, JSON, database
Prezzi
- Piano gratuito con funzionalità limitate
- Piani a pagamento da 69 $/mese
- Costo normalizzato: circa 9–25 $ per 1.000 righe (ammortizzato con il costo del piano)
Ideale per
Utenti non tecnici che preferiscono uno strumento desktop visuale con controllo esplicito, passo dopo passo, sull’estrazione e che hanno bisogno di scraping Google News ricorrente.
7. ScrapingBee — La migliore API per gestire pagine Google News pesanti in JavaScript
ScrapingBee è specializzata nel rendering con browser headless, nella rotazione proxy e nel bypass delle difese anti-bot. È una scelta forte quando le pagine di Google News richiedono l’esecuzione completa di JavaScript per renderizzare i risultati, cosa che succede sempre più spesso.
L’API è semplice: invii un URL e ricevi HTML renderizzato o uno screenshot. ScrapingBee gestisce in background rotazione proxy e risoluzione CAPTCHA. Ma, come ScraperAPI, non esiste un parser dedicato a Google News: i campi vanno estratti da te.
Il sistema a crediti fa sì che le richieste renderizzate in JavaScript costino più delle semplici richieste HTTP, quindi tienilo presente quando stimi i costi per Google News.
Funzionalità principali
- Rendering Chrome headless per pagine pesanti in JS
- Rotazione proxy automatica e bypass CAPTCHA
- Supporto allo scraping di Google Search / News
- Semplice API REST con risposta JSON/HTML
Prezzi
- Piani da 49 $/mese
- Modello a crediti (il rendering JS costa di più per richiesta)
- Costo normalizzato per 1.000 richieste: variabile in base alle esigenze di rendering
Ideale per
Sviluppatori che hanno bisogno di rendering JavaScript affidabile e gestione anti-bot per le pagine di Google News tramite un’API semplice.
8. Oxylabs — Il miglior Google News scraper per risultati geotargettizzati
Oxylabs ha una API dedicata a Google News Scraper nel suo stack SERP, supportata da un pool di oltre 100M proxy in 195 paesi. La proposta è semplice: affidabilità di livello enterprise con risultati specifici per area geografica.
Oxylabs supporta output JSON strutturato, modalità di scraping in tempo reale e batch, e logica di parsing personalizzata con XPath e selettori CSS. Il prezzo specifico per Google è chiaro: circa 2,00 $/1K risultati nel piano Micro, che scende a circa 0,90 $/1K nei livelli superiori.
La prova gratuita ti dà fino a , abbastanza per verificare se la qualità dei dati soddisfa le tue esigenze.
Funzionalità principali
- SERP Scraper API con supporto Google News
- Oltre 100M proxy in 195 paesi
- Consegna JSON strutturata
- Modalità di scraping real-time e batch
Prezzi
- Prova gratuita: fino a 2.000 risultati
- Micro: circa 2,00 $/1K risultati Google (circa 2,35 $/1K con rendering JS)
- Livelli superiori: circa 0,90 $/1K
- Piani enterprise personalizzati disponibili
Ideale per
Team enterprise e mid-market che hanno bisogno di risultati Google News geotargettizzati su larga scala con alta affidabilità.
9. Scrapingdog — La migliore API Google News economica
Scrapingdog si propone come alternativa conveniente a SerpApi, con un endpoint API dedicato a Google News. La risposta JSON strutturata include titolo, fonte, data, snippet e link.
Il prezzo è davvero aggressivo: alcuni piani offrono 400K richieste per 40 $, che equivale a circa 0,10 $ per 1.000 richieste. Il tempo di risposta è in genere intorno ai 2 secondi e hai 1.000 crediti gratuiti per fare test.
Il compromesso: Scrapingdog è un’azienda più piccola, con meno documentazione e meno integrazioni rispetto ai grandi player. Ma per startup e builder attenti al budget, l’economia è molto interessante.
Funzionalità principali
- Endpoint API dedicato a Google News Scraper
- Risposta JSON strutturata (titolo, fonte, data, snippet, link)
- Dati storici news tramite parametro
tbs - 1.000 crediti gratuiti per test
Prezzi
- Gratis: 1.000 crediti
- Piani a pagamento da 40 $/mese
- Costo normalizzato per 1.000 richieste: circa 0,10 $
Ideale per
Sviluppatori e startup attenti al budget che hanno bisogno di dati Google News ad alto volume al costo per richiesta più basso possibile.
10. Newsdata.io — La migliore API news dedicata (oltre Google News)
è una API per dati news costruita apposta, che aggrega oltre 50.000 fonti a livello globale. Non è propriamente un Google News scraper—non fa scraping diretto di Google News. Invece aggrega in modo indipendente le stesse fonti dei publisher (e altre aggiuntive), restituendo JSON strutturato con ricerca news in tempo reale e storica.
I piani premium includono estrazione completa del testo degli articoli, analisi del sentiment e filtri per categoria: funzioni che la maggior parte degli strumenti di scraping SERP non offre in modo nativo. Il piano gratuito offre , una quantità generosa per i test.
Se il tuo obiettivo è “ottenere dati news su un argomento” e non specificamente “fare scraping di Google News”, Newsdata.io può essere una scelta migliore di qualunque strumento SERP in questa lista.
Funzionalità principali
- API per ricerca news in tempo reale e storica
- Estrazione del testo completo degli articoli (premium)
- Analisi del sentiment (premium)
- Filtri per categoria, lingua e paese
- Piano gratuito da 200 richieste/giorno
Prezzi
- Gratis: 200 richieste/giorno
- Piani a pagamento da 99,99 $/mese
- Costo normalizzato per 1.000 richieste: variabile in base al piano
Ideale per
Team che hanno bisogno di una fonte dati news dedicata con funzioni NLP integrate (sentiment, categorizzazione) e non devono per forza fare scraping di Google News.
Google News scraper a confronto: gestione anti-bot, campi dati e prezzi
Tre dimensioni di confronto contano più di ogni altra quando scegli un Google News scraper. Non ho trovato un’altra guida che le copra tutte e tre in modo sistematico.
Come ogni strumento gestisce le protezioni anti-bot di Google
La gestione anti-bot è la preoccupazione numero uno per chiunque faccia scraping di Google News. Ecco come si muove ciascuno strumento:
| Strategia | Strumenti che la usano |
|---|---|
| Rotazione proxy integrata | Bright Data, ScrapingBee, Oxylabs, ScraperAPI |
| Risoluzione CAPTCHA inclusa | Bright Data, ScrapingBee, Oxylabs |
| Rendering JS / browser headless | Apify, Octoparse, ScrapingBee |
| Basato su browser (usa la tua sessione) | Thunderbit (modalità Browser Scraping) |
| Anti-detection specifica per SERP | SerpApi, Scrapingdog |
Vale la pena spiegare meglio la modalità Browser Scraping di Thunderbit. Poiché gira nella tua vera sessione Chrome, eredita cookie e stato di login. Questo significa che evita molti dei trigger di rilevamento bot che colpiscono gli scraper headless: pagine di consenso, sfide CAPTCHA e controlli di fingerprinting. Per esigenze di volume elevato, il Cloud Scraping di Thunderbit gestisce 50 pagine alla volta con una propria infrastruttura anti-bot.
Quali campi dati restituisce ciascun Google News scraper?
Questa è la comparazione che nessun altro pubblica, ed è quella che conta di più quando scegli uno strumento. Alcuni strumenti ti danno solo titoli e link. Altri possono estrarre testo completo, nomi degli autori e persino il sentiment.
| Strumento | Titolo | Fonte | Data | Snippet | URL articolo | Testo completo | Autore | Immagini | Sentiment |
|---|---|---|---|---|---|---|---|---|---|
| Thunderbit | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (tramite sottopagina) | ✅ (tramite AI) | ✅ | ✅ (tramite Field AI Prompt) |
| SerpApi | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ❌ |
| ScraperAPI | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ❌ | ❌ | ❌ | ❌ |
| Apify | ✅ | ✅ | ✅ | ✅ | ✅ | Dipende dall’actor | Dipende dall’actor | ✅ | ❌ |
| Bright Data | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (News Scraper) | ✅ | ✅ | ❌ |
| Octoparse | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (template) | ✅ | ✅ | ❌ |
| ScrapingBee | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ✅ (parsing personalizzato) | ❌ | ❌ | ❌ | ❌ |
| Oxylabs | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ❌ |
| Scrapingdog | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| Newsdata.io | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (premium) | ✅ | ✅ | ✅ (premium) |
Il dato più interessante qui è che Thunderbit può estrarre il testo completo dell’articolo tramite lo Scraping delle sottopagine e aggiungere campi arricchiti dall’AI, come il sentiment, nello stesso passaggio. Anche Newsdata.io offre sentiment e testo completo, ma tramite una API news dedicata e non tramite scraping di Google News. La maggior parte delle API SERP restituisce solo ciò che è visibile nella pagina elenco di Google News: titoli, snippet e link.
Costo normalizzato per 1.000 risultati
Questa è la tabella che avrei voluto avere quando stavo valutando gli strumenti e non riuscivo a trovarla da nessuna parte. Ogni fornitore usa un modo diverso di presentare i prezzi, quindi ho normalizzato tutto al costo per 1.000 risultati riusciti al livello a pagamento più basso.
| Strumento | Piano gratuito | Piano a pagamento più basso | Costo ~ per 1K risultati | Note |
|---|---|---|---|---|
| Thunderbit | 6 pagine gratis / prova: 10 pagine | Da circa 9 $/mese (basato su crediti) | ~$6–$30 | 1 credito = 1 riga; estrazione AI inclusa |
| SerpApi | 250 ricerche/mese | 75 $/mese (5.000 ricerche) | ~$15 | JSON strutturato, endpoint Google News |
| ScraperAPI | 1.000 crediti/mese | 49 $/mese (100K crediti) | ~$0,49 | Nessun parser dedicato a Google News |
| Apify | Prova di 7 giorni | 49 $/mese | Variabile | Dipende da actor e compute |
| Bright Data | 1K richieste di prova | Pay-as-you-go | Circa $1,30–$2,50 | Di livello enterprise, dataset disponibile |
| Octoparse | Piano gratuito (limitato) | $69/mese | ~$9–$25 | Template cloud: $0,1/1K righe (base) |
| ScrapingBee | Crediti di prova | 49 $/mese | Variabile (il JS costa di più) | A crediti, senza parser dedicato |
| Oxylabs | Fino a 2.000 risultati | Piano Micro | ~$1,00–$2,35 | Geotargeting, JSON strutturato |
| Scrapingdog | 1.000 crediti | 40 $/mese | ~$0,10 | Scelta economica, endpoint News dedicato |
| Newsdata.io | 200 richieste/giorno | 99,99 $/mese | Variabile in base al piano | Non fa scraping diretto di Google; funzioni NLP |
Alcuni takeaway. Scrapingdog è di gran lunga l’opzione più economica per richiesta, ma restituisce solo dati a livello SERP (niente testo completo). Bright Data e Oxylabs sono a metà strada sul costo, ma offrono l’infrastruttura anti-bot più solida. Thunderbit è più costoso per riga rispetto alle API più economiche, ma è l’unico strumento che offre estrazione completa degli articoli più arricchimento AI senza scrivere codice.
Quale Google News scraper dovresti scegliere?
Il mio consiglio in base allo scenario:
- Ti servono solo titoli per il monitoraggio, budget basso? → Scrapingdog o il piano gratuito di Newsdata.io
- Utente non tecnico che ha bisogno di testo completo + arricchimento? →
- Sviluppatore che sta costruendo una pipeline news strutturata? → SerpApi (migliore copertura dei campi) o Scrapingdog (miglior prezzo)
- Enterprise, alto volume, geotargeting? → Bright Data o Oxylabs
- Vuoi un workflow desktop visuale? → Octoparse
- Ti servono dati news oltre Google News con funzioni NLP? → Newsdata.io
- Hai bisogno del livello proxy/rendering generico più economico? → ScraperAPI
Lo strumento giusto dipende da tre fattori: il tuo livello tecnico, il volume di cui hai bisogno e se ti servono solo i titoli o il contenuto completo degli articoli. Se non sei sicuro, parti da un piano gratuito—quasi tutti questi strumenti ne offrono uno—e verifica quanto regge la qualità dei dati per il tuo caso d’uso specifico.
Se vuoi provare il percorso no-code più veloce, il piano gratuito di Thunderbit ti permette di fare scraping dei risultati di Google News in un paio di clic ed esportare direttamente in Google Sheets o Airtable. Per una guida passo passo, dai un’occhiata al nostro o al .
E che i tuoi titoli siano sempre strutturati, i CAPTCHA pochi e le tue esportazioni pulite.
FAQ
Google ha un’API ufficiale per News?
No. Google e non l’ha mai sostituita. L’opzione ufficiale più vicina è la Custom Search JSON API, che offre 100 query gratuite al giorno e costa 5 $ ogni 1.000 query, ma richiede un motore di ricerca personalizzato configurato e non è un prodotto dedicato a Google News. Qualsiasi strumento che oggi si presenti come “Google News API” è un servizio di terze parti.
Posso usare i feed RSS di Google News invece di uno scraper?
Sì, per casi d’uso semplici. I feed RSS di Google News forniscono titoli e link gratuitamente, ma sono limitati a circa 100 risultati, non offrono il testo completo degli articoli e hanno opzioni di filtro minime. Se ti servono dati più ricchi—contenuto completo, nomi degli autori, analisi del sentiment o più di 100 risultati—ti servirà uno scraper o una API dedicata da questa lista.
Come ottengo il testo completo degli articoli dai risultati di Google News?
Gli elenchi di Google News mostrano solo titoli e snippet. Per ottenere il contenuto completo, ti serve uno strumento che segua il link dell’articolo ed estragga il contenuto della pagina. Lo Scraping delle sottopagine di Thunderbit lo fa automaticamente dopo aver estratto la pagina elenco di Google News. Gli strumenti API come Newsdata.io offrono il testo completo nei piani premium. La maggior parte delle API SERP (SerpApi, Scrapingdog, Oxylabs) restituisce solo ciò che è visibile nella pagina elenco.
È legale fare scraping di Google News?
Estrarre dati visibili pubblicamente non è generalmente considerato accesso non autorizzato secondo la legge statunitense (in base al precedente ), ma questo non significa che sia sempre conforme alle policy. I termini di servizio di Google scoraggiano le query automatiche e Google mostra attivamente quando rileva traffico simile a quello dei bot. Gli utenti dovrebbero attenersi ai dati pubblicamente disponibili, rispettare il copyright sul testo degli articoli e consultare un legale per casi d’uso su scala commerciale.
Cosa manda più spesso in crisi i Google News scraper?
I soliti colpevoli sono il rilevamento delle query automatizzate (CAPTCHA ed errori 429), la deriva di localizzazione (risultati diversi per paese/lingua), le pagine di consenso e interstitial, le modifiche al markup delle card delle notizie e la normalizzazione degli URL di redirect. Il livello dati più stabile è il metadato dell’articolo (titolo, fonte, data, URL). Il meno stabile è la superficie di presentazione: clustering delle storie, miniature e organizzazione delle sezioni cambiano spesso.
Scopri di più