Uma redação em algum lugar publica uma matéria a cada poucos segundos, um concorrente solta um press release à meia-noite e um documento regulatório que você realmente precisa ver acabou de ficar enterrado na página quatro do site de uma agência pública. Ninguém foi contratado para ficar de babá de dezenas de abas do navegador. É exatamente por isso que "news scraper" virou uma categoria de produto de verdade — e também por isso que a maioria dos guias de compra sobre o tema é meio inútil.
O problema que eu mais encontrei pesquisando isso foi o seguinte: a maioria dos compilados de "melhor news scraper" escolhe um caminho e fica nele. Um artigo lista só ferramentas SaaS no-code. Outro cobre apenas bibliotecas Python, como se todo leitor do planeta soubesse criar um spider no Scrapy. Nenhuma dessas abordagens ajuda quem está tentando entender se precisa de uma extensão de navegador, de uma API key ou de um fim de semana com pip install. Então esta lista organiza as dez ferramentas em três caminhos — no-code/agentic, API gerenciada e biblioteca de código — e deixa você escolher com base no seu nível real de habilidade e na quantidade de fontes que precisa monitorar, e não em quem pagou para ficar no topo.
O que define o melhor news scraper em 2026?
Seis pontos realmente importam aqui, e é com eles que estou avaliando cada item abaixo:
- Aderência à categoria — é uma ferramenta de clique e uso, uma API gerenciada que cuida da infraestrutura ou uma biblioteca de código para construir em cima?
- Facilidade para não engenheiros — isso aparece o tempo todo em fóruns pedindo "um web data scraper que um não engenheiro consiga usar de verdade", e não é um nicho pequeno.
- Capacidade de escalar — aguenta 20, 100 ou 1.000 fontes de notícias sem alguém reescrever regras manualmente para cada uma?
- Tratamento honesto de anti-bot e renderização JS — não o marketing de "bypass garantido", e sim o que realmente acontece quando um site joga JavaScript, CAPTCHA ou paywall no caminho.
- Modelo de preço — assinatura, créditos ou pagamento por requisição, e se a economia por unidade faz sentido para o volume de um monitoramento de notícias.
- Opções de exportação — CSV, JSON, Sheets, Airtable, webhook, o que for preciso para levar os dados até onde eles devem ir.
Se uma ferramenta não consegue passar na maior parte desses critérios para um caso de monitoramento de notícias, não importa quantas estrelas ela tenha no GitHub.
No-code vs API vs código: qual caminho de news scraper combina com você?
Muitas listas de "top 10" misturam essas três categorias como se elas competissem pelo mesmo trabalho. Não competem.
Ferramentas no-code/agentic são para usuários de negócios — vendas, operações, pesquisa, marketing — que precisam de uma tabela com títulos e links sem encostar em uma linha de código. APIs gerenciadas são para desenvolvedores que não querem operar proxy ou browser headless por conta própria; eles enviam uma URL, recebem HTML ou JSON e constroem o restante do fluxo em cima disso. Bibliotecas e frameworks de código são para engenheiros que querem controle total sobre crawl, parsing, retries e todo o resto — com o custo de assumir toda a manutenção.
Thunderbit é um bom exemplo de como a rota no-code funciona no dia a dia. A extensão Thunderbit Chrome extension opera com um fluxo chamado One Click Extract — você clica, a ferramenta lê a página e entende o que tem ali, então mostra Run Now. Se você clicar, a extração começa na hora. Se você não fizer nada, ela começa sozinha depois de alguns segundos. Não há seletor para escrever, nem esquema para definir antes. Isso responde diretamente à reclamação sobre "scraper para não engenheiros" que aparece o tempo todo em fóruns — embora, como qualquer ferramenta desta lista, ela só funcione em páginas às quais você tem acesso autorizado, e não é um dispositivo para vencer paywalls.
Para uma visão mais ampla de como essa categoria evoluiu, eu apontaria também nosso resumo sobre AI web scraping e sobre o que "no-code" realmente quer dizer quando um scraper faz essa promessa.
Antes de tudo: já existe um RSS feed ou News API?
Antes de construir ou pagar por qualquer coisa, verifique se o publisher já disponibiliza os dados gratuitamente. Parece óbvio. E mesmo assim muita gente pula essa etapa.
A maioria dos sites de notícias ainda oferece feeds RSS ou Atom, que podem ser descobertos por meio das tags padrão <link rel="alternate"> definidas na especificação HTML do WHATWG — e a própria especificação RSS 2.0 já existe há tanto tempo que, em muitos países, provavelmente poderia beber legalmente. O sitemap.xml de um publisher, seguindo o protocolo Sitemaps, também pode fornecer um inventário limpo das URLs dos artigos sem tocar em um único menu de navegação.
Além de publishers individuais, existem algumas opções agregadoras:
- NewsAPI — uma API comercial de agregação de notícias com um plano gratuito para desenvolvimento e planos pagos para produção; confira os termos antes de publicar qualquer coisa construída sobre o plano gratuito.
- GDELT — um enorme conjunto de dados global de notícias e eventos, gratuito e de primeira mão, com uma API DOC 2.0. É realmente útil para descoberta e análise de tendências, embora o próprio projeto publique orientações sobre limitação de taxa, então não o trate como um fluxo infinito.
A raspagem continua sendo a escolha certa quando uma fonte não tem feed, o feed não traz os campos de que você precisa (texto completo, por exemplo) ou quando você está monitorando tantas fontes que precisa de um pipeline unificado em vez de dez formatos diferentes. Só confira antes. É o investimento de dez minutos mais barato desse projeto inteiro.
As melhores ferramentas de news scraping em resumo
As unidades de preço aqui não são comparáveis de forma direta — créditos, "requisições bem-sucedidas", unidades de computação e assinaturas fixas medem coisas diferentes. Verifique os valores atuais antes de aprovar orçamento.
| Ferramenta | Categoria | Ideal para | Tratamento de JS/anti-bot | Precisa programar | Modelo de preço |
|---|---|---|---|---|---|
| Thunderbit | No-code / agentic | Não engenheiros que precisam extrair rapidamente páginas de notícias abertas | Compatível em páginas autorizadas e compatíveis; sem garantia em paywalls difíceis | Nenhum | Plano gratuito + planos pagos por crédito, veja a precificação atual |
| Octoparse | Raspador visual no-code | Fluxos de clique e uso com modelos prontos | Navegador embutido, configuração manual de AJAX | Nenhum a baixo | Plano gratuito + níveis de assinatura |
| Apify | Plataforma de Actors | Desenvolvedores que querem raspadores prontos e personalizados em escala | Específico por Actor (varia conforme o Actor) | Baixo a médio | Crédito mensal gratuito + níveis de assinatura |
| Bright Data | API/proxy gerenciado | Raspagem em escala enterprise com recorte regional | Web Unlocker + Browser API separada | Médio | Pagamento por uso + níveis por volume |
| ScraperAPI | API gerenciada | Chamadas simples de API para HTML/JS rendering | Renderização opcional, rotação de proxy | Baixo (chamada de API) | Planos por crédito |
| Oxylabs | API/proxy gerenciado | Necessidades enterprise de proxy em alto volume | Renderização + instruções de navegador | Médio | Preços por resultado |
| Crawlbase | API gerenciada | Sites pesados em JS, extração voltada a artigos | Renderização por token JS + proxies | Baixo (chamada de API) | Franquia gratuita + preços dinâmicos por domínio |
| Scrapy | Framework de código | Crawlers Python personalizados e de alto controle | Manual (precisa de middleware/integração com navegador) | Alto | Gratuito, open source |
| Beautiful Soup | Biblioteca de código | Parsing leve de HTML para páginas estáticas | Nenhum (use junto com Requests) | Alto | Gratuito, open source |
| Selenium | Biblioteca de automação de navegador | Páginas renderizadas por JS ou protegidas por login | Execução em navegador real; sem bypass de CAPTCHA | Alto | Gratuito, open source |
1. Thunderbit: melhor news scraper no-code para não engenheiros
Thunderbit é uma ferramenta de extração agentic baseada em navegador, criada para usuários de negócios — equipes de vendas, pesquisa e operações — e não para desenvolvedores em busca de um pipeline customizado. O fluxo é propositalmente simples: clique em One Click Extract, deixe a página ser lida e depois toque em Run Now (ou não — ela começa sozinha depois de alguns segundos de qualquer forma).
Principais recursos:
- Não exige seletores, esquema ou mapeamento de campos antes de começar a extração
- Suporta paginação e enriquecimento de subpáginas em páginas compatíveis, útil para o padrão de página de categoria para artigo
- Exportação para Excel, Google Sheets, Airtable ou Notion
- Uma Open API separada para equipes que mais tarde ultrapassam o fluxo do navegador
A cobrança inclui um plano gratuito e planos pagos baseados em créditos — confira a página de preços atual, já que a quantidade de créditos e os limites de páginas mudam com o tempo. A API separada tem sua própria estrutura de preços, então não presuma que créditos da extensão e unidades da API sejam intercambiáveis.
Ideal para: pesquisador ou analista que precisa de uma tabela limpa com dados de notícias hoje, e não de um pipeline governado de ingestão daqui a seis semanas.
Prós e contras
Prós: não exige código, configuração rápida, adapta-se ao layout da página sem refazer seletores manualmente, exporta direto para as ferramentas que os times já usam.
Contras: não foi feito para desenvolvedores que querem controle granular das requisições ou lógica customizada de crawl. Como qualquer ferramenta desta lista, ele encontra um limite em paywalls difíceis e páginas protegidas por CAPTCHA — não existe mágica, e nem deveria existir. Para equipes comparando isso com configurações totalmente manuais, nosso artigo sobre web scraping sem código aprofunda esses trade-offs.
2. Octoparse: melhor news scraper visual de clique e uso
Octoparse oferece a quem não programa uma tela visual para montar fluxos de scraping — cliques, loops, regras de paginação e condições de espera — dentro de um navegador embutido. Ele fica um degrau acima das ferramentas agentic em controle manual, e um degrau abaixo dos frameworks de código em complexidade.
Principais recursos:
- Navegador embutido executa JavaScript e lida com conteúdo carregado via AJAX, embora o timing muitas vezes exija configuração manual
- Uma biblioteca de templates que inclui a categoria News & Media e um template dedicado da CNN
- Execuções locais para testes, além de agendamento na nuvem para tarefas recorrentes
- O plano gratuito permite uso local com até 50.000 linhas exportadas por mês em tarefas personalizadas elegíveis
A troca aqui é manutenção: como os fluxos codificam cliques e seletores específicos, uma mudança no layout do publisher pode quebrar um loop ou um campo do mesmo jeito que quebraria uma regra escrita no Scrapy. A precificação inclui um nível gratuito local, o Standard por US$ 83/mês (ou US$ 69/mês no anual) com três processos simultâneos na nuvem, e o Pro por US$ 299/mês (ou US$ 249/mês no anual) com 20 processos simultâneos na nuvem.
Ideal para: não programadores que querem mais controle explícito sobre a interação com a página do que uma ferramenta totalmente automática oferece, e que não se importam com alguma manutenção ocasional dos templates.
3. Apify: melhor plataforma de scraping baseada em Actors para desenvolvedores
Apify funciona com o que chama de Actors — programas de scraping empacotados e hospedados com entradas e saídas definidas. Alguns são mantidos pela própria Apify, outros pela comunidade, e você também pode criar os seus. Isso faz da plataforma menos um produto único e mais um marketplace, o que tem vantagens e desvantagens.
Principais recursos:
- O Website Content Crawler mantido pela empresa gera saída limpa em texto/Markdown, adequada para busca ou pipelines de LLM
- Existem Actors da comunidade para Google News, úteis para descoberta, mas a confiabilidade e o preço variam conforme o mantenedor — verifique o Actor exato antes de depender dele
- Agendamento, webhooks e gatilhos via API para tarefas recorrentes
- Exportação de datasets em JSON, CSV, XML, Excel, HTML, RSS e JSONL
A precificação começa gratuita com US$ 5 de uso mensal incluído, depois Starter por US$ 29/mês, Scale por US$ 199 e Business por US$ 999 — além de custos de computação por uso e custos específicos por Actor. O gasto total depende muito dos Actors usados e de eles rodarem ou não um navegador completo por baixo dos panos.
Ideal para: equipes técnicas confortáveis em avaliar e trocar componentes, em vez de comprar um endpoint fixo único.
4. Bright Data: melhor infraestrutura enterprise de proxy para news scraping
Bright Data é melhor entendida como uma stack do que como um produto único. Os conjuntos de dados de descoberta cuidam da busca, o Web Unlocker cuida da coleta de páginas públicas com roteamento e gestão de acesso, e o Browser API fornece um navegador remoto para páginas pesadas em JavaScript. Não existe uma "News Scraper API" universal — você combina peças.
Principais recursos:
- Geotargeting amplo para acessar edições específicas por região
- Produtos separados para coleta e browser completo, permitindo que o time aumente o custo só onde for necessário
- Entrega via API e webhook para integração com pipelines
A precificação do Web Unlocker inclui 5.000 requisições gratuitas por mês e, depois, pagamento por uso a US$ 1,50 por 1.000 requisições bem-sucedidas (um plano de US$ 499/mês reduz isso para US$ 1,30/1.000 com 383.000 incluídas). O Browser API cobra por banda — a partir de US$ 8/GB no pay-as-you-go. Vale notar: os próprios termos da Bright Data definem "sucesso" pelo status da resposta, e não pela validade do artigo, então faça o orçamento com isso em mente.
Ideal para: equipes enterprise que já possuem lógica de extração e validação e precisam de uma infraestrutura robusta de roteamento por baixo.
5. ScraperAPI: melhor API simples para escalar requisições de notícias
ScraperAPI é a API gerenciada de coleta mais direta deste grupo. Envie uma URL e receba HTML, texto ou Markdown, com renderização opcional de JavaScript e roteamento geográfico no meio do caminho.
Principais recursos:
render=trueaciona o Chrome headless para páginas renderizadas no cliente- Existem parsers nativos para alguns alvos específicos (resultados de busca do Google News, por exemplo), embora não exista um parser universal para artigos de publishers
- DataPipeline suporta jobs agendados e low-code que aceitam até 10.000 URLs por execução
- Batch requests lidam com até 50.000 URLs de forma assíncrona
A precificação começa gratuita com 1.000 créditos, depois Hobby por US$ 49/mês (100.000 créditos, 20 concorrências, apenas EUA/UE), chegando até Business por US$ 299/mês (3 milhões de créditos, roteamento global). Um ponto importante: o custo em créditos varia conforme o tipo de requisição — uma página padrão custa 1 crédito, mas renderização JavaScript custa 10, e uma requisição premium com renderização pode custar 25. Uma pilha de 404s pode consumir sua cota mensal sem chamar atenção.
Ideal para: desenvolvedores que querem uma substituição direta para requisições HTTP sem precisar gerenciar proxy ou infraestrutura de navegador por conta própria.
6. Oxylabs: melhor serviço enterprise de proxy em alto volume
Oxylabs oferece uma das superfícies de fluxo mais amplas entre as APIs gerenciadas desta lista: coleta universal de URLs, renderização opcional, instruções de navegador para cliques e esperas, parsing customizado e um agendador embutido com sintaxe cron.
Principais recursos:
- Alvo universal para qualquer URL pública, além de um parser dedicado para busca no Google News
- Códigos de resposta detalhados que distinguem sucesso total de conteúdo parcial ou ausente — genuinamente mais úteis do que um simples status HTTP
- Entrega em nuvem para S3, GCS e outros object storage
- O próprio agendador avisa explicitamente que schedules não testados podem gerar gasto rápido, o que é uma honestidade rara em páginas de preço
A precificação inclui teste grátis (até 2.000 resultados), Micro por US$ 49/mês, Starter por US$ 99/mês e Business por US$ 999/mês, com os valores por resultado caindo conforme o volume aumenta. Um detalhe: a Oxylabs atualmente conta respostas 4xx como resultados "bem-sucedidos" cobrados, então uma página que não retorna nada útil ainda pode custar dinheiro.
Ideal para: empresas que precisam de coleta com flexibilidade geográfica e alto throughput, e que aceitam gerenciar uma superfície de API mais complexa.
7. Crawlbase: melhor API para parsing de sites de notícias pesados em JS
Crawlbase aposta mais em saída amigável para artigos do que a maioria das APIs gerenciadas desta lista. Sua Crawling API oferece um token normal para conteúdo estático e um token JavaScript para renderização completa no navegador, além de um modo de legibilidade.
Principais recursos:
md_readability=trueretorna Markdown removendo navegação comum, barras laterais e ruído de anúncios, tentando preservar o artigo principal- Um Generic Extractor para extrair conteúdo, título e metadados de forma agnóstica ao site
- Seletores de clique, scroll e controles de espera para páginas interativas em JS
- O Enterprise Crawler adiciona uma fila assíncrona com retries por até 48 horas — ótimo para backfills, menos ideal para alertas de breaking news
A precificação inclui até 20.000 requisições gratuitas; depois disso, o custo depende da complexidade do domínio de destino em vez de uma tarifa única — confira a calculadora com suas fontes reais de notícias antes de fechar orçamento. O suporte assíncrono direto está documentado atualmente como específico do LinkedIn, a menos que o suporte o habilite em outro lugar, então não presuma que isso vale para qualquer domínio de publisher.
Ideal para: equipes que querem saída renderizada e focada em artigos sem construir do zero o próprio parser de legibilidade.
8. Scrapy: melhor framework de código para crawlers de notícias personalizados
Scrapy é a melhor opção desta lista para engenheiros que realmente querem ser donos de um crawler. É um framework Python, atualmente na versão 2.17.0, que já cuida de agendamento de requisições, deduplicação, retries, cookies e pipelines.
Principais recursos:
- Seletores CSS e XPath via Parsel para extração precisa
- AutoThrottle e controles de concorrência por domínio para um crawl mais educado
- Hooks de middleware para proxies, headers e lógica customizada de retry
- Seu próprio guia de conteúdo dinâmico recomenda checar JSON embutido ou dados estruturados antes de partir para uma integração completa com navegador
Preço: gratuito, open source, sem taxa por requisição. O custo real está em compute, deploy e na escala de plantão de alguém. As requisições normais do Scrapy não executam JavaScript, então sites pesados em JS precisam de um complemento como scrapy-playwright — e vale notar que a própria documentação do Scrapy desencoraja dirigir um navegador headless diretamente dentro de um spider, porque isso pode contornar middleware e deduplicação.
Ideal para: equipes de engenharia construindo um crawler de longa duração, multi-domínio, que pretendem possuir e manter por conta própria.
9. Beautiful Soup: melhor biblioteca leve para páginas de notícias estáticas
Beautiful Soup é um parser, não um crawler — uma distinção que muita lista de "melhor scraper" acaba achatando. Ele pega HTML ou XML que outra ferramenta já buscou e transforma isso em uma árvore navegável. Atualmente está na versão 4.15.0 no PyPI.
Principais recursos:
- Suporta múltiplos parsers (
html.parser,lxml,html5lib) com trade-offs diferentes de velocidade e tolerância, segundo a documentação oficial - Suporte a seletores CSS via Soup Sieve para uma sintaxe familiar
- Normalmente usado junto com a biblioteca Requests para a etapa real de coleta HTTP
- Excelente para analisar JSON-LD embutido ou metadados Open Graph já presentes no HTML inicial da página
Preço: gratuito, open source. Mas ele não traz networking, retries, rotação de proxy nem execução de JavaScript — nada disso é responsabilidade dele. É a ferramenta certa quando o time já tem markup permitido em mãos e só precisa extrair campos estruturados dele.
Ideal para: engenheiros montando um pipeline pequeno a médio em que outro componente já faz a coleta.
10. Selenium: melhor automação de navegador para notícias renderizadas em JS ou com login
Selenium controla navegadores reais, o que o torna a escolha certa quando o conteúdo só existe de fato depois que o JavaScript roda, ou quando a tarefa exige uma sessão autorizada e autenticada. Atualmente está na versão 4.47.0.
Principais recursos:
- O Selenium Manager descobre e armazena automaticamente drivers compatíveis, reduzindo a fricção na configuração
- Estratégias de espera explícita ligadas a condições da página em vez de pausas fixas, algo muito importante em sites de notícias modernos que continuam injetando conteúdo após o carregamento inicial
- Suporte a Chrome headless via
--headless=newpara execuções no servidor - Pode operar dentro de uma sessão de login autorizada quando os termos do publisher permitem automação
Preço: gratuito, open source — mas o custo de compute do navegador, containers e manutenção de drivers é real, e rodar uma instância de navegador por artigo é a arquitetura errada para qualquer coisa além de uma fila pequena de exceções. A própria documentação de testes do Selenium desaconselha explicitamente a automação de CAPTCHA, o que é uma honestidade refrescante vindo de uma ferramenta que muita gente imagina conseguir forçar qualquer barreira.
Ideal para: uma camada de escalonamento pontual para páginas dependentes de JS ou de sessão autorizada — não um transporte padrão para centenas de artigos comuns.
Escalando para 100 a 1.000+ fontes de notícias: por que seletores fixos quebram
Regras CSS e XPath codificam uma suposição: "o título está nesta classe". Essa suposição se mantém até o dia em que o publisher redesenha a página, faz um teste A/B de layout ou migra o CMS — e, nesse momento, a regra quebra em silêncio ou, pior, devolve o conteúdo errado sem avisar. Um scraper pode reportar sucesso enquanto captura um teaser de matérias relacionadas em vez do corpo real, ou o horário da atualização em vez da data original de publicação. Esse é um modo de falha muito mais perigoso do que um resultado vazio, porque ninguém percebe até alguém tomar uma decisão com base em dados ruins.
Ferramentas baseadas em seletores estáticos — Scrapy, Beautiful Soup, plataformas no-code com templates — herdam esse problema. A detecção de campos por IA ou agentic, como a que Thunderbit e ferramentas parecidas usam, reduz a dependência de nomes exatos de classe ao reanalisar a estrutura da página a cada execução em vez de depender de uma regra codificada. Isso é uma vantagem real em escala. Mas não é uma garantia sem manutenção — apenas troca um julgamento probabilístico por um determinístico, o que substitui um tipo de erro por outro.
Em escala real (100 a 1.000+ fontes), a solução não é escolher uma ferramenta mágica. É criar um registro de fontes: quais sites têm feeds, quais exigem scraping de HTML, quais campos são esperados, limites de taxa por domínio e um caminho de quarentena para qualquer coisa que devolva uma página de desafio em vez de um artigo. Feeds primeiro, metadados estruturados em segundo, extração genérica ou por IA em terceiro, regras específicas por fonte apenas para exceções de maior valor, e renderização de navegador reservada para páginas que realmente precisam dela. A própria documentação de conteúdo dinâmico do Scrapy argumenta basicamente a mesma coisa — verifique dados estruturados antes de recorrer a um navegador.
Anti-bot e renderização JS: o que cada abordagem pode — e não pode — fazer
O marketing nesse setor costuma misturar cinco problemas completamente diferentes em um só: renderização no cliente, estados de interação (cliques, scroll, banners de consentimento), controles de taxa de tráfego, exigências de autenticação e direitos de licenciamento do conteúdo. Só os dois primeiros são, de fato, problemas de renderização. O resto não tem nada a ver com JavaScript.
Aqui vai o resumo honesto, ferramenta por ferramenta: rotação de proxy (Bright Data, Oxylabs) muda o roteamento e pode reduzir atritos com rate limiting, mas não cria permissão onde ela não existe. Renderização gerenciada (Crawlbase, ScraperAPI) executa JavaScript para que o conteúdo renderizado no cliente apareça, mas uma página renderizada ainda pode devolver uma parede de login ou uma solicitação de assinatura — renderizar só torna o desafio visível, não o elimina. Automação com navegador headless (Selenium) pode conduzir interações reais, mas a própria documentação do Selenium é direta ao dizer que ele não foi construído para automatizar a passagem por CAPTCHAs. O tratamento de renderização e acesso do Thunderbit funciona do mesmo jeito — apenas em páginas compatíveis e autorizadas, sem nenhuma pretensão de quebrar paywalls pesados, como os de grandes veículos por assinatura.
Nenhuma das dez ferramentas deste artigo garante acesso através de CAPTCHA, login wall ou paywall. Quem disser o contrário está vendendo algo que não existe. Se você continuar batendo em uma barreira, a medida certa é encontrar um feed oficial, uma API ou um acordo de licenciamento — não escalar a agressividade da raspagem.
É legal raspar conteúdo de notícias? Direitos autorais e termos de uso
Isto não é aconselhamento jurídico, e os resultados realmente variam conforme a jurisdição e o caso de uso — mas vale conhecer alguns limites antes de construir qualquer coisa.
Fatos não têm direitos autorais; a forma de expressão, em geral, tem. O Circular 33 do U.S. Copyright Office e a 17 U.S.C. §102 traçam essa linha com clareza. Um fato relatado em uma matéria não é protegido só porque um publisher o publicou primeiro — mas a redação, a estrutura e as fotos originais do publisher normalmente são. Essa distinção é muito importante para news scraping, já que conteúdo jornalístico (ao contrário de um conjunto de dados aberto ou de um diretório comercial) quase sempre é protegido em sua forma expressa.
O fair use é um teste de fatores, não um limite de contagem de palavras, segundo a 17 U.S.C. §107. O resumo do Copyright Office sobre Associated Press v. Meltwater é um bom alerta aqui: um serviço comercial de monitoramento de notícias que copiava trechos de artigos não foi considerado fair use com base nesses fatos específicos. Isso não é uma proibição geral ao monitoramento — é um lembrete de que "estamos só indexando" não vence automaticamente a discussão.
No lado do direito de acesso, a decisão do Ninth Circuit em hiQ Labs v. LinkedIn e a decisão da Suprema Corte em Van Buren reduziram o alcance do Computer Fraud and Abuse Act — mas nenhuma delas concede uma licença geral para ignorar os termos de uso de um publisher ou derrotar controles técnicos de acesso. E o robots.txt, padronizado pelo RFC 9309, é descrito explicitamente como um protocolo, não como um mecanismo de segurança — respeitá-lo é boa prática, mas isso também não equivale a um sinal verde legal em qualquer direção.
Boas práticas na vida real: foque em dados publicamente acessíveis, evite republicar o texto completo de artigos, mantenha a atribuição da fonte e os links canônicos intactos e envolva um advogado antes de raspar qualquer coisa atrás de paywall ou de construir um produto que redistribua artigos completos em escala.
Qual news scraper você deve escolher?
Se você não é engenheiro e precisa de uma tabela com títulos até amanhã, comece
Saiba mais
