Thunderbit Open API home page
SuporteConsole API
Receitas

Agregador de Notícias

Agregue manchetes de várias fontes de notícias com duas passagens em lote

Design em duas passagens: aplique Distill na homepage de cada fonte para descobrir URLs de artigos, depois aplique Extract para gerar registros estruturados de manchetes a partir dessas URLs.

Fluxo

  1. Passagem 1 — /batch/distill na homepage de cada fonte com include: ["links"]
  2. Filtre os links descobertos por padrão (ex.: data de hoje, caminhos de artigo)
  3. Passagem 2 — /batch/extract nas URLs filtradas com um JSON Schema de manchetes
  4. Webhook dispara quando ambas as passagens concluírem; ingira no seu store

Schema

{
  "type": "object",
  "properties": {
    "title":       { "type": "string", "description": "The article headline" },
    "url":         { "type": "string", "description": "Canonical article URL" },
    "publishedAt": { "type": "string", "description": "ISO-8601 publish timestamp" },
    "summary":     { "type": "string", "description": "1-2 sentence summary" }
  },
  "required": ["title", "url"]
}

Esboço de implementação

import httpx

API = "https://openapi.thunderbit.com/openapi/v1"
H = {"Authorization": "Bearer YOUR_API_KEY"}

# Pass 1: distill homepages, collect article URLs
sources = ["https://news.example.com", "https://blog.example.org"]
home_job = httpx.post(f"{API}/batch/distill",
                      headers=H,
                      json={"urls": sources, "include": ["links"]}).json()
# (poll until COMPLETED — see Batch Job Lifecycle guide)

article_urls = []
for r in home_job["data"]["results"]:
    if r["status"] == "SUCCEEDED":
        article_urls += [u for u in r["links"] if "/article/" in u]

# Pass 2: extract structured headlines
extract_job = httpx.post(f"{API}/batch/extract",
                         headers=H,
                         json={"urls": article_urls, "schema": SCHEMA}).json()

Dicas

  • Faça cache dos resultados das homepages (TTL de 5-10 min) para não gastar créditos com as mesmas manchetes
  • Defina um countryCode se uma fonte localiza a homepage por IP
  • Deduplique por URL canônica ou hash de conteúdo — a mesma manchete costuma aparecer em várias fontes

Relacionados

Esta receita está sendo expandida com um orquestrador completo de duas passagens — volte em breve.

On this page

FluxoSchemaEsboço de implementaçãoDicasRelacionados