Rezepte
News-Aggregator
Aggregiere Schlagzeilen aus mehreren Nachrichtenquellen mit zwei Batch-Durchläufen
Zwei-Pass-Design: Distilliere die Startseite jeder Quelle, um Artikel-URLs zu finden, und extrahiere dann strukturierte Headline-Datensätze aus diesen URLs.
Ablauf
- Pass 1 —
/batch/distillauf der Startseite jeder Quelle mitinclude: ["links"] - Gefundene Links nach Muster filtern (z. B. heutiges Datum, Artikelpfade)
- Pass 2 —
/batch/extractauf den gefilterten URLs mit einem Headline-Schema - Webhook feuert, sobald beide Pässe abgeschlossen sind; in deinen Speicher aufnehmen
Schema
{
"type": "object",
"properties": {
"title": { "type": "string", "description": "The article headline" },
"url": { "type": "string", "description": "Canonical article URL" },
"publishedAt": { "type": "string", "description": "ISO-8601 publish timestamp" },
"summary": { "type": "string", "description": "1-2 sentence summary" }
},
"required": ["title", "url"]
}Implementierungsskizze
import httpx
API = "https://openapi.thunderbit.com/openapi/v1"
H = {"Authorization": "Bearer YOUR_API_KEY"}
# Pass 1: distill homepages, collect article URLs
sources = ["https://news.example.com", "https://blog.example.org"]
home_job = httpx.post(f"{API}/batch/distill",
headers=H,
json={"urls": sources, "include": ["links"]}).json()
# (poll until COMPLETED — see Batch Job Lifecycle guide)
article_urls = []
for r in home_job["data"]["results"]:
if r["status"] == "SUCCEEDED":
article_urls += [u for u in r["links"] if "/article/" in u]
# Pass 2: extract structured headlines
extract_job = httpx.post(f"{API}/batch/extract",
headers=H,
json={"urls": article_urls, "schema": SCHEMA}).json()Tipps
- Cache Startseiten-Ergebnisse (5–10 Min. TTL), um keine Credits für dieselben Schlagzeilen zu verbrennen
- Setze einen
countryCode, wenn eine Quelle ihre Startseite per IP lokalisiert - Dedupliziere per kanonischer URL oder Content-Hash — dieselbe Schlagzeile taucht oft bei mehreren Quellen auf
Verwandt
Dieses Rezept wird um einen vollständigen Zwei-Pass-Orchestrator erweitert — bald wieder vorbeischauen.