Boas Práticas | Thunderbit API

Faça cache agressivamente. Respostas do Distill são determinísticas para páginas estáticas — faça cache do markdown por hash de URL no seu lado e ignore o cache com forceRefresh: true apenas quando precisar de dados frescos.
Use include em vez dos booleans legados. includeHtml: true e extractLinks: true ainda funcionam; o novo array include: ["metadata", "links"] é composável e mais claro em code review.
Prefira batch a loops. Um batch de 50 URLs retorna um Job ID; 50 chamadas individuais ao /distill queimam rate limit e concorrência.
Use webhooks para jobs >10 URLs. Polling a cada 5 segundos para um job de 5 minutos desperdiça ~60 round-trips. Veja Webhooks.
Espere apenas quando necessário. waitFor: 2000 dobra seu orçamento de latência — use só para SPAs que hidratam devagar.
Fixe um countryCode ao raspar sites geo-aware (preço, resultados de busca, e-commerce). O padrão é US.
Comece com renderMode: "none" e suba para basic ou full apenas se a página retornar vazia — a maioria das páginas não precisa de browser headless. Veja Modos de Renderização.
Seja específico em schemas. descriptions de campos são lidas pela IA; "product MSRP in USD before discount" extrai com mais confiabilidade do que "price". Veja Design de Schema.
Faça handlers de Webhook idempotentes. Um Webhook pode disparar mais de uma vez para o mesmo Job ID sob partição de rede.