Converta uma página web em formato Markdown limpo, pronto para LLM.

• Preparar conteúdo web para RAG (Geração Aumentada por Recuperação)
• Extrair conteúdo de artigos para processamento por IA
• Converter páginas de documentação para markdown
• Processar aplicações web dinâmicas

• Conteúdo markdown limpo com estrutura preservada
• Remoção automática de anúncios, navegação e elementos repetitivos
• Extração de metadados (título, descrição, idioma)
• Renderização JavaScript para conteúdo dinâmico
• Tratamento automático de medidas anti-bot

Retorna markdown otimizado para consumo por LLM com mínimo ruído e máximo sinal.

Request Body

• url (string) *required: A URL da página web a ser destilada
• timeout (number): Tempo limite da requisição em milissegundos (padrão: 30000, máx: 60000)
• waitFor (number): Tempo de espera (em milissegundos) após o carregamento da página para o conteúdo dinâmico renderizar antes de extrair o conteúdo
• includeTags (string[]): Incluir apenas conteúdo destas tags HTML (ex.: ['article', 'main', 'div.content'])
• excludeTags (string[]): Excluir conteúdo destas tags HTML (ex.: ['nav', 'footer', 'aside'])
• headers (object): Cabeçalhos HTTP personalizados para enviar com a requisição

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • url (string): A URL que foi destilada
  • markdown (string): Conteúdo markdown limpo extraído da página
  • html (string): Conteúdo HTML bruto (opcional, apenas se solicitado)
  • metadata (object):
    • title (string): Título da página extraído da tag <title> ou Open Graph
    • description (string): Meta descrição ou resumo
    • language (string): Código de idioma detectado (ISO 639-1)
    • author (string): Autor do artigo, se disponível
    • publishedDate (string): Data de publicação, se disponível
    • image (string): URL da imagem destacada do Open Graph ou Twitter Card
    • sourceURL (string): URL original (pode diferir da URL solicitada devido a redirecionamentos)
    • statusCode (integer): Código de status HTTP da resposta
    • contentLength (integer): Tamanho do conteúdo markdown em caracteres
  • links (object[]): Links encontrados no conteúdo

Example Request

curl 'https://open.thunderbit.com/v1/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/article","timeout":30000,"waitFor":2000,"includeTags":["article","main"],"excludeTags":["nav","footer","aside"],"headers":{"User-Agent":"MyBot/1.0"}}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/article",
    "markdown": "# Article Title\n\nContent...",
    "html": "<article>...</article>",
    "metadata": {
      "title": "string",
      "description": "string",
      "language": "string",
      "author": "string",
      "publishedDate": "2025-01-01T00:00:00Z",
      "image": "string",
      "sourceURL": "string",
      "statusCode": 1,
      "contentLength": 1
    },
    "links": [
      {
        "text": "string",
        "href": "string"
      }
    ]
  }
}

Destile múltiplas páginas web simultaneamente com processamento assíncrono.

• Processar seções ou categorias inteiras de sites
• Importar conteúdo em lote para sua base de conhecimento
• Migração de conteúdo em larga escala
• Atualizações periódicas de conteúdo de múltiplas fontes

• Processamento assíncrono para alto throughput
• Retry automático em falhas
• Notificações via webhook quando concluído
• Relatório detalhado de status e erros por URL

Request Body

• urls (string[]) *required: Lista de URLs para destilar, máximo 100
• timeout (number): Tempo limite por requisição em milissegundos, padrão 30000
• webhook (object): Configuração de callback webhook, notifica quando a tarefa é concluída
  • url (string): URL de callback do webhook, deve ser HTTPS
  • headers (object): Cabeçalhos de callback personalizados, podem ser usados para autenticação

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • id (string): ID da tarefa em lote
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["https://example.com/page1","https://example.com/page2"],"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "processing",
    "total": 3,
    "completed": 0,
    "creditsUsed": 0
  }
}

Verifique o status e recupere os resultados de uma tarefa de destilação em lote.

• processing: A tarefa está em execução
• completed: Todas as URLs foram processadas
• failed: A tarefa encontrou um erro fatal

• Consulte a cada 5-10 segundos para tarefas com <10 URLs
• Consulte a cada 30-60 segundos para tarefas maiores
• Use webhooks para maior eficiência

Você pode recuperar resultados concluídos enquanto a tarefa ainda está em processamento. O array results conterá todas as URLs processadas até o momento.

Parameters

• id (string) *required: ID da tarefa em lote

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "markdown": "string",
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}

Extraia dados estruturados de páginas web usando IA. Defina a estrutura de saída desejada com JSON Schema, e nossa IA extrairá as informações de forma inteligente.

• Extrair informações de produtos de páginas de e-commerce
• Analisar listagens de empregos em formato estruturado
• Extrair informações de contato e detalhes comerciais
• Converter artigos de notícias em dados estruturados
• Coletar tabelas de preços e especificações

Use JSON Schema para definir a estrutura de saída desejada:

• Tipos de campo: string, number, boolean, array, object
• Descrições de campo: Ajudam a IA a entender o que extrair
• Campos obrigatórios: Marque campos críticos como obrigatórios
• Estruturas aninhadas: Suporte para dados complexos e aninhados

{
  "type": "object",
  "properties": {
    "title": {
      "type": "string",
      "description": "Nome ou título do produto"
    },
    "price": {
      "type": "number",
      "description": "Preço atual em USD"
    },
    "availability": {
      "type": "boolean",
      "description": "Se o produto está em estoque"
    },
    "features": {
      "type": "array",
      "items": {"type": "string"},
      "description": "Lista de principais características do produto"
    }
  },
  "required": ["title", "price"]
}

Request Body

• url (string) *required: A URL da página web da qual extrair dados
• schema (object) *required: Definição da estrutura de dados em formato JSON Schema
• timeout (number): Tempo limite da requisição em milissegundos, padrão 30000

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • url (string):
  • extract (object): Dados estruturados extraídos correspondentes ao seu esquema
  • metadata (object):
    • sourceURL (string):
    • statusCode (integer):
    • extractedAt (string):
    • confidence (number): Pontuação de confiança da IA (0-1) para a qualidade da extração
    • processingTime (integer): Tempo de processamento em milissegundos

Example Request

curl 'https://open.thunderbit.com/v1/extract' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/product","schema":{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}},"required":["name","price"]},"timeout":1}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/product",
    "extract": {
      "name": "iPhone 15 Pro",
      "price": 999,
      "currency": "USD"
    },
    "metadata": {
      "sourceURL": "string",
      "statusCode": 1,
      "extractedAt": "2025-01-01T00:00:00Z",
      "confidence": 1,
      "processingTime": 1
    }
  }
}

Extraia dados estruturados de múltiplas URLs simultaneamente usando IA.

• Coletar catálogos de produtos de múltiplas páginas
• Extrair dados de páginas de resultados de busca
• Processar em lote listagens ou páginas de diretórios
• Coletar inteligência competitiva em escala

• Mesmo esquema aplicado a todas as URLs
• Processamento paralelo para velocidade
• Tratamento individual de erros por URL
• Notificações via webhook disponíveis

Request Body

• urls (string[]) *required: Lista de URLs das quais extrair dados, máximo 50
• schema (object) *required: Definição da estrutura de dados em formato JSON Schema
• timeout (number): Tempo limite por requisição em milissegundos, padrão 30000
• webhook (object): Configuração de callback webhook, notifica quando a tarefa é concluída
  • url (string): URL de callback do webhook, deve ser HTTPS
  • headers (object):

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["string"],"schema":{},"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_ext_xyz789",
    "status": "string",
    "total": 1,
    "completed": 1
  }
}

Verifique o status e recupere os dados extraídos de uma tarefa de extração em lote.

• processing: Extração em progresso
• completed: Todas as extrações concluídas
• failed: Tarefa falhou (verifique detalhes do erro)

Cada URL no array de resultados contém:

• Dados extraídos correspondentes ao seu esquema
• Status de sucesso/falha
• Mensagens de erro individuais, se aplicável
• Pontuações de confiança para qualidade da extração

Parameters

• id (string) *required: ID da tarefa em lote

Response (200): Resposta de sucesso

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "string",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "extract": {},
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}