Convertissez une page web en format Markdown propre et prêt pour les LLM.

• Préparer le contenu web pour le RAG (Génération Augmentée par Récupération)
• Extraire le contenu d'articles pour le traitement par IA
• Convertir des pages de documentation en markdown
• Traiter des applications web dynamiques

• Contenu markdown propre avec structure préservée
• Suppression automatique des publicités, navigation et contenu superflu
• Extraction de métadonnées (titre, description, langue)
• Rendu JavaScript pour le contenu dynamique
• Gestion automatique des mesures anti-bot

Retourne du markdown optimisé pour la consommation par les LLM avec un minimum de bruit et un maximum de signal.

Request Body

• url (string) *required: L'URL de la page web à distiller
• timeout (number): Délai d'expiration de la requête en millisecondes (par défaut : 30000, max : 60000)
• waitFor (number): Temps d'attente (en millisecondes) après le chargement de la page pour que le contenu dynamique soit rendu avant l'extraction du contenu
• includeTags (string[]): Inclure uniquement le contenu de ces balises HTML (ex. : ['article', 'main', 'div.content'])
• excludeTags (string[]): Exclure le contenu de ces balises HTML (ex. : ['nav', 'footer', 'aside'])
• headers (object): En-têtes HTTP personnalisés à envoyer avec la requête

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • url (string): L'URL qui a été distillée
  • markdown (string): Contenu markdown propre extrait de la page
  • html (string): Contenu HTML brut (optionnel, uniquement si demandé)
  • metadata (object):
    • title (string): Titre de la page extrait de la balise <title> ou Open Graph
    • description (string): Méta-description ou extrait
    • language (string): Code de langue détecté (ISO 639-1)
    • author (string): Auteur de l'article si disponible
    • publishedDate (string): Date de publication si disponible
    • image (string): URL de l'image mise en avant depuis Open Graph ou Twitter Card
    • sourceURL (string): URL d'origine (peut différer de l'URL demandée en raison de redirections)
    • statusCode (integer): Code de statut HTTP de la réponse
    • contentLength (integer): Longueur du contenu markdown en caractères
  • links (object[]): Liens trouvés dans le contenu

Example Request

curl 'https://open.thunderbit.com/v1/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/article","timeout":30000,"waitFor":2000,"includeTags":["article","main"],"excludeTags":["nav","footer","aside"],"headers":{"User-Agent":"MyBot/1.0"}}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/article",
    "markdown": "# Article Title\n\nContent...",
    "html": "<article>...</article>",
    "metadata": {
      "title": "string",
      "description": "string",
      "language": "string",
      "author": "string",
      "publishedDate": "2025-01-01T00:00:00Z",
      "image": "string",
      "sourceURL": "string",
      "statusCode": 1,
      "contentLength": 1
    },
    "links": [
      {
        "text": "string",
        "href": "string"
      }
    ]
  }
}

Distillez plusieurs pages web simultanément avec un traitement asynchrone.

• Traiter des sections ou catégories entières de sites web
• Importer du contenu en masse dans votre base de connaissances
• Migration de contenu à grande échelle
• Mises à jour périodiques de contenu depuis plusieurs sources

• Traitement asynchrone pour un haut débit
• Réessai automatique en cas d'échec
• Notifications webhook à la fin
• Rapports détaillés de statut et d'erreurs par URL

Request Body

• urls (string[]) *required: Liste des URLs à distiller, maximum 100
• timeout (number): Délai d'expiration par requête en millisecondes, par défaut 30000
• webhook (object): Configuration du callback webhook, notifie lorsque la tâche est terminée
  • url (string): URL de callback webhook, doit être HTTPS
  • headers (object): En-têtes de callback personnalisés, peuvent être utilisés pour l'authentification

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • id (string): ID de la tâche par lots
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["https://example.com/page1","https://example.com/page2"],"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "processing",
    "total": 3,
    "completed": 0,
    "creditsUsed": 0
  }
}

Vérifiez le statut et récupérez les résultats d'une tâche de distillation par lots.

• processing : La tâche est en cours d'exécution
• completed : Toutes les URLs ont été traitées
• failed : La tâche a rencontré une erreur fatale

• Interrogez toutes les 5-10 secondes pour les tâches avec <10 URLs
• Interrogez toutes les 30-60 secondes pour les tâches plus importantes
• Utilisez les webhooks pour une meilleure efficacité

Vous pouvez récupérer les résultats terminés pendant que la tâche est encore en cours de traitement. Le tableau results contiendra toutes les URLs traitées jusqu'à présent.

Parameters

• id (string) *required: ID de la tâche par lots

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "markdown": "string",
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}

Extrayez des données structurées à partir de pages web en utilisant l'IA. Définissez la structure de sortie souhaitée avec le schéma JSON, et notre IA extraira intelligemment les informations.

• Extraire des informations de produits depuis des pages e-commerce
• Parser des offres d'emploi en format structuré
• Extraire des informations de contact et des détails d'entreprise
• Convertir des articles de presse en données structurées
• Scraper des tableaux de prix et des spécifications

Utilisez le schéma JSON pour définir la structure de sortie souhaitée :

• Types de champs : string, number, boolean, array, object
• Descriptions des champs : Aidez l'IA à comprendre ce qu'il faut extraire
• Champs requis : Marquez les champs critiques comme requis
• Structures imbriquées : Support pour des données complexes et imbriquées

{
  "type": "object",
  "properties": {
    "title": {
      "type": "string",
      "description": "Nom ou titre du produit"
    },
    "price": {
      "type": "number",
      "description": "Prix actuel en USD"
    },
    "availability": {
      "type": "boolean",
      "description": "Si le produit est en stock"
    },
    "features": {
      "type": "array",
      "items": {"type": "string"},
      "description": "Liste des caractéristiques clés du produit"
    }
  },
  "required": ["title", "price"]
}

Request Body

• url (string) *required: L'URL de la page web à partir de laquelle extraire les données
• schema (object) *required: Définition de la structure de données au format schéma JSON
• timeout (number): Délai d'expiration de la requête en millisecondes, par défaut 30000

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • url (string):
  • extract (object): Données structurées extraites correspondant à votre schéma
  • metadata (object):
    • sourceURL (string):
    • statusCode (integer):
    • extractedAt (string):
    • confidence (number): Score de confiance de l'IA (0-1) pour la qualité de l'extraction
    • processingTime (integer): Temps de traitement en millisecondes

Example Request

curl 'https://open.thunderbit.com/v1/extract' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/product","schema":{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}},"required":["name","price"]},"timeout":1}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/product",
    "extract": {
      "name": "iPhone 15 Pro",
      "price": 999,
      "currency": "USD"
    },
    "metadata": {
      "sourceURL": "string",
      "statusCode": 1,
      "extractedAt": "2025-01-01T00:00:00Z",
      "confidence": 1,
      "processingTime": 1
    }
  }
}

Extrayez des données structurées à partir de plusieurs URLs simultanément en utilisant l'IA.

• Scraper des catalogues de produits depuis plusieurs pages
• Extraire des données depuis des pages de résultats de recherche
• Traiter par lots des listings ou pages d'annuaire
• Collecter de la veille concurrentielle à grande échelle

• Même schéma appliqué à toutes les URLs
• Traitement parallèle pour la rapidité
• Gestion individuelle des erreurs par URL
• Notifications webhook disponibles

Request Body

• urls (string[]) *required: Liste des URLs à partir desquelles extraire les données, maximum 50
• schema (object) *required: Définition de la structure de données au format schéma JSON
• timeout (number): Délai d'expiration par requête en millisecondes, par défaut 30000
• webhook (object): Configuration du callback webhook, notifie lorsque la tâche est terminée
  • url (string): URL de callback webhook, doit être HTTPS
  • headers (object):

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["string"],"schema":{},"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_ext_xyz789",
    "status": "string",
    "total": 1,
    "completed": 1
  }
}

Vérifiez le statut et récupérez les données extraites d'une tâche d'extraction par lots.

• processing : Extraction en cours
• completed : Toutes les extractions terminées
• failed : La tâche a échoué (vérifiez les détails de l'erreur)

Chaque URL dans le tableau des résultats contient :

• Données extraites correspondant à votre schéma
• Statut de succès/échec
• Messages d'erreur individuels le cas échéant
• Scores de confiance pour la qualité de l'extraction

Parameters

• id (string) *required: ID de la tâche par lots

Response (200): Réponse de succès

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "string",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "extract": {},
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}