WebページをクリーンなLLM対応Markdown形式に変換します。

• RAG（Retrieval-Augmented Generation）用のWebコンテンツ準備
• AI処理用の記事コンテンツ抽出
• ドキュメントページのMarkdown変換
• 動的Webアプリケーションの処理

• 構造を保持したクリーンなMarkdownコンテンツ
• 広告、ナビゲーション、定型文の自動削除
• メタデータ抽出（タイトル、説明、言語）
• 動的コンテンツ用のJavaScriptレンダリング
• アンチボット対策の自動処理

ノイズを最小限に抑え、信号を最大化したLLM消費に最適化されたMarkdownを返します。

Request Body

• url (string) *required: ディスティルするWebページのURL
• timeout (number): リクエストタイムアウト（ミリ秒）（デフォルト: 30000、最大: 60000）
• waitFor (number): コンテンツ抽出前に動的コンテンツのレンダリングを待機する時間（ミリ秒）
• includeTags (string[]): これらのHTMLタグからのコンテンツのみを含める（例: ['article', 'main', 'div.content']）
• excludeTags (string[]): これらのHTMLタグからのコンテンツを除外する（例: ['nav', 'footer', 'aside']）
• headers (object): リクエストと共に送信するカスタムHTTPヘッダー

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • url (string): ディスティルされたURL
  • markdown (string): ページから抽出されたクリーンなMarkdownコンテンツ
  • html (string): 生のHTMLコンテンツ（オプション、リクエストされた場合のみ）
  • metadata (object):
    • title (string): <title>タグまたはOpen Graphから抽出されたページタイトル
    • description (string): メタ説明または抜粋
    • language (string): 検出された言語コード（ISO 639-1）
    • author (string): 利用可能な場合の記事著者
    • publishedDate (string): 利用可能な場合の公開日
    • image (string): Open GraphまたはTwitter Cardからのアイキャッチ画像URL
    • sourceURL (string): 元のURL（リダイレクトにより、リクエストされたURLと異なる場合があります）
    • statusCode (integer): レスポンスのHTTPステータスコード
    • contentLength (integer): Markdownコンテンツの文字数
  • links (object[]): コンテンツ内で見つかったリンク

Example Request

curl 'https://open.thunderbit.com/v1/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/article","timeout":30000,"waitFor":2000,"includeTags":["article","main"],"excludeTags":["nav","footer","aside"],"headers":{"User-Agent":"MyBot/1.0"}}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/article",
    "markdown": "# Article Title\n\nContent...",
    "html": "<article>...</article>",
    "metadata": {
      "title": "string",
      "description": "string",
      "language": "string",
      "author": "string",
      "publishedDate": "2025-01-01T00:00:00Z",
      "image": "string",
      "sourceURL": "string",
      "statusCode": 1,
      "contentLength": 1
    },
    "links": [
      {
        "text": "string",
        "href": "string"
      }
    ]
  }
}

非同期処理で複数のWebページを同時にディスティルします。

• Webサイト全体のセクションやカテゴリの処理
• ナレッジベースへのコンテンツの一括インポート
• 大規模なコンテンツ移行
• 複数ソースからの定期的なコンテンツ更新

• 高スループットのための非同期処理
• 失敗時の自動リトライ
• 完了時のWebhook通知
• URLごとの詳細なステータスとエラーレポート

Request Body

• urls (string[]) *required: ディスティルするURLのリスト、最大100件
• timeout (number): リクエストごとのタイムアウト（ミリ秒）、デフォルト30000
• webhook (object): Webhookコールバック設定、タスク完了時に通知
  • url (string): WebhookコールバックURL、HTTPSである必要があります
  • headers (object): カスタムコールバックヘッダー、認証に使用可能

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • id (string): バッチタスクID
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["https://example.com/page1","https://example.com/page2"],"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "processing",
    "total": 3,
    "completed": 0,
    "creditsUsed": 0
  }
}

バッチディスティルジョブのステータスを確認し、結果を取得します。

• processing: ジョブが現在実行中
• completed: すべてのURLの処理が完了
• failed: ジョブで致命的なエラーが発生

• 10件未満のURLのジョブでは5〜10秒ごとにポーリング
• より大きなジョブでは30〜60秒ごとにポーリング
• 効率化のためにWebhookを使用

ジョブの処理中でも、完了した結果を取得できます。results配列には、これまでに処理されたすべてのURLが含まれます。

Parameters

• id (string) *required: バッチタスクID

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/batch/distill/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_abc123",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "markdown": "string",
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}

AIを使用してWebページから構造化データを抽出します。JSONスキーマで希望する出力構造を定義すると、AIがインテリジェントに情報を抽出します。

• ECサイトから商品情報を抽出
• 求人情報を構造化フォーマットにパース
• 連絡先情報とビジネス詳細を抽出
• ニュース記事を構造化データに変換
• 価格表や仕様をスクレイピング

JSONスキーマを使用して希望する出力構造を定義します：

• フィールドタイプ: string、number、boolean、array、object
• フィールド説明: AIが何を抽出するか理解するのに役立つ
• 必須フィールド: 重要なフィールドを必須としてマーク
• ネスト構造: 複雑なネストデータのサポート

{
  "type": "object",
  "properties": {
    "title": {
      "type": "string",
      "description": "商品名またはタイトル"
    },
    "price": {
      "type": "number",
      "description": "現在の価格（USD）"
    },
    "availability": {
      "type": "boolean",
      "description": "商品が在庫にあるかどうか"
    },
    "features": {
      "type": "array",
      "items": {"type": "string"},
      "description": "主要な商品機能のリスト"
    }
  },
  "required": ["title", "price"]
}

Request Body

• url (string) *required: データを抽出するWebページのURL
• schema (object) *required: JSONスキーマ形式のデータ構造定義
• timeout (number): リクエストタイムアウト（ミリ秒）、デフォルト30000

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • url (string):
  • extract (object): スキーマに一致する抽出された構造化データ
  • metadata (object):
    • sourceURL (string):
    • statusCode (integer):
    • extractedAt (string):
    • confidence (number): 抽出品質のAI信頼度スコア（0〜1）
    • processingTime (integer): 処理にかかった時間（ミリ秒）

Example Request

curl 'https://open.thunderbit.com/v1/extract' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"url":"https://example.com/product","schema":{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}},"required":["name","price"]},"timeout":1}'

Example Response

{
  "success": true,
  "data": {
    "url": "https://example.com/product",
    "extract": {
      "name": "iPhone 15 Pro",
      "price": 999,
      "currency": "USD"
    },
    "metadata": {
      "sourceURL": "string",
      "statusCode": 1,
      "extractedAt": "2025-01-01T00:00:00Z",
      "confidence": 1,
      "processingTime": 1
    }
  }
}

AIを使用して複数のURLから構造化データを同時に抽出します。

• 複数ページから商品カタログをスクレイピング
• 検索結果ページからデータを抽出
• リスティングやディレクトリページのバッチ処理
• 大規模な競合情報の収集

• すべてのURLに同じスキーマを適用
• 高速化のための並列処理
• URLごとの個別エラー処理
• Webhook通知が利用可能

Request Body

• urls (string[]) *required: データを抽出するURLのリスト、最大50件
• schema (object) *required: JSONスキーマ形式のデータ構造定義
• timeout (number): リクエストごとのタイムアウト（ミリ秒）、デフォルト30000
• webhook (object): Webhookコールバック設定、タスク完了時に通知
  • url (string): WebhookコールバックURL、HTTPSである必要があります
  • headers (object):

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --header 'Content-Type: application/json' \
  --data '{"urls":["string"],"schema":{},"timeout":1,"webhook":{"url":"string","headers":{}}}'

Example Response

{
  "success": true,
  "data": {
    "id": "batch_ext_xyz789",
    "status": "string",
    "total": 1,
    "completed": 1
  }
}

バッチ抽出ジョブのステータスを確認し、抽出されたデータを取得します。

• processing: 抽出進行中
• completed: すべての抽出が完了
• failed: ジョブが失敗（エラー詳細を確認）

結果配列の各URLには以下が含まれます：

• スキーマに一致する抽出データ
• 成功/失敗ステータス
• 該当する場合の個別エラーメッセージ
• 抽出品質の信頼度スコア

Parameters

• id (string) *required: バッチタスクID

Response (200): 成功レスポンス

• success (boolean):
• data (object):
  • id (string):
  • status (string):
  • total (integer):
  • completed (integer):
  • creditsUsed (integer):
  • results (object[]):

Example Request

curl 'https://open.thunderbit.com/v1/extract/batch/{id}' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'

Example Response

{
  "success": true,
  "data": {
    "id": "string",
    "status": "string",
    "total": 1,
    "completed": 1,
    "creditsUsed": 1,
    "results": [
      {
        "url": "string",
        "success": true,
        "extract": {},
        "error": {
          "code": "string",
          "message": "string"
        }
      }
    ]
  }
}