ガイド

ボット対策と JS レンダリング

Thunderbit が自動で処理するもの —— そして処理しないもの

ウェブ抽出における摩擦の多くはインフラから来ます:プロキシのローテーション、CAPTCHA の解決、JavaScript のレンダリング、ジオブロックへの対処。Thunderbit はそれらを吸収するので、あなたのコードはデータに集中できます。

私たちが処理するもの

  • JavaScript レンダリング —— SPA、ハイドレーション、非同期読み込みコンテンツ(レンダリングモード を参照)
  • CAPTCHA / ボット壁 —— サポートされたチャレンジタイプを自動で解決
  • プロキシローテーション —— レジデンシャルおよびデータセンターのプール、リクエストごとにローテーション
  • ジオルーティング —— countryCode(例:"DE""JP")で国を固定
  • アンチフィンガープリント —— 多様な User Agent、Header、ビューポート
  • 一時的な失敗のリトライ —— DNS / 接続 / 5xx エラー

私たちが処理しないもの

  • 認証付きセッション —— headers 経由で Cookie を渡せますが、対話的なログインフローはサポートされていません
  • ドメインレピュテーションでブロックするサイト —— 稀ですが起こり得ます。エンタープライズ向け許可リストはお問い合わせください
  • robots.txt のオーバーライド —— デフォルトで尊重します。エンタープライズプランは認可の証明とともにオーバーライドをリクエスト可能

調整できるツマミ

パラメータ設定するタイミング
renderModeページのレンダリングに JS が必要
waitForSPA のハイドレーションがデフォルトより時間がかかる
countryCode地域対応サイト(価格、検索結果)
headersカスタム認証 Token や Cookie

このページはトラブルシューティング手順を追加して拡張中です —— 近日中に再確認してください。