ガイド
ボット対策と JS レンダリング
Thunderbit が自動で処理するもの —— そして処理しないもの
ウェブ抽出における摩擦の多くはインフラから来ます:プロキシのローテーション、CAPTCHA の解決、JavaScript のレンダリング、ジオブロックへの対処。Thunderbit はそれらを吸収するので、あなたのコードはデータに集中できます。
私たちが処理するもの
- JavaScript レンダリング —— SPA、ハイドレーション、非同期読み込みコンテンツ(レンダリングモード を参照)
- CAPTCHA / ボット壁 —— サポートされたチャレンジタイプを自動で解決
- プロキシローテーション —— レジデンシャルおよびデータセンターのプール、リクエストごとにローテーション
- ジオルーティング ——
countryCode(例:"DE"、"JP")で国を固定 - アンチフィンガープリント —— 多様な User Agent、Header、ビューポート
- 一時的な失敗のリトライ —— DNS / 接続 / 5xx エラー
私たちが処理しないもの
- 認証付きセッション ——
headers経由で Cookie を渡せますが、対話的なログインフローはサポートされていません - ドメインレピュテーションでブロックするサイト —— 稀ですが起こり得ます。エンタープライズ向け許可リストはお問い合わせください
robots.txtのオーバーライド —— デフォルトで尊重します。エンタープライズプランは認可の証明とともにオーバーライドをリクエスト可能
調整できるツマミ
| パラメータ | 設定するタイミング |
|---|---|
renderMode | ページのレンダリングに JS が必要 |
waitFor | SPA のハイドレーションがデフォルトより時間がかかる |
countryCode | 地域対応サイト(価格、検索結果) |
headers | カスタム認証 Token や Cookie |
このページはトラブルシューティング手順を追加して拡張中です —— 近日中に再確認してください。