指南

反爬与 JS 渲染

Thunderbit 自动帮你扛什么 —— 以及它不扛什么

网页提取里的麻烦大多来自基础设施:轮换代理、解验证码、渲染 JavaScript、应对地理屏蔽。Thunderbit 把这些都吸收掉,让你的代码专注在数据上。

我们扛的部分

  • JavaScript 渲染 —— SPA、hydration、异步加载内容(详见 渲染模式
  • CAPTCHA / 反爬墙 —— 对受支持的挑战类型自动求解
  • 代理轮换 —— 住宅与机房代理池,逐请求轮换
  • 地理路由 —— 用 countryCode 锁定国家(如 "DE""JP"
  • 指纹对抗 —— 多变的 User Agent、Header、视口
  • 瞬时故障重试 —— DNS / 连接 / 5xx 错误

我们不扛的部分

  • 登录态会话 —— 你可以通过 headers 传 cookie,但不支持交互式登录流程
  • 基于域名信誉屏蔽我们的站点 —— 罕见但存在;可联系企业版白名单
  • robots.txt 覆盖 —— 默认遵守;企业版可凭授权证明申请覆盖

你能调的旋钮

参数何时设置
renderMode页面需要 JS 渲染
waitForSPA hydration 比默认值更慢
countryCode地理感知站点(价格、搜索结果)
headers自定义鉴权 token 或 cookie

本页正在补充故障排查步骤 —— 敬请期待。