指南
反爬与 JS 渲染
Thunderbit 自动帮你扛什么 —— 以及它不扛什么
网页提取里的麻烦大多来自基础设施:轮换代理、解验证码、渲染 JavaScript、应对地理屏蔽。Thunderbit 把这些都吸收掉,让你的代码专注在数据上。
我们扛的部分
- JavaScript 渲染 —— SPA、hydration、异步加载内容(详见 渲染模式)
- CAPTCHA / 反爬墙 —— 对受支持的挑战类型自动求解
- 代理轮换 —— 住宅与机房代理池,逐请求轮换
- 地理路由 —— 用
countryCode锁定国家(如"DE"、"JP") - 指纹对抗 —— 多变的 User Agent、Header、视口
- 瞬时故障重试 —— DNS / 连接 / 5xx 错误
我们不扛的部分
- 登录态会话 —— 你可以通过
headers传 cookie,但不支持交互式登录流程 - 基于域名信誉屏蔽我们的站点 —— 罕见但存在;可联系企业版白名单
robots.txt覆盖 —— 默认遵守;企业版可凭授权证明申请覆盖
你能调的旋钮
| 参数 | 何时设置 |
|---|---|
renderMode | 页面需要 JS 渲染 |
waitFor | SPA hydration 比默认值更慢 |
countryCode | 地理感知站点(价格、搜索结果) |
headers | 自定义鉴权 token 或 cookie |
本页正在补充故障排查步骤 —— 敬请期待。