Guides
Anti-bot et rendu JS
Ce que Thunderbit gère automatiquement — et ce qu'il ne gère pas
Une grande partie de la friction dans l'extraction web vient de l'infrastructure : rotation de proxys, résolution de CAPTCHA, rendu JavaScript, blocages géo. Thunderbit absorbe tout ça pour que ton code reste concentré sur les données.
Ce qu'on gère
- Rendu JavaScript — SPA, hydratation, contenu chargé en async (voir Modes de rendu)
- CAPTCHA / murs anti-bot — résolution automatique sur les types de challenges supportés
- Rotation de proxys — pools résidentiels et datacenter, tournés à chaque requête
- Routage géo — fixe un pays avec
countryCode(par exemple"DE","JP") - Anti-fingerprinting — user agents, headers et viewport variés
- Réessai sur erreurs transitoires — erreurs DNS / connexion / 5xx
Ce qu'on ne gère pas
- Sessions authentifiées — tu peux passer des cookies via
headers, mais les flux de login interactifs ne sont pas supportés - Sites qui nous bloquent par réputation de domaine — rare mais possible ; contacte-nous pour de l'allowlisting entreprise
- Surcharges
robots.txt— respectés par défaut ; les plans entreprise peuvent demander une dérogation avec preuve d'autorisation
Boutons que tu peux régler
| Paramètre | Quand le mettre |
|---|---|
renderMode | La page a besoin de JS pour s'afficher |
waitFor | L'hydratation de la SPA prend plus longtemps que par défaut |
countryCode | Site sensible à la géo (prix, résultats de recherche) |
headers | Tokens d'auth ou cookies personnalisés |
Cette page est en cours d'enrichissement avec des étapes de troubleshooting — reviens bientôt.