가이드
안티봇 & JS 렌더링
Thunderbit가 자동으로 처리하는 것 —— 그리고 처리하지 않는 것
웹 추출의 마찰 대부분은 인프라에서 옵니다: 프록시 로테이션, CAPTCHA 풀기, JavaScript 렌더링, 지역 차단 처리. Thunderbit가 이걸 흡수하니까 당신의 코드는 데이터에만 집중하면 됩니다.
우리가 처리하는 것
- JavaScript 렌더링 —— SPA, hydration, 비동기 로딩 콘텐츠(Render Modes 참고)
- CAPTCHA / 봇 차단벽 —— 지원 챌린지 타입에 대한 자동 풀이
- 프록시 로테이션 —— residential 및 datacenter 풀, 요청별 로테이션
- 지역 라우팅 ——
countryCode로 국가 고정(예:"DE","JP") - Anti-fingerprinting —— 다양한 user agent, Header, viewport
- 일시적 실패 재시도 —— DNS / 연결 / 5xx 오류
우리가 처리하지 않는 것
- 인증된 세션 ——
headers로 쿠키를 전달할 수는 있지만, 인터랙티브 로그인 플로우는 지원하지 않음 - 도메인 평판으로 우리를 차단하는 사이트 —— 드물지만 가능; 엔터프라이즈 allowlisting은 문의
robots.txt무시 —— 기본적으로 준수; 엔터프라이즈 플랜은 권한 증빙과 함께 override 요청 가능
조정 가능한 노브
| 파라미터 | 설정 시점 |
|---|---|
renderMode | 페이지가 렌더링에 JS 필요 시 |
waitFor | SPA hydration이 기본보다 오래 걸릴 때 |
countryCode | 지역 인식 사이트(가격, 검색 결과) |
headers | 커스텀 인증 토큰 또는 쿠키 |
이 페이지는 트러블슈팅 단계로 확장 중입니다 —— 곧 다시 확인하세요.