Indeed에 쌓인 구직 데이터는 규모부터 남달라요. 등록된 구직자 프로필이 6억 4,500만 개 이상, 고용주가 330만 곳 이상, 활성 채용 공고가 2,400만 건 이상이거든요.
이 데이터를 스프레드시트나 CRM, 분석 대시보드로 옮기려면 진짜로 돌아가는 스크래퍼가 있어야 해요. "진짜로 돌아간다"가 여기선 핵심이에요. Indeed는 공개 채용 사이트 중에서도 방어벽이 유난히 두꺼운 곳이거든요.
저는 Thunderbit, 그 전에는 Automation Anywhere에서 몇 년째 자동화 도구를 만들어 왔어요. 그래서 단언할 수 있어요. 2026년의 Indeed 스크래핑은 평범한 상품 카탈로그 긁기와는 완전히 다른 일이에요. Cloudflare 챌린지에 CAPTCHA, IP 지문 추적, 돌아가며 걸리는 속도 제한까지. 작년에 짜둔 스크립트는 이미 절반쯤 멈췄을 가능성이 높아요. 포럼만 둘러봐도 사연은 비슷해요. 몇 달을 잘 돌던 코드가 어느 날 갑자기 403만 토해낸다는 거죠.
그래서 노코드 확장 프로그램, 개발자용 API, 오픈소스 라이브러리까지 Indeed 스크래퍼 10개를 골라 정리했어요. 기술 수준이 어떻든, 예산이 얼마든 맞는 게 하나는 있도록요. Google Sheets에 급여만 담고 싶은 채용 담당자든, 구직 데이터 집계 파이프라인을 짜는 데이터 엔지니어든, 본인 자리에 맞는 도구가 있을 거예요.
Indeed가 가장 까다로운 채용 사이트로 꼽히는 이유
도구를 보기 전에 상대가 어떤 곳인지부터 짚고 가요. Indeed는 스크래퍼에게 결코 너그럽지 않아요. 게다가 해마다 더 빡빡해지고 있고요.
네 겹짜리 안티봇 방어가 특히 눈에 띄어요.
- Cloudflare WAF: Indeed 공식 지원 문서도 사용자가 Cloudflare 오류와 403 Forbidden을 만날 수 있다고 인정해요. 대다수 스크래퍼가 처음 부딪히는 벽이 바로 이거예요.
- CAPTCHA와 챌린지 게이트: "사람인지 확인하세요" 루프가 반복되는 일이 흔해요. 단순히 성가신 수준이 아니에요. 도구가 이걸 못 풀거나 못 비켜 가면 자동화 흐름이 통째로 멈춰버려요.
- IP·요청 속도 제한: Indeed 개발자 문서는 60초 롤링 윈도우로 트래픽을 제한하고, 넘기면 HTTP 429를 돌려줘요. 페이지를 넘길 때 이 제한이 가장 크게 와닿아요.
- JavaScript·쿠키 의존: Indeed는 차단된 사용자에게 JavaScript와 쿠키를 켜라고 대놓고 안내해요. 실제 브라우저를 안 띄우는 순수 HTTP 요청형 스크래퍼는 계속 막힐 수밖에 없어요.
커뮤니티 반응도 꽤 솔직해요. 한 Reddit 사용자는 이렇게 적었어요. "저는 늘 403 forbidden을 받아요." 또 다른 사용자는 몇 달 돌리던 코드가 이제 멈췄다고 했고요. 이어진 스레드에서는 첫 페이지는 열리는데 그다음 페이지는 죄다 실패한다고 토로했어요.
다른 채용 사이트랑 견줘 보면 Indeed는 중간에서 어려운 쪽에 걸쳐 있어요. Scraperly 사이트 가이드는 대체로 중간 난이도로 보고, IP 하나당 하루 200~500개 공고 정도가 안전선이라고 봐요. Glassdoor나 LinkedIn은 로그인 게이트 때문에 더 빡세죠. 하지만 "중간"이라고 방심하면 안 돼요. 싸구려 요청 전용 스크래퍼나 취미용 스크립트는 여기서 자주 깨지거든요. 이 사이트에선 어떤 도구를 고르느냐가 다른 데보다 훨씬 결정적이에요.
2026년 Indeed 스크래퍼를 추린 기준
이 목록의 모든 도구를 여덟 가지 기준으로 따져봤어요. 기준 하나하나가 Reddit, GitHub 이슈, 개발자 포럼에서 실제로 터지는 불만과 직결돼요.
| 기준 | Indeed에서 중요한 이유 |
|---|---|
| Cloudflare / 안티봇 우회 | 가장 많은 불만 포인트예요. 포럼 스레드 5개에서 403 차단 때문에 스크래퍼가 망가졌다고 언급합니다 |
| 코딩 필요 여부 | 비개발자(채용 담당자, HR, 분석가)는 엄청 큰 사용자층이지만, 대부분의 스크래퍼 리스트에서는 외면돼요 |
| 무료 요금제 / 무료 옵션 | 무료 또는 저비용 옵션이 필요하다는 언급이 포럼에서 4번 있었어요. 유료 도구는 “너무 비싸다”는 평가도 많습니다 |
| 내보내기 형식 | 사용자는 원시 JSON이 아니라 Sheets, Excel, Airtable에 바로 넣을 수 있는 데이터를 원해요 |
| 프록시 / IP 회전 | 언급이 3번 있었어요. 한 사용자의 표현대로 프록시 없이 Indeed를 스크래핑하는 건 “좋지 않은 생각”입니다 |
| 설정 난이도 | Python 스크래퍼는 “머리가 아프다”는 반응이 자주 나와요 |
| 유지보수 / 안정성 | Indeed는 변화가 빠르기 때문에 관리가 안 되는 도구를 쉽게 망가뜨립니다 |
| 1,000개 공고당 비용 | 경쟁사 글들은 가격이 모호한 경우가 많아서, 저는 사과끼리 비교하듯 비용을 정규화했어요 |
이 목록이 흔한 글들과 다른 점이 하나 있어요. 노코드, 로우코드, API, 오픈소스를 일부러 다 넣었거든요. 다른 "최고의 Indeed 스크래퍼" 글들은 대부분 API 기반만 다루더라고요.
그러면 터미널 한 번 안 열고 스프레드시트에 구직 데이터만 담고 싶은 사람들은 통째로 빠져버려요.
내 기술 수준엔 어떤 Indeed 스크래퍼가 맞을까?
열 개를 다 보기 전에, 본인이 어느 칸에 속하는지부터 알아두면 좋아요. 시간이 확 절약돼요.
| 기술 수준 | 가장 적합한 접근 방식 | 검토할 도구 |
|---|---|---|
| 코딩 경험 없음 | Chrome 확장 프로그램 또는 설정 UI | Thunderbit, Apify(설정 UI) |
| 기본적인 Python / 스크립팅 | 라이브러리 + 프록시 또는 간단한 API | JobSpy, ScraperAPI, Decodo |
| 개발자 / 데이터 엔지니어 | 완전한 API 통합 | Bright Data, Oxylabs, ZenRows, ScrapingBee, Scrapingdog |
공고 50개에서 급여만 모으는 채용 담당자에게 월 500달러(약 70만 원)짜리 엔터프라이즈 프록시 네트워크는 과해요. 반대로 상업용 구직 집계 서비스를 만든다면 무료 Chrome 확장에만 기대는 건 무리고요. 도구를 본인 기술 수준과 목적에 맞추면 절반은 성공한 셈이에요.
1. Thunderbit — 비개발자에게 가장 좋은 Indeed 스크래퍼
Thunderbit은 저와 제 팀이 만든 도구예요. 그러니 이건 분명히 밝혀둘게요. 그래도 1번 자리에 둔 건 편애가 아니에요. 제가 찾아본 진짜 노코드 Indeed 스크래퍼 중에서, 안티봇 방어와 하위 페이지 정보 보강, 스프레드시트 직접 내보내기를 코드 한 줄 없이 다 처리하는 건 이거 하나뿐이었거든요.
흐름은 단순해요. Chrome 확장 프로그램을 깔고, Indeed 검색 결과 페이지로 가서 AI 필드 제안을 눌러요. 그러면 AI가 페이지를 읽고 Job Title, Company, Salary, Location, URL 같은 열을 제안해줘요. 제안을 살펴본 뒤 스크래핑을 누르고 내보내면 끝이에요. 설치부터 데이터가 스프레드시트에 들어오기까지 통틀어 2분이면 돼요.
Indeed에서 Thunderbit가 특히 빛나는 지점은 이래요.
- 하위 페이지 스크래핑: 검색 결과에서 출발해 각 채용 상세 페이지를 알아서 들어가요. 전체 설명, 요구 사항, 복지, 공고 메타데이터까지 채워주죠. 경쟁 채용 분석에선 이게 가장 중요해요. 목록 일부만이 아니라 전체 맥락을 손에 쥐는 거니까요.
- 브라우저 + 클라우드 모드: 브라우저 모드는 본인 Chrome 로그인 세션에서 데이터를 모아요. 지역별 결과가 필요할 때 좋고요. 클라우드 모드는 Thunderbit 호스팅 인프라에 회전 IP와 차단 방지 로직을 얹어 돌아가요. 공개 대상이면 한 번에 50페이지까지 긁을 수 있어요.
- 내장 안티봇 처리: 클라우드 모드는 Cloudflare 챌린지와 CAPTCHA를 알아서 넘겨요. 프록시 설정도, CAPTCHA 해결 서비스 연동도 필요 없고요.
- 무료 이메일·전화번호 추출기: 회사 페이지에서 고용주 연락처를 바로 뽑아요. 채용 리드 생성에 유용하죠.
- 직접 내보내기: Google Sheets, Excel/CSV, Airtable, Notion. 전부 무료예요. JSON을 CSV로 바꾸는 스크립트 짤 일이 없어요.
Indeed 스크래퍼 템플릿이 미리 짜여 있어서, 원하면 필드를 손으로 설정 안 해도 돼요.
Indeed 스크래핑을 위해 Thunderbit 사용해 보기
가격: 무료 플랜에 월 6페이지가 들어 있고, 무료 체험에선 10페이지까지 써요. 유료 플랜은 크레딧 기반(1 크레딧 = 출력 행 1개)이고, Starter 기준 대략 1,000행당 30달러(약 4만 원) 선이에요. 상위 요금제로 갈수록 단가는 더 내려가고요. 내보내기는 플랜과 상관없이 전부 무료예요. 전체 요금은 여기서 봐요.
장점: 코딩 불필요, 스프레드시트 직접 내보내기, 하위 페이지 정보 보강, 브라우저 + 클라우드 모드, 아주 빠른 설정 단점: 크레딧 기반 과금은 초대량 수집(하루 1만 건 이상)엔 덜 매력적일 수 있음, Indeed 전용 독립 성공률 벤치마크가 제한적임
추천 대상: 스프레드시트에 Indeed 데이터를 담고 싶은 채용 담당자, HR 팀, 비즈니스 분석가. 코딩은 전혀 필요 없어요.
2. Bright Data — 엔터프라이즈 규모에 가장 좋은 Indeed 스크래퍼
Bright Data는 이 판의 최강자예요. 거대한 프록시 네트워크(195개국 월 4억 IP 이상)에 전용 CAPTCHA 해결, 브라우저 지문 방지, JavaScript 렌더링을 묶고, 거기에 전용 Indeed 채용 공고 데이터셋과 Jobs Data API까지 붙여요.
- 주요 기능: Cloudflare 우회용 Web Unlocker, 지역 타깃 스크래핑, 구조화된 데이터셋 제공(JSON, CSV, NDJSON), 클라우드 스토리지 연동, 전용 Indeed 데이터 제품
- 안티봇 처리: 업계 최고 수준이에요. ScrapingTest 벤치마크에서 평균 응답 7.45초에 전체 성공률 **95.99%**를 찍었어요.
- 가격: 웹 스크래핑은 종량제로 1,000 레코드당 약 2.50달러부터, Indeed 데이터셋은 레코드당 0.0025달러부터 시작해요(최소 주문 50달러). 체험 크레딧은 있지만 공개 무료 요금제는 없어요.
추천 대상: 급여 벤치마킹, 노동시장 조사, 상업용 구직 집계를 위해 매일 Indeed 페이지 수천 건을 긁는 데이터 팀. 특히 가동 시간과 지역 커버리지가 비용보다 중요할 때요.
3. Apify Indeed Scraper — 로우코드 사용자에게 가장 좋은 Indeed 스크래퍼
Apify는 딱 시장 중간 지점이에요. Thunderbit만큼 초보 친화적이진 않지만, 설정 UI에서 미리 만든 "Actor"를 돌릴 수 있어서 순수 API보단 훨씬 수월해요. 제일 인기 있는 Indeed actor(misceres/indeed-scraper)는 리뷰 54개 기준 약 4.0/5, 사용자 2만 명 수준이고, 가격은 대략 1,000개 공고당 3달러부터예요.
- 주요 기능: 설정 기반 UI(검색 키워드, 위치, 페이지 수 지정), 내장 스케줄링, 데이터셋 저장, 유연한 내보내기(JSON, CSV, Excel, XML, HTML, RSS, JSONL)
- 안티봇 처리: actor와 프록시 설정에 따라 갈려요. 공개 이슈 스레드에선 Indeed 실행이 여전히 막히거나 결과가 빠질 수 있다고 보고돼요.
- 가격: 무료 요금제에 플랫폼 크레딧 5달러가 들어 있어요. 다만 Indeed에선 actor 사용량이 금세 동나요.
추천 대상: 대시보드에서 스케줄링과 구조화된 내보내기를 원하는 중급 사용자. 스크래핑 코드를 맨바닥부터 짤 필요는 없어요.
4. ScraperAPI — 예산이 빠듯한 개발자에게 가장 좋은 Indeed 스크래퍼 API
ScraperAPI는 가장 직관적인 개발자 API 축에 들어요. URL을 던지면 프록시 회전, CAPTCHA 해결, JS 렌더링을 알아서 처리하고 HTML이나 구조화된 출력을 돌려줘요. Indeed 전용 페이지는 99.99% 성공률에 1~3초 평균 응답을 내세우는데, 이건 벤더 측 주장이라는 점은 감안해야 해요.
- 주요 기능: 단순한 REST API, 내장 프록시 회전, 자동 재시도, 여러 출력 형식(HTML, JSON, text, markdown, CSV 워크플로우)
- 가격: Hobby 플랜은 10만 크레딧에 49달러지만, 보호된 요청은 1회당 10~25 크레딧을 먹어요. Indeed처럼 보호가 센 트래픽의 실질 비용은 입문가 기준 대략 보호 요청 1,000건당 4.90달러 선이에요. 무료 체험은 5천 크레딧이고요.
- 주의점: 요청 절반이 실패하면(Indeed에선 실제로 그럴 수 있어요) 실질 비용이 두 배로 뛸 수 있어요.
추천 대상: 엔터프라이즈 가격표 없이 깔끔한 API 문서와 예측 가능한 통합을 원하는 개발자.
5. Scrapingdog — Indeed 스크래핑에 가장 좋은 저비용 API
Scrapingdog은 가격을 명확하게 보여주는 걸로 승부해요. 요금은 20만 크레딧에 40달러부터(1,000 크레딧당 약 0.20달러), 맛보기로 무료 크레딧 1,000개를 줘요.
- 주요 기능: 안티봇 사이트용 스텔스 모드, Indeed용 파싱된 JSON 출력, 재시도 로직(요청당 최대 60초), 성공한 요청에만 과금
- 가격상 주의점: 스텔스 모드는 요청당 10 크레딧이 들어요. 그래서 Lite 기준 보호 사이트 실질 비용은 대략 보호 요청 1,000건당 2달러에 가까워요. 그래도 대부분 경쟁사보다는 싼 편이에요.
- 성능 참고: ScrapingTest 벤치마크에선 Bright Data나 ScraperAPI보다 편차가 컸어요. 규모를 키우기 전에 충분히 검증해보는 게 좋아요.
전용 Indeed 가이드에 Python 설정 과정이 나와 있어요.
추천 대상: 요청당 비용을 가장 낮게 잡고 싶은 예산 중시 개발자. 신뢰성을 직접 검증할 수 있다면 괜찮은 선택이에요.
6. ZenRows — 안티봇 안정성이 가장 좋은 Indeed 스크래퍼 API
ZenRows는 시장에서 안티봇을 가장 앞세운 제품 축에 들어요. WAF 우회, CAPTCHA 우회, 지문 추적 우회, 프리미엄 회전 프록시를 대놓고 내세우죠. Indeed 스크래퍼 페이지는 CSV, 단일 JSON, URL마다 하나의 JSON으로 내보내기를 지원해서, 순수 API 제품들보다 실무 친화적이에요.
- 주요 기능: JS 렌더링까지 포함한 보호 사이트 스크래핑, 모든 요청에 내장된 안티봇 우회, 구조화된 출력 옵션
- 가격: Developer 플랜은 대략 기본 결과 1,000개당 0.276달러 선이지만, 보호된 결과는 1,000개당 6.90달러까지 올라가요. 무료 체험은 기본 1,000개 + 보호 40개 결과이고, 14일간 유효해요.
- 벤더 주장: 보호 사이트 성공률 평균 99.93%.
요청당 비용만 보면 비싸 보여요. 하지만 Cloudflare를 직접 붙잡고 디버깅하는 시간을 떠올리면 얘기가 달라져요.
추천 대상: Bright Data 같은 완전한 엔터프라이즈 스택까진 안 가면서, 안티봇 회복력이 제일 중요한 개발자.
7. ScrapingBee — 스텔스 프록시 모드가 강한 Indeed 스크래퍼 API
ScrapingBee는 차단 해제뿐 아니라 개발자 작업 흐름까지 챙겨야 할 때 강점이 살아나요. 헤드리스 브라우저, 회전 프록시, 전용 Cloudflare 도구, 추출 규칙(CSS/XPath 선택자와 AI 보조 추출), 여러 응답 형식(JSON, HTML, Markdown, CSV, NDJSON)을 지원해요.
- 주요 기능: 스텔스 프록시 모드, JS 렌더링, 구조화된 데이터 추출 규칙, AI 보조 파싱
- 가격: Freelance 플랜은 25만 크레딧에 49달러($0.196/1,000 크레딧)지만, JS + 프리미엄 프록시 요청은 각 25크레딧이 들어요. 입문가 기준 대략 1,000건당 4.90달러 선이에요. 무료 요금제는 1,000콜이고요.
- 벤치마크 신호: ScrapingTest의 방향성 결과는 평균 10.32초에 전체 성공률 **77.98%**예요.
추천 대상: 다듬어진 API 경험을 중시하고, 후처리를 줄이려고 내장 추출 규칙을 원하는 개발자.
8. Oxylabs — 대규모 프록시 인프라에 가장 좋은 Indeed 스크래퍼
Oxylabs는 강력한 프록시·차단 해제 인프라가 필요하다는 걸 이미 아는 팀에게 어울려요. Web Scraper API와 Web Unblocker는 195개국 1억 7,700만 프록시 풀 규모로 CAPTCHA 우회, JS 렌더링, 지문 완화, 재시도, 폭넓은 지역 타깃팅을 받쳐줘요.
- 주요 기능: AI 기반 데이터 파싱, 다중 형식 출력(JSON, HTML, PNG, Markdown), 클라우드 전달 옵션
- 가격: 일반 타깃은 Web Scraper API 입문가 기준 JS 미사용 시 1,000건당 약 2.15달러, JS 사용 시 2.35달러부터예요. Web Unblocker는 트래픽 기반 과금이고요. 무료 요금제는 최대 2,000개 결과까지 줘요.
- 세부 포인트: Oxylabs는 경쟁사처럼 딱 떨어지는 "Indeed 스크래퍼"를 따로 포장하진 않아요. 제품 구분인 Web Scraper API(파싱된 데이터)와 Web Unblocker(원시 접근)를 이해해야 해요.
- 벤치마크 신호: ScrapingTest 방향성 결과는 평균 12.75초에 전체 성공률 **83.89%**예요.
추천 대상: 이미 프록시 인프라에 투자한 엔터프라이즈 팀, 또는 대규모 지역 타깃팅이 필요한 사용자.
9. JobSpy (python-jobspy) — 가장 좋은 무료 오픈소스 Indeed 스크래퍼
JobSpy는 오픈소스 중 꼭 짚어둘 도구예요. 활발하게 유지되고 있어서 이런 얘기에서 빠지질 않아요. GitHub 저장소 기준 약 3.2천 stars, 릴리스 58개를 보유하고, Indeed, LinkedIn, Glassdoor, ZipRecruiter, Google Jobs, Bayt, Bdjobs를 지원해요. 출력은 pandas DataFrame과 CSV로 돼요.
- 주요 기능: 스크립트 하나로 여러 채용 사이트 스크래핑, DataFrame/CSV 출력, 완전 무료, 활발한 커뮤니티
- 안티봇 처리: 최소 수준이에요. 내장 프록시 회전도, CAPTCHA 해결도 없어요. 직접 해결해야 해요. 공개 이슈에는 Indeed 차단이나 오류 보고가 자주 올라와요.
- 가격: 무료(오픈소스). 다만 프록시 비용과 디버깅 시간은 무료가 아니죠.
"무료"에 숨은 비용
이 부분은 분명히 짚고 가야 해요. "돈으로 무료"가 시간까지 무료라는 뜻은 아니거든요. JobSpy를 쓴다면 Cloudflare 차단 디버깅, 프록시 회전 설정, Indeed 레이아웃이 바뀐 뒤 깨지는 문제를 잡느라 몇 시간 쏟을 각오를 해야 해요. 이런 작업을 즐기는 Python 개발자라면 나쁘지 않은 선택이에요. 하지만 공고 200개를 스프레드시트에 담고 싶을 뿐인 채용 담당자에겐 최악의 선택이고요.
추천 대상: 여러 채용 사이트를 함께 긁는 걸 즐기고, 정기 유지보수를 감당할 수 있는 Python 개발자.
10. Decodo(구 Smartproxy) — 프록시 중심 사용자에게 가장 좋은 Indeed 스크래퍼
Decodo(구 Smartproxy)는 이제 단순 프록시 판매자가 아니라 더 넓은 스크래핑 플랫폼으로 자리를 잡고 있어요. 공개 페이지에선 1억 2,500만 IP 이상, 99.99% 성공률, Web Scraping API 기준 초당 최대 200요청 처리량을 내세워요.
- 주요 기능: 회전형 주거용 프록시, JS 렌더링과 CAPTCHA 처리를 받쳐주는 웹 스크래핑 API, 다양한 통합 방식
- 내보내기 형식: HTML, JSON, CSV, PNG, XHR, Markdown
- 가격: 무료 스타터 플랜에 약 2천 요청이 들어 있어 테스트용으로 꽤 넉넉해요. 유료 플랜은 입문 API 가격 기준 대략 1,000건당 0.50달러부터예요.
추천 대상: 처리량과 요청 유형 중심으로 사고하는 팀. Thunderbit만큼 초보 친화적이진 않고, ZenRows만큼 Indeed에 바로 붙이기 쉬운 느낌도 덜해요. 그래도 프록시를 잘 아는 사용자에겐 괜찮은 중간 지점이에요.
Indeed 스크래퍼 한눈에 비교
| 도구 | 유형 | 코딩 필요 여부 | 안티봇 처리 | 무료 요금제 | 내보내기 옵션 | 1,000개 공고/요청당 비용 | 추천 대상 |
|---|---|---|---|---|---|---|---|
| Thunderbit | Chrome 확장 프로그램 | 없음(2클릭) | 내장(클라우드 + 브라우저) | 월 6페이지 무료 | CSV, Excel, Sheets, Airtable, Notion, JSON | 약 $30/1,000행(Starter) | 채용 담당자, HR, 비기술 사용자 |
| Bright Data | 엔터프라이즈 API + 데이터셋 | 낮음~높음 | CAPTCHA 해결, 4억+ IP | 체험 크레딧 | JSON, CSV, NDJSON, API, 클라우드 | 약 $2.50/1,000 레코드(PAYG) | 엔터프라이즈 팀 |
| Apify | Actor 마켓플레이스 | 낮음(설정 UI) | Actor에 따라 다름 | 플랫폼 크레딧 5달러 | JSON, CSV, Excel, XML, RSS, JSONL | 약 $3/1,000개 목록 | 로우코드 사용자 |
| ScraperAPI | API | 있음 | 프록시 회전, JS 렌더링 | 5천 체험 크레딧 | HTML, JSON, text, markdown | 약 $4.90/1,000 보호 요청 | 예산형 개발자 |
| Scrapingdog | API | 있음 | 스텔스 모드, CAPTCHA | 1천 크레딧 | JSON, HTML, Markdown, CSV | 약 $2.00/1,000 보호 요청 | 저비용 API 사용자 |
| ZenRows | API + 노코드 스크래퍼 | 낮음~높음 | WAF 우회, CAPTCHA 우회 | 기본 1,000 + 보호 40 | CSV, JSON, HTML, Markdown | 약 $6.90/1,000 보호 요청 | 안티봇 안정성 |
| ScrapingBee | API | 있음 | 스텔스 프록시, JS 렌더링 | 1천 콜 | JSON, HTML, Markdown, CSV, NDJSON | 약 $4.90/1,000 보호 요청 | 개발자 편의성 |
| Oxylabs | 엔터프라이즈 API + 차단 해제기 | 있음 | CAPTCHA 우회, 1억 7,700만+ IP | 2천 결과 | JSON, HTML, PNG, Markdown | 약 $2.15~$2.35/1,000 | 대규모 프록시 인프라 |
| JobSpy | Python 라이브러리 | 있음(Python) | 직접 해결(최소) | 완전 무료 | DataFrame, CSV, Excel | $0(+ 프록시 비용) | Python 개발자 |
| Decodo | API + 프록시 | 낮음~높음 | JS 렌더링, CAPTCHA | 2천 요청 | HTML, JSON, CSV, PNG, Markdown | 약 $0.50/1,000 입문 | 프록시 우선 팀 |
안티봇 점수표: 실제로 돌아가는 Indeed 스크래퍼는?
| 도구 | Cloudflare 우회 | CAPTCHA 처리 | IP 회전 | 신뢰성 평가 |
|---|---|---|---|---|
| Thunderbit(클라우드 모드) | ✅ 내장 | ✅ 자동 처리 | ✅ 클라우드 IP | ⭐⭐⭐⭐ |
| Bright Data | ✅ 고급 | ✅ CAPTCHA 해결기 | ✅ 4억+ IP | ⭐⭐⭐⭐⭐ |
| Apify | ⚠️ Actor에 따라 다름 | ⚠️ Actor에 따라 다름 | ⚠️ 추가 기능 | ⭐⭐⭐ |
| ScraperAPI | ✅ 프록시 회전 | ✅ 자동 재시도 | ✅ 내장 | ⭐⭐⭐⭐ |
| Scrapingdog | ✅ 스텔스 모드 | ✅ CAPTCHA 해결 | ✅ 내장 | ⭐⭐⭐ |
| ZenRows | ✅ WAF 우회 | ✅ CAPTCHA 우회 | ✅ 프리미엄 프록시 | ⭐⭐⭐⭐½ |
| ScrapingBee | ✅ 스텔스 프록시 | ✅ Cloudflare 도구 | ✅ 내장 | ⭐⭐⭐⭐ |
| Oxylabs | ✅ 고급 | ✅ CAPTCHA 우회 | ✅ 1억 7,700만+ IP | ⭐⭐⭐⭐½ |
| JobSpy | ⚠️ 자주 깨짐 | ❌ 수동 | ❌ 직접 구성 | ⭐⭐ |
| Decodo | ✅ JS 렌더링 | ✅ CAPTCHA 처리 | ✅ 1억 2,500만+ IP | ⭐⭐⭐⭐ |
이 평가는 벤더 문서, 커뮤니티 증거, 방향성 벤치마크를 종합한 거예요. 실험실 인증 측정값이 아니라 실무에 기댄 편집 판단이고요.
무료 vs 유료 Indeed 스크래퍼: 실제로 뭘 얻을까?
포럼에서 제일 헷갈려 하는 지점이 바로 여기예요. "무료"는 도구마다 뜻이 완전히 달라요.
| 도구 | 무료 요금제 | 무료로 얻는 것 | 주의점 / 한계 |
|---|---|---|---|
| Thunderbit | ✅ 있음 | 월 6페이지, 무료 체험 10페이지, 모든 내보내기 무료 | 유료 티어는 크레딧 기반 |
| JobSpy | ✅ 완전 무료 | 무제한(오픈소스 Python) | 안티봇 없음; 자주 깨짐; Python 필요 |
| ScraperAPI | ✅ 5천 크레딧 | 약 5,000 API 호출 | 보호 요청은 건당 10~25 크레딧 소모 |
| Scrapingdog | ✅ 1천 크레딧 | 약 1,000 요청 | 스텔스 모드는 요청당 10크레딧 |
| ZenRows | ✅ 체험판 | 기본 1,000 + 보호 40 결과 | 14일 만료; 보호 할당량이 매우 적음 |
| ScrapingBee | ✅ 1천 콜 | 1,000 API 호출 | 강한 보호 스크래핑은 빠르게 비싸짐 |
| Apify | ✅ 5달러 크레딧 | 플랫폼 사용량 | Actor 사용으로 금방 소진될 수 있음 |
| Decodo | ✅ 2천 요청 | 약 2,000 요청 | 여전히 기술적 설정이 필요 |
| Oxylabs | ✅ 2천 결과 | 최대 2,000 결과 | 제품 구분이 초보자에게 헷갈릴 수 있음 |
| Bright Data | 체험판만 있음 | 1주일 동안 1,000 요청 | 체험 후 엔터프라이즈 온보딩 필요 |
핵심은 이거예요. JobSpy 같은 Python 라이브러리의 "무료"는 돈으론 공짜지만 시간이 비싸요. Cloudflare 차단, 프록시 설정, 레이아웃 변경 후 깨지는 문제를 잡느라 몇 시간 쓸 가능성이 높거든요. 반대로 Thunderbit 같은 도구의 무료 요금제는 소규모 사용에선 시간과 돈 둘 다 공짜에 가까워요. 이 차이는 분명히 존재해요. 그리고 비개발자들은 오픈소스 스크래퍼의 유지보수 비용을 과소평가하는 경우가 많다고 봐요.
구직 말고도: 팀이 Indeed 스크래퍼를 쓰는 5가지 방법
대부분은 Indeed 스크래핑이 구직자만을 위한 거라고 여겨요. 아니에요. Indeed Hiring Lab 경제학자 Chris Glynn은 “Indeed 게시글 데이터는 사실상 노동시장 그 자체”라고 표현했어요. 이 데이터가 갖는 비즈니스 가치는 다음 직장 찾기보다 훨씬 넓어요.
NBER 논문에 따르면 임금 공개 규정 덕에 공고 내 급여 공개가 약 30%포인트 늘었어요. 채용 사이트에서 급여를 뽑는 일의 가치가 몇 년 전보다 훨씬 커진 거죠. 한편 채용 팀의 **31%**만 노동시장 데이터를 인재 전략에 쓰고 있고, Payscale은 평균 조직이 지금 급여 데이터 소스를 3개 쓴다고 보고해요.
| 사용 사례 | 스크래핑해야 할 것 | 추천 도구 | 이유 |
|---|---|---|---|
| 💼 개인 구직 | 직무명, 링크, 급여 | JobSpy(무료), Thunderbit(노코드) | 적은 물량, 예산 친화적 |
| 📊 급여 벤치마킹 / 노동시장 조사 | 수천 개 공고의 급여, 위치, 직급 | Bright Data, Oxylabs, Apify | 대량 처리, 구조화된 출력 |
| 🏢 경쟁 채용 분석 | 고용주 공고, 인원 추세, 전체 채용 설명 | Thunderbit(하위 페이지 스크래핑), ZenRows | 목록 데이터를 상세 페이지로 보강 |
| 📧 채용 담당자 리드 생성 | 고용주 페이지의 회사명, 위치, 연락처 | Thunderbit(이메일/전화번호 추출기), Scrapingdog | 고용주 연락처 데이터 추출 |
| 🌐 구직 사이트 / 집계 서비스 | 전체 목록 데이터, 자동 갱신 | ScraperAPI + Decodo, Bright Data, Apify | 예약 실행, 대량 처리, 다중 형식 내보내기 |
Thunderbit의 하위 페이지 스크래핑은 경쟁 채용 분석에서 특히 쓸모가 커요. 목록 페이지를 먼저 긁은 뒤 각 채용 상세를 자동으로 들어가 전체 설명, 요구 사항, 복지까지 표를 빵빵하게 채워주거든요. 별도 설정도 필요 없어요. AI가 필드 매핑을 알아서 해줘요.
스크래핑에서 스프레드시트까지: Indeed 데이터 내보내기와 활용
제가 읽은 경쟁사 글들은 대개 "데이터를 얻는 법"에서 끊겨요. 그다음은 손도 안 대더라고요.
하지만 사용자들은 CSV로 내보내기, WordPress로 가져오기, 실제로 쓸 형식으로 정리하기를 분명히 물어봐요. 이건 아주 큰 실무 공백이에요.
도구별 내보내기 흐름을 견줘 보면 이래요.
- CSV/Excel 내보내기: Thunderbit는 무료 직접 다운로드를 줘요. JobSpy는 Python으로 DataFrame을 CSV로 뽑고요. API 도구들은 JSON을 내보내는데, 이걸 손이나 스크립트로 변환해야 해요.
- Google Sheets 연동: Thunderbit는 클릭 한 번으로 Sheets에 바로 내보내기가 돼요. 대부분의 API 도구는 Sheets로 옮기려면 Zapier나 커스텀 스크립트가 필요해요.
- Airtable/Notion: Thunderbit는 둘 다 네이티브로 내보내요. 경쟁 도구들은 중간 도구나 수동 가져오기를 거쳐야 하고요.
- CRM 가져오기: 영업·채용 팀이 고용주 리드를 파이프라인에 넣을 때, Thunderbit의 구조화된 출력(회사명, 위치, 연락처)은 CRM 가져오기에 바로 써먹어요. API 도구는 변환부터 거쳐야 하고요.
비기술 사용자에겐 스크래핑 엔진 자체보다, 스크래핑부터 정리된 표, 원하는 도구로 내보내기까지 이어지는 전 과정이 더 중요해요. 원시 JSON 덩어리를 보며 "이제 뭐 어쩌지?" 싶었던 적이 있다면, 무슨 말인지 바로 아실 거예요.
Indeed 스크래핑의 법적·윤리적 팁
짧게 주의사항을 둘게요. 이건 운영 가이드일 뿐 법률 자문이 아니에요. 본인 상황은 변호사와 상의하세요.
Indeed 법적 약관은 서면 허가 없이 봇, 스크래퍼, 스파이더, AI 시스템, 에이전트형 AI를 쓰는 걸 대놓고 금지해요. robots 지침은 일반 크롤러가 닿을 수 있는 고가치 경로를 상당수 막아두고요. 그렇다 해도 Indeed 데이터는 공개적으로 접근 가능하고, 채용 공고를 보는 데 로그인도 필요 없어요.
실무 권장사항은 이래요.
- 속도 제한을 존중하고, 급격한 대량 수집은 피하세요. Indeed의 60초 롤링 윈도우는 진짜예요.
- 로그인 게이트나 비공개 데이터는 긁지 마세요. 명확한 권한이 있을 때만 진행하세요.
- 개인 정보는 최소화하세요. 공개돼 있고, 목적과 관련된 정보만 모으세요.
- 서버에 과부하를 주지 마세요. 요청을 조절하세요. 웹의 좋은 시민이 돼야 해요.
웹 스크래핑을 둘러싼 법적 환경은 계속 바뀌고 있어요. 확신이 안 서면 보수적으로 가세요.
그래서 어떤 Indeed 스크래퍼를 골라야 할까?
이 10개를 다 훑은 뒤, 제 추천은 네 가지 변수로 정리돼요. 기술 수준, 수집량, 예산, 그리고 데이터를 어디로 보낼지예요.
- 비기술 사용자(채용 담당자, HR, 운영) → Thunderbit. Indeed 페이지에서 바로 쓸 스프레드시트까지 가장 빠른 길이에요. 코딩도 없고, 무료 내보내기도 있고, 하위 페이지 보강도 돼요.
- 예산을 아끼는 개발자 → Scrapingdog 또는 ScraperAPI. 안티봇 처리도 쓸 만한데 요청당 비용이 가장 낮은 편이에요.
- 엔터프라이즈 / 대규모 → Bright Data 또는 Oxylabs. 최고 수준 프록시 인프라, 가장 높은 안정성, 강한 지역 타깃팅이 무기예요.
- 무료 + 오픈소스 → JobSpy. Python을 알고, 잦은 깨짐을 감수할 수 있다면요.
- 로우코드 중간 지점 → Apify Indeed Scraper. 스케줄링과 데이터셋 저장이 되는 설정 UI가 있어요.
- 안티봇 최우선 → ZenRows. 엔터프라이즈 도구를 빼면 보호 사이트 성능이 가장 센 편이에요.
"최고의" Indeed 스크래퍼는 결국 본인이 누구이고 뭘 하려는지에 달려 있어요. 절대 강자는 없지만, 본인 상황에 맞는 도구는 분명히 있어요.
결제 전에 무료 요금제부터 써보세요. 대부분은 본인의 Indeed 쿼리에서 실제로 도는지 확인할 만큼은 무료로 줘요.
코드 없이 Indeed를 긁는 게 어떤 모습인지 보고 싶다면, Thunderbit 무료 체험을 한번 돌려보세요. 검색 결과에서 정리된 표까지 얼마나 빨리 가는지 아마 놀라실 거예요. 코딩 없이 웹 스크래핑하는 법이나 웹 스크래핑이 뭔지가 궁금하면 블로그에서 더 자세히 다뤄요. 영상으로 배우는 게 편하면 YouTube 채널에 안내 영상도 있어요.
즐거운 스크래핑 되세요. 403은 가능한 한 드물게 만나시길 바라요.
자주 묻는 질문
1. 코딩 없이 Indeed를 스크래핑할 수 있나요?
네. Thunderbit와 Apify 둘 다 노코드 또는 로우코드 경로를 줘요. 그중 Thunderbit가 진짜 노코드로는 제일 쉬워요. Chrome 확장 프로그램으로 Indeed 페이지에서 바로 돌아가고, 스크래핑부터 내보내기까지 전체가 코딩 없이 2분이면 끝나요.
2. Indeed를 스크래핑하는 건 합법인가요?
Indeed 채용 공고는 공개적으로 보이지만, 이용 약관은 서면 허가 없는 스크래핑을 대놓고 금지해요. robots.txt, 속도 제한, 그리고 적용되는 개인정보보호법(PIPA 등)을 지켜야 해요. 이건 법률 자문이 아니니, 본인 상황은 전문가와 상의하세요.
3. 가장 좋은 무료 Indeed 스크래퍼는 무엇인가요?
오픈소스 Python 사용자에겐 JobSpy가 완전 무료예요. 다만 Python 실력과 정기 유지보수가 필요해요. 노코드 사용자에겐 Thunderbit 무료 요금제(월 6페이지, 무료 내보내기)가 더 실용적이고요. 스크립팅 없이 스프레드시트로 바로 내보낼 수 있으니까요.
4. Indeed를 스크래핑할 때 Cloudflare는 어떻게 처리하나요?
안티봇 처리가 내장된 도구를 쓰세요. Thunderbit 클라우드 모드, Bright Data Web Unlocker, ZenRows 안티봇 API, ScraperAPI 프록시 회전, Scrapingdog 스텔스 모드는 모두 Cloudflare 챌린지를 자동으로 넘겨요. Indeed 공식 지원 문서도 이 경험의 일부가 Cloudflare 차단임을 확인해줘요.
5. Indeed 스크래핑 결과를 Google Sheets나 Excel로 내보낼 수 있나요?
Thunderbit는 Google Sheets, Excel/CSV, Airtable, Notion으로 무료 직접 내보내기를 지원해요. Apify는 데이터셋 저장으로 CSV, Excel, JSON 내보내기가 되고요. 대부분의 API 도구(ScraperAPI, ZenRows, ScrapingBee)는 JSON이나 HTML을 돌려줘서, 스프레드시트에 쓰기 전에 변환 단계가 한 번 더 필요해요.
Indeed 스크래핑을 위해 Thunderbit 사용해 보기 Get Started Free
더 알아보기
