웹은 해마다 더 복잡해지고, “이 데이터를 꼭 구해야 하는데”와 “그걸 어떻게 가져오는지 안다” 사이의 간극은 좀처럼 좁혀지지 않습니다. 초보자라면 가장 먼저 이런 질문이 떠오르기 마련입니다. 웹사이트에서 상품 가격 하나 가져오려고 꼭 Python부터 배워야 할까?
다행히 답은 “아니오”입니다. 하지만 그다음 질문인 *그럼 어떤 도구를 써야 하지?*에서부터 일이 복잡해집니다. 노코드 데스크톱 앱, 브라우저 확장 프로그램, Python 프레임워크, Go 라이브러리, SEO 전용 스파이더, 관리형 API, 오픈소스 프로젝트까지 선택지가 너무 많아 경계가 흐려집니다. 2026년에 주목할 만한 10가지 도구를 초보자가 실제로 중요하게 보는 기준, 즉 코딩 필요 여부, 실사용 가능한 데이터를 얼마나 빨리 얻을 수 있는지, JavaScript가 많은 사이트를 처리할 수 있는지, 무료로 무엇까지 가능한지, 그리고 실제로 어떤 용도에 잘 맞는지를 기준으로 비교했습니다. 코드를 한 줄도 써본 적이 없어도, 혹은 처음으로 크롤러 프레임워크를 써보려는 주니어 개발자여도, 여기서 시작점 하나는 찾을 수 있습니다.
초보자를 위한 최고의 웹 크롤러를 고른 기준
“초보자”는 “비기술자”를 뜻하지 않습니다. 웹 크롤링 워크플로를 직접 만들어 본 적이 없는 사람을 말합니다. 기본적인 Python이나 JavaScript를 다룰 수 있어도, URL 큐를 다루거나 robots.txt 파일을 맞닥뜨린 적이 없다면 여기에 포함됩니다.
각 도구는 초보자들이 포럼에서 실제로 묻는 질문과 맞닿아 있는 6가지 기준으로 평가했습니다.
- 코딩 필요 여부 — 없음, 기본 Python/JS, 또는 중급 이상
- 설정 난이도 — 설치 후 첫 데이터를 얻기까지 걸리는 시간
- JavaScript 렌더링 — SPA나 동적 로딩 페이지를 처리할 수 있는지
- 무료 플랜의 관대함 — 돈을 내기 전까지 어디까지 쓸 수 있는지
- 출력 형식 — CSV, JSON, Excel, Google Sheets 등
- 가장 잘 맞는 사용 사례 — 초보자에게 특히 강점을 보이는 구체적 상황
이 목록은 노코드(프로그래밍 불필요), 중급(기본 Python 또는 JavaScript), 상급 초보(Go 또는 프레임워크에 대한 더 깊은 이해 필요) 세 가지 수준으로 나뉩니다. 각 도구의 장점과 한계를 솔직하게 정리하려고 했습니다. 자기 수준에 맞지 않는 크롤러를 고르면, 반나절을 허무하게 날리기 가장 쉽기 때문입니다.
첫 웹 크롤러를 고르는 빠른 결정 흐름도
10개 도구 리뷰를 보기 전에, 아래 세 가지 질문에 답해보세요. 답의 교차점이 잘 맞는 1~2개 도구를 가리켜 줍니다.
질문 1: 코딩에 얼마나 익숙한가요?
- 전혀 못함 → 질문 2a로 이동
- 기본 Python 가능 → 질문 2b로 이동
- JavaScript/TypeScript 가능 → 질문 2c로 이동
- Go 가능 → Colly
질문 2a (노코드): 주된 목표는 무엇인가요?
- 일반적인 데이터 추출(상품 정보, 리드 목록, 리서치) → Thunderbit 또는 Octoparse
- 복잡한 다단계 흐름(로그인, 드롭다운, 무한 스크롤) → ParseHub 또는 Octoparse
- SEO 진단 → Screaming Frog
질문 2b (Python): 주된 목표는 무엇인가요?
- AI/LLM 파이프라인(RAG, 챗봇 학습) → Crawl4AI 또는 Firecrawl
- 대부분 정적인 사이트를 대규모로 구조화해서 크롤링 → Scrapy
- JavaScript가 많은 사이트의 브라우저 자동화 → Playwright (단, 크롤링 로직은 직접 구성 필요)
질문 2c (JavaScript/TypeScript): 주된 목표는 무엇인가요?
- 차단 방지 기능이 필요한 현대적 SPA 크롤링 → Crawlee
- 복잡한 브라우저 상호작용(로그인, 클릭, 스크린샷) → Playwright
- AI 입력용 깔끔한 마크다운 출력 → Firecrawl(API/SDK 통해)
예산 필터: 소프트웨어 예산이 0달러이고 직접 호스팅할 수 있다면, 이 목록의 오픈소스 도구들(Scrapy, Crawlee, Crawl4AI, Playwright, Colly)은 벤더가 정한 페이지 한도가 없습니다. 다만 연산 자원, 대역폭, 저장소, 유지보수, 대상 사이트의 제약은 여전히 적용됩니다. 직접 호스팅이 어렵다면 Octoparse, ParseHub, Thunderbit, Firecrawl, Screaming Frog은 각각 무료 경로를 제공하지만 제한 방식은 다릅니다.
이 흐름도 하나만으로도 탭을 이리저리 옮겨 다니는 시간을 크게 줄일 수 있습니다. 북마크해 두세요.
한눈에 보는 초보자용 웹 크롤러 비교
아래는 전체 비교표입니다. “코딩 필요 여부”는 필요한 언어가 있는지 알려주고, “JS 렌더링”은 JavaScript로 콘텐츠를 불러오는 페이지를 처리할 수 있는지 보여줍니다. “무료 플랜”은 0달러로 무엇을 얻는지 요약합니다. 자세한 리뷰는 아래에서 이어집니다.
| 도구 | 숙련도 | 코딩 필요 여부 | JS 렌더링 | 무료 플랜 | 가장 적합한 용도 |
|---|---|---|---|---|---|
| Octoparse | 초보자 | 없음 | ✅ 내장 | 무료 플랜: 10개 작업, 로컬 전용, 내보내기 1만 행 | 구조화된 사이트를 클릭 중심으로 스크래핑 |
| ParseHub | 초보자 | 없음 | ✅ 내장 | 공개 프로젝트 5개, 실행당 200페이지, 14일 보관 | 코드 없이 복잡한 다단계 흐름 처리 |
| Thunderbit | 초보자 | 없음 | ✅ 브라우저 통해 지원 | 무료 플랜(현재 제한 확인) | 현재 보고 있는 페이지에서 AI 보조 추출 |
| Crawl4AI | 중급 | Python | ✅ Chromium | 오픈소스(직접 호스팅) | RAG 파이프라인용 LLM 친화 크롤링 |
| Firecrawl | 중급 | API/SDK | ✅ 관리형 | 월 1,000 크레딧(클라우드) | AI 입력용 깔끔한 마크다운 출력 |
| Scrapy | 중급 | Python | ⚠️ 플러그인 필요 | 오픈소스(BSD) | 대규모 맞춤형 HTTP 크롤링 프로젝트 |
| Crawlee | 중급 | JS/TS 또는 Python | ✅ Playwright 통해 지원 | 오픈소스(Apache) | 차단 방지 기능이 포함된 최신 JS 크롤링 |
| Playwright | 중급 | Python/JS/Java/.NET | ✅ 기본 제공 | 오픈소스(Apache) | 브라우저 자동화 + JS 중심 사이트 상호작용 |
| Screaming Frog | 초보자 | 없음 | ✅(유료만) | 500 URLs/크롤(영구 무료) | SEO 진단 및 기술적 사이트 분석 |
| Colly | 상급 초보 | Go | ⚠️ 기본 내장 없음 | 오픈소스(Apache) | 빠르고 가벼운 동시 HTTP 크롤링 |
이제 상세 내용을 살펴보겠습니다.
1. Octoparse
Octoparse는 노코드 데스크톱 작업 빌더로, 선택적으로 유료 클라우드 실행도 제공합니다. URL을 붙여넣고 Auto-detect가 반복되는 데이터 필드와 페이지 이동 패턴을 찾아주게 한 뒤, 미리보기를 확인하고 로컬에서 작업을 실행합니다. 시각적 워크플로 편집기는 반복, 분기, 페이지네이션, 무한 스크롤, AJAX, 폼, 드롭다운을 지원하지만, 동적 흐름은 수동으로 타이밍을 조정해야 할 때도 있습니다.
주요 기능:
- 데이터 필드와 페이지 이동을 자동 감지
- 내부 브라우저를 통한 JavaScript 렌더링 기본 지원
- 자주 쓰는 사이트용 사전 제작 템플릿 수백 개
- 사용자 지정 루프, 분기, 선택자 제어가 가능한 편집형 워크플로
- Excel, CSV, HTML, JSON, XML, Google Sheets, 데이터베이스로 내보내기(요금제에 따라 다름)
가격: 제한된 무료 플랜은 로컬 실행을 지원합니다. 클라우드 실행, 일정 예약, IP 회전, API 접근은 유료 플랜이 필요합니다. 플랜 제한은 바뀔 수 있으니 가입 전 최신 가격을 확인하세요.
추천 대상: 코드를 쓰지 않고도 이커머스, 디렉터리, 목록형 사이트에서 반복적이고 구조화된 데이터를 추출하고 싶은 초보자. 브라우저 확장처럼 가볍게 쓰고 싶거나 LLM 친화적인 출력이 필요하다면 덜 적합합니다.
2. ParseHub
ParseHub는 Windows, macOS, Linux(AppImage 경유)에서 사용할 수 있는 다운로드형 시각적 추출 도구입니다. 명령 트리 인터페이스로 선택, 클릭, 폼 입력, 스크롤, 페이지 템플릿을 모델링합니다. AJAX/JavaScript, 드롭다운, 탭, 팝업, 페이지네이션, 로그인 폼, 무한 스크롤을 지원합니다.
주요 기능:
- 다단계 추출 흐름을 위한 시각적 명령 트리
- AJAX, JavaScript, 드롭다운, 탭, 무한 스크롤 처리
- 크로스플랫폼 데스크톱 앱(Windows, macOS, Linux)
- 프로그래밍 방식 데이터 조회를 위한 API 접근
- CSV 및 JSON 내보내기
가격: 무료와 유료 플랜이 있습니다. 청구 대상 “페이지”는 URL일 수도 있고, 클릭이나 스크롤로 발생한 동적 로딩일 수도 있어 페이지 할당량이 곧 URL 개수와 같지는 않습니다. 플랜을 고르기 전에 현재 프로젝트, 실행, 보관 제한을 꼭 확인하세요.
개인정보 주의사항: 로그인 입력값과 프로젝트 데이터를 도구가 어떻게 저장하는지 확인하기 전에는 실제 운영용 자격증명을 제3자 크롤러에 입력하지 마세요. 평가용으로는 제한된 테스트 계정을 사용하세요.
추천 대상: 코드 없이도 동적이고 다단계인 사이트(복잡한 탐색, 드롭다운, 스크롤 기반 로딩)가 필요한 초보자.
ParseHub vs. Octoparse: 핵심 차이
둘 다 JavaScript를 처리하는 노코드 데스크톱 도구입니다. ParseHub의 명령 트리 방식은 다단계 흐름을 더 명시적으로 제어할 수 있어 복잡한 탐색에는 유리하지만, 단순 작업에는 진입 장벽이 조금 더 높습니다. Octoparse의 Auto-detect는 단순한 구조화 사이트에서 더 빠르게 시작할 수 있고, 무료 플랜의 내보내기 한도도 더 넉넉합니다. 대상 사이트가 대부분 표와 목록이라면 Octoparse부터 시작하세요. 일련의 클릭, 폼 입력, 조건 분기를 모델링해야 한다면 ParseHub 방식이 더 명확할 수 있습니다.
3. Thunderbit
Thunderbit은 Chrome과 Edge용 AI 웹 스크래핑 브라우저 확장 프로그램으로, 지금 보고 있는 페이지에서 바로 데이터를 추출하고 싶은 비기술 사용자에게 맞춰 설계되었습니다. (완전한 고지: 저는 Thunderbit에서 일하고 있으므로, 장점과 한계를 모두 솔직하게 말씀드리겠습니다.)
주요 기능:
- AI Suggest Fields가 페이지 내용에 따라 열을 자동 감지
- 추출 중 분류, 번역, 포맷, 정규화를 위한 필드별 AI 프롬프트
- Excel/CSV, Google Sheets, Airtable, Notion으로 내보내기
- Browser Mode는 사용자의 렌더링된 세션을 활용해 호환되는 페이지의 JavaScript 로딩 콘텐츠 처리
- 브라우저 확장 프로그램 외 별도 설치 불필요
가격: 현재 무료 플랜에는 월 6페이지, 페이지당 최대 30크레딧이 포함됩니다. Starter는 월 $15 또는 연간 결제 시 월 $9로, 페이지네이션, 하위 페이지 스크래핑, 대량 스크래핑, 데이터 보강, 사전 제작 스크래퍼, 예약 실행을 추가합니다. 최신 가격은 여기에서 확인하세요.
알아둘 제한사항: Thunderbit는 전체 도메인을 무작정 훑는 스파이더가 아니라, 페이지/스키마 중심 도구입니다. 페이지네이션과 하위 페이지 스크래핑은 무료가 아니라 Starter 기능입니다. AI가 추천한 필드는 스크래핑 전 반드시 검토해야 합니다. 추천이 꽤 좋지만, 항상 완벽한 것은 아니기 때문입니다.
추천 대상: 브라우저에서 열어 둔 페이지의 구조화된 데이터를 AI 도움으로 손쉽게 가져오고 싶은 영업, 운영, 리서치 팀. 호환되는 페이지에서 표나 목록, 기록 세트를 빠르게 가져와 스프레드시트로 내보내려면 제가 아는 가장 빠른 경로입니다.
AI 보조 추출이 실제로 어떻게 작동하는지 더 알고 싶다면 AI 웹 스크래핑 가이드를 참고하세요.
4. Crawl4AI
Crawl4AI는 LLM 워크플로를 위한 깔끔한 출력을 만들도록 설계된 오픈소스, 브라우저 우선 Python 크롤러입니다. 원본 HTML과 정제된 HTML, 여러 형태의 마크다운, 구조화된 추출 콘텐츠, 링크, 미디어, 표, 스크린샷, PDF, MHTML을 출력합니다.
주요 기능:
- 내부적으로 Chromium/Playwright를 사용하는 AsyncWebCrawler
- RAG 파이프라인과 에이전트 워크플로에 최적화된 다양한 출력 형식
- 관련 링크를 우선 탐색하고 충분한 정보가 모이면 중단하도록 설계된 적응형 크롤링
- Ollama 같은 로컬 제공자나 클라우드 API를 활용한 선택적 LLM 추출
- 추가 저작자 표시 요구가 있는 Apache-2.0 라이선스
가격: 완전한 오픈소스이며 페이지당 비용이 없습니다. 인프라는 직접 호스팅하고, LLM 추론이 필요하다면 그 비용만 부담하면 됩니다(로컬 또는 클라우드).
한계: Python의 async에 대한 이해와 브라우저 의존성이 필요합니다. 추출 품질은 사용한 LLM(사용하는 경우)에 따라 달라집니다. 적응형 크롤러는 정보 충분성 신호를 바탕으로 관련 링크를 우선순위화할 뿐, CSS 선택자를 영구적으로 학습하거나 자동 복구하지는 않습니다.
추천 대상: 벤더의 요청당 비용 없이 완전한 제어를 원하는 중급 Python 사용자, 특히 AI 데이터 파이프라인을 만드는 경우.
5. Firecrawl
Firecrawl은 Python과 Node.js용 SDK를 제공하는 관리형 웹 데이터 API이며, AGPL 라이선스의 자체 호스팅 코드베이스도 함께 제공합니다. 클라우드 서비스는 JavaScript 렌더링을 처리하고 Markdown, 요약, HTML, 링크, 이미지, 스크린샷, JSON, 변경 추적 결과를 반환합니다.
주요 기능:
- 경로 필터, 탐색 깊이, 사이트맵, 제한, 지연, 동시성 제어를 지원하는
/crawl엔드포인트 - 관리형 클라우드에서 자동 JavaScript 렌더링
- 깔끔한 Markdown을 포함한 다양한 출력 형식
- 빠른 사이트 구조 파악을 위한
/map엔드포인트 - 기본 크롤링과 분리된 다단계 상호작용용 Browser/Interact 및 베타 에이전트 경로
가격: Cloud Free는 월 1,000 크레딧이며 동시 요청 2개와 낮은 속도 제한이 적용됩니다. 유료 플랜은 크레딧과 동시성 기준으로 구성되어 있으니 최신 수치는 가격 페이지를 확인하세요. 자체 호스팅은 인프라와 유지보수를 직접 관리해야 하며, 관리형 클라우드의 모든 기능이 포함되지는 않습니다.
한계: 기본 /crawl은 링크와 사이트맵을 통해 URL을 재귀적으로 찾지만, 임의의 클릭 기반 페이지네이션을 보장하지는 않습니다. 크레딧 소모는 작업 유형에 따라 달라집니다. 자체 호스팅과 클라우드의 기능 범위가 다릅니다.
추천 대상: 웹사이트 콘텐츠를 LLM, 챗봇, 지식베이스에 넣어야 하고, 브라우저 스택을 직접 운영하기보다 관리형 서비스를 원하는 중급 사용자.
Firecrawl vs. Crawl4AI: AI 파이프라인에는 무엇이 더 나을까?
Firecrawl은 깔끔한 API로 관리형 Markdown 변환을 잘합니다. URL을 보내면 구조화된 결과를 돌려줍니다. Crawl4AI는 브라우저를 직접 제어하고 필요 시 LLM을 붙일 수 있는 로컬 우선 방식이 강점입니다. 인프라 관리를 최소화하고 싶다면 Firecrawl 클라우드가 더 쉽습니다. 벤더의 페이지 과금 없이 완전한 자체 호스팅을 원하고 Python async에 익숙하다면 Crawl4AI가 더 많은 제어권을 줍니다.
6. Scrapy
Scrapy는 Twisted 비동기 엔진 위에 구축된, 오래된 BSD 라이선스의 Python 크롤링 및 스크래핑 프레임워크입니다. 요청 스케줄링, 링크 추적, 중복 제거, 미들웨어, 재시도, 스로틀링, 파이프라인, 그리고 JSON, JSON Lines, CSV, XML, pickle, marshal로의 피드 내보내기를 제공합니다.
주요 기능:
- 대규모지만 범위가 명확한 크롤링에 적합한 비동기 요청 처리
- 폭넓은 미들웨어 생태계(프록시, 재시도, 속도 제한, 사용자 지정 헤더)
- 데이터 정제와 저장을 위한 구조화된 파이프라인 아키텍처
- 방대한 커뮤니티, 문서, 서드파티 확장 기능
- 완전한 오픈소스(BSD 라이선스)
한계: 기본 JavaScript 렌더링이 없습니다. 공식 동적 콘텐츠 가이드는 가능하면 실제 데이터 소스를 찾거나, scrapy-playwright처럼 브라우저/렌더링 컴포넌트를 의도적으로 통합하라고 권장합니다. spider, middleware, item pipeline, settings 구조는 학습 곡선이 꽤 있습니다.
가격: 무료입니다. 직접 호스팅하면 됩니다.
추천 대상: 규모가 크고 대부분 정적이거나 서버 렌더링된 웹사이트를 크롤링해야 하는 중급 Python 사용자.
Scrapy 시작하기: 주석이 달린 빠른 시작
설치부터 첫 데이터까지 가는 최소 경로는 다음과 같습니다.
pip install scrapy
scrapy startproject beginner_crawl
cd beginner_crawl
scrapy genspider example example.com
beginner_crawl/spiders/example.py를 열고 아래처럼 수정합니다.
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
allowed_domains = ["example.com"] # 이 도메인 안에서만 탐색
start_urls = ["https://example.com"] # 시작 URL
custom_settings = {
"ROBOTSTXT_OBEY": True, # robots.txt 준수
"DOWNLOAD_DELAY": 2, # 요청 사이 2초 대기
"CLOSESPIDER_PAGECOUNT": 10, # 10페이지 후 중지(안전 장치)
"USER_AGENT": "Beginner-Crawl-Bot (+https://yoursite.com/bot-info)",
}
def parse(self, response):
yield {
"title": response.css("title::text").get(),
"url": response.url,
}
# 페이지의 링크를 따라감(allowed_domains 내부만)
for link in response.css("a::attr(href)").getall():
yield response.follow(link, callback=self.parse)
실행:
scrapy crawl example -o output.json
규모를 키우기 전에 scrapy shell "https://example.com"에서 셀렉터를 먼저 시험해 보세요. Python 경험에 따라 설정 시간은 크게 달라집니다. 가상환경이나 터미널 명령이 익숙하지 않다면 10분 만에 끝나긴 어렵습니다.
7. Crawlee
Crawlee는 Apify가 유지보수하는 JavaScript/TypeScript와 Python용 Apache 라이선스 크롤러 라이브러리입니다. HTTP 전용 클래스(CheerioCrawler 등)와 Playwright/Puppeteer 브라우저 크롤러, 요청 큐, 데이터셋, 세션 처리, 재시도, 경계 제어를 제공합니다.
주요 기능:
- 프로젝트별로 HTTP 우선(CheerioCrawler) 또는 풀 브라우저(PlaywrightCrawler) 선택 가능
- 내장 요청 큐, 중복 제거, 데이터셋 저장
- 세션 관리, 브라우저 지문, 재시도, 요청 경계 제어
- TypeScript 우선이지만 Python 지원도 안정적
- 공식 빠른 시작은 HTML에 데이터가 있으면 HTTP 우선을 권장
가격: 무료입니다. 오픈소스, 직접 호스팅.
한계: JavaScript/TypeScript 또는 Python 지식이 필요합니다. Scrapy보다 커뮤니티 문서가 적습니다. 차단 방지 기능은 접근 권한을 보장하지 않습니다. 탐지 위험을 줄일 수는 있어도, 승인받지 않은 크롤링을 허용하는 것은 아닙니다.
추천 대상: 내장 큐 관리와 차단 방지 기능이 필요한 중급 JavaScript 개발자, 특히 현대적인 SPA와 JS 렌더링 사이트를 크롤링할 때.
Crawlee 빠른 시작: 설치부터 첫 데이터까지
npx crawlee create my-crawler
cd my-crawler
설정 프롬프트가 뜨면 Playwright 템플릿을 선택하세요.
src/routes.ts의 핸들러를 수정해 필요한 데이터를 추출한 뒤:
npm start
결과는 로컬 데이터셋 디렉터리에 JSON으로 저장됩니다. 테스트를 넘어 확장하기 전에 maxRequestsPerCrawl, 깊이 제한, 동일 도메인 규칙, 적절한 동시성 제한을 추가하세요.
8. Playwright
Playwright는 Python, Node.js, Java, .NET을 지원하는 Microsoft의 Apache 라이선스 브라우저 자동화 프레임워크입니다. 실제 Chromium, Firefox, WebKit 브라우저를 조작하므로 JavaScript로 콘텐츠를 불러오는 페이지, 로그인 플로우, 복잡한 상호작용이 필요한 페이지에 매우 적합합니다.
주요 기능:
- 세 가지 엔진 전반에서 실제 브라우저 렌더링 지원
- SPA, 로그인 플로우, 클릭, 폼 입력, 파일 다운로드, 스크린샷, PDF 처리
- 다언어 지원(Python, JS/TS, Java, .NET)
- 훌륭한 문서와 활발한 개발
- 네트워크 가로채기와 요청 모킹
Playwright가 아닌 것: 완전한 크롤러는 아닙니다. 기본 URL 프런티어, 중복 제거 큐, 정중한 크롤링 정책, 재시도 모델, 데이터 피드 내보내기를 제공하지 않습니다. 이런 부분은 직접 만들거나, 이를 제공하는 Crawlee 같은 프레임워크와 함께 사용해야 합니다.
가격: 무료입니다. 오픈소스.
추천 대상: JavaScript가 많은 사이트나 로그인 보호가 있는 사이트에서 브라우저 상호작용을 자동화해야 하고, 그 위에 직접 크롤링 로직을 구성할 수 있는 중급 개발자.
9. Screaming Frog
Screaming Frog SEO Spider는 Windows, macOS, Linux용 데스크톱 기술 SEO 크롤러입니다. 범용 데이터 추출 도구는 아니고, 깨진 링크, 리디렉션 체인, 중복 콘텐츠, 누락 메타데이터, 기타 수백 가지 기술 SEO 문제를 찾는 데 가장 널리 쓰입니다.
주요 기능:
- 무료로 최대 500 URL 크롤링 가능(체험판 아님, 영구 무료)
- 깨진 링크, 리디렉션 체인, 중복 콘텐츠, 누락 메타데이터 탐지
- 페이지 제목, 메타 설명, 헤딩, 이미지 등을 위한 상세 탭
- 유료 버전은 JavaScript 렌더링, 크롤 저장, 사용자 지정 추출, GA/GSC 연동, AI 연동 (OpenAI, Gemini, Anthropic, Ollama) 추가
가격: 무료 버전은 500 URL/크롤 한도로 영구 제공되지만, JavaScript 렌더링, 고급 설정, 사용자 지정 추출, 연동 기능은 제외됩니다. 라이선스는 연간 사용자당 £199 / $279 / €245입니다.
한계: SEO가 아닌 사용자에게는 학습 곡선이 가파릅니다. 로컬 기기 자원을 많이 사용합니다(대규모 사이트에서는 메모리 병목이 생길 수 있음). 월 구독 옵션이 없습니다. 범용 데이터 추출용이 아니라 감사 도구입니다.
추천 대상: SEO 진단과 기술적 사이트 분석에 집중하는 초보자. 상품 데이터 추출이나 리드 목록 구축이 목적이라면 다른 도구를 보세요.
10. Colly
Colly는 콜백 기반 API, 동시성 제어, 세션/쿠키, 큐, 캐싱, 교체 가능한 저장 백엔드를 제공하는 Apache 라이선스의 Go HTTP 크롤러/스크래퍼 프레임워크입니다.
주요 기능:
- 자원 사용이 적고 빠른 동시 HTTP 크롤링
- 깔끔한 콜백 중심 API
- 내장 쿠키/세션 처리와 캐싱
- LimitRule을 통한 도메인 단위 속도 제한
- 현재 설치:
go get github.com/gocolly/colly/v2
초보자가 꼭 알아야 할 주의점: Colly의 현재 소스는 기본값으로 IgnoreRobotsTxt = true를 초기화합니다. 반드시 이를 false로 명시적으로 설정하고, 적절한 지연과 병렬성을 가진 LimitRule을 구성해야 합니다. 이 작업을 하지 않으면 robots.txt를 무시하게 되고 대상 서버에 과부하를 주기 쉽습니다.
가격: 무료입니다. 오픈소스.
한계: Go 프로그래밍 지식이 필요합니다. 기본 JavaScript 렌더러나 범용 피드 내보내기가 없어서 출력은 직접 직렬화해야 합니다. Python 기반 도구보다 커뮤니티 규모가 작습니다.
추천 대상: Go를 아는 상급 초보자가 정적 사이트나 API용으로 빠르고 가벼운 HTTP 크롤러가 필요할 때. 단, robots 규칙과 속도 제한을 직접 설정할 수 있어야 합니다.
유료 전환 전에 실제로 무엇을 얻는가: 무료 플랜 비교
예산에 민감한 초보자들이 가장 궁금해하는 부분입니다. 아래 모든 도구는 두 범주로 나뉩니다. 하나는 freemium 제품(제한은 있지만 인프라 부담이 거의 없는 것), 다른 하나는 오픈소스 도구(페이지 제한은 없지만 모든 것을 직접 호스팅해야 하는 것)입니다.
Freemium / 데스크톱 무료 플랜
| 도구 | 무료 한도 | 프로젝트/작업 한도 | 내보내기 제한 | 기간 제한 여부 | 핵심 제한 사항 |
|---|---|---|---|---|---|
| Octoparse | 크롤링 페이지 무제한 | 10개 작업 | 내보내기 1만 행, 월 5만 행 | 아님(영구) | 클라우드, 예약, IP 회전, API |
| ParseHub | 실행당 200페이지 | 공개 프로젝트 5개 | CSV/JSON | 아님(영구) | 프로젝트/데이터가 공개될 수 있음, 14일 보관 |
| Thunderbit | 월 6페이지 | 해당 없음 | Excel/CSV, Sheets, Airtable, Notion | 아님(영구) | 페이지네이션, 하위 페이지, 대량 작업, 예약은 Starter |
| Firecrawl | 월 1,000 크레딧 | 해당 없음 | 모든 형식 | 아님(영구) | 동시 요청 2개, 낮은 속도 제한 |
| Screaming Frog | 500 URL/크롤 | 실행 횟수 무제한 | 제한된 내보내기 | 아님(영구) | JS 렌더링, 크롤 저장, 사용자 지정 추출, 연동 기능 |
오픈소스 도구(직접 호스팅)
| 도구 | 페이지 한도 | 라이선스 | 비용이 드는 항목 |
|---|---|---|---|
| Scrapy | 없음 | BSD | 연산 자원, 대역폭, 저장소, 선택적 브라우저 통합 |
| Crawlee | 없음 | Apache | 연산 자원, 대역폭, 브라우저 프로세스 |
| Crawl4AI | 없음 | Apache-2.0 + 저작자 표시 | 연산 자원, 브라우저 프로세스, 선택적 LLM 추론 |
| Playwright | 없음 | Apache | 연산 자원, 브라우저 프로세스(CPU/메모리 소모 큼) |
| Colly | 없음 | Apache | 연산 자원, 대역폭 |
소프트웨어 예산이 0달러이고 코딩이 가능하다면, 오픈소스 도구들은 벤더 페이지 할당량을 피할 수 있습니다. 다만 인프라, 대상 사이트의 제한, 운영 비용은 여전히 남습니다. 코딩이 어렵다면 Octoparse, ParseHub, Thunderbit가 무료 경로를 제공합니다. 대신 한도와 개인정보 조건은 꼭 확인하세요.
첫 10분: 3가지 숙련도별 빠른 시작 가이드
이론도 좋지만, 직접 해보는 게 더 중요합니다. 아래는 세 가지 대표 도구를 사용해 0에서 첫 데이터 내보내기까지 가는 방법입니다. 각 숙련도별로 하나씩 골랐습니다.
노코드 경로: Thunderbit 시작하기
- Thunderbit 브라우저 확장 프로그램을 설치합니다.
- 대상 페이지로 이동합니다(예: 상품 목록, 디렉터리, 검색 결과 페이지)
- Thunderbit 아이콘을 클릭하고 AI Suggest Fields를 선택합니다. AI가 페이지 내용을 바탕으로 열을 자동 감지합니다.
- 추천된 필드를 검토하고 수정합니다(이름 변경, 삭제, 열 추가, 분류나 포맷용 Field AI Prompts 추가)
- Scrape를 클릭합니다.
- 확장 프로그램에서 결과를 확인한 뒤 Excel, Google Sheets, Airtable, Notion으로 내보냅니다.
호환되는 페이지라면, 이 과정은 프로그래밍 프로젝트라기보다 짧은 설정 작업에 가깝게 설계되어 있습니다.
더 자세한 단계별 안내는 Thunderbit로 웹페이지에서 데이터 추출하기 가이드를 참고하세요.
Python 초보 경로: Scrapy 시작하기
위의 Scrapy 섹션에 있는 주석 달린 빠른 시작을 참고하세요. 핵심 명령은 pip install scrapy, scrapy startproject, 스파이더 수정, ROBOTSTXT_OBEY = True와 DOWNLOAD_DELAY 설정, 그리고 scrapy crawl example -o output.json입니다. 규모를 키우기 전에 scrapy shell에서 선택자를 테스트하세요. 걸리는 시간은 Python 환경 경험에 따라 다릅니다.
JavaScript 경로: Crawlee 시작하기
위의 Crawlee 빠른 시작을 참고하세요. npx crawlee create my-crawler를 실행하고 Playwright 템플릿을 선택한 뒤, 핸들러를 수정하고 npm start를 실행합니다. 결과는 로컬 데이터셋 디렉터리에 JSON으로 저장됩니다. 확장하기 전에 maxRequestsPerCrawl과 도메인 제약을 추가하세요.
크롤러 프로젝트가 어떻게 구성되는지 더 길게 보고 싶다면, 다음 강의도 유용한 동반 자료입니다.
첫 크롤을 망치는 초보자 실수 5가지와 피하는 법
이 문제들은 포럼에서 정말 자주 보이지만, 상위 랭킹 글들에서는 의외로 전용 섹션으로 다루지 않습니다.
실수 1: JavaScript 렌더링 사이트에 HTTP 전용 크롤러를 쓰는 것
문제: 요즘 많은 사이트는 초기 HTML 응답 이후 JavaScript로 데이터를 불러옵니다. 단순 HTTP 요청만 보내면 <div>만 비어 있는 껍데기 페이지가 돌아오고, 데이터는 없습니다.
해결: 도구를 고르기 전에 대상 페이지를 열고 오른쪽 클릭 후 소스 보기를 해보세요. 필요한 데이터가 원본 HTML에 없다면 Playwright, Crawlee의 PlaywrightCrawler, 혹은 Thunderbit이나 Octoparse처럼 브라우저에서 렌더링하는 노코드 도구가 필요합니다. 다만 HTTP만으로 충분한데 굳이 브라우저를 기본값으로 쓰지는 마세요. 비용과 복잡성만 늘어납니다.
실수 2: robots.txt와 Crawl-Delay 규칙 무시하기
문제: robots.txt는 지정된 크롤러 토큰이 어떤 경로에 접근할 수 있는지 알려주는 표준입니다. 사이트의 크롤링 정책을 무시하면 차단, 운영 피해, 컴플라이언스 리스크로 이어질 수 있습니다.
해결: 크롤링 전에는 항상 yoursite.com/robots.txt를 확인하고, 선택한 도구의 실제 기본 동작도 검증하세요. 기본값은 다릅니다. 예를 들어 Colly는 IgnoreRobotsTxt = true로 초기화되므로 명시적 설정이 필요합니다. robots.txt는 크롤링 제어 신호일 뿐 법적 허가가 아닙니다. 허용된 경로라고 해서 어떤 목적의 수집이나 재사용까지 허가되는 것은 아닙니다.
실수 3: 속도 제한 없이 너무 많은 요청 보내기
문제: 초당 수백 개의 요청을 쏟아붓는 것은 대상 서버를 압박하고 IP 차단을 부를 수 있으며, 일반적으로도 좋지 않은 관행입니다.
해결: 반드시 지연을 설정하세요. Scrapy에서는 DOWNLOAD_DELAY = 2와 낮은 CONCURRENT_REQUESTS_PER_DOMAIN을 사용합니다. Colly에서는 LimitRule에 지연과 병렬성 값을 넣으세요. 클라우드/노코드 도구는 보통 이를 자동으로 처리하지만, 설정을 확인해야 합니다. 도메인당 동시 요청 1개부터 시작해서 사이트 동작과 약관이 허용할 때만 조금씩 늘리세요.
실수 4: 작은 프로젝트에 엔터프라이즈급 도구를 고르는 것
문제: 500페이지짜리 프로젝트에 분산 Scrapy 클러스터, 프록시 회전, 메시지 큐를 구성하는 건 장보러 세미트럭을 빌리는 것과 같습니다.
해결: 다시 결정 흐름도로 돌아가세요. 도구의 복잡도를 프로젝트 규모에 맞추세요. 짧고 한 번만 필요한 추출이라면 브라우저 확장이나 간단한 스크립트가 거의 항상 정답입니다.
실수 5: 출력 데이터를 검증하지 않는 것
문제: 초보자들은 데이터를 내보내고 나서 확인을 안 했다가, 나중에 행의 절반이 비어 있거나 중복되거나 깨져 있다는 걸 발견합니다.
해결: 전체 크롤을 돌리기 전에 항상 처음 10~20행을 샘플로 확인하세요. 빈 필드, 인코딩 문제(mojibake), 중복 행, 예상치 못한 값이 있는지 보세요. 시작 전에 기대하는 스키마를 정의하세요. 어떤 열이 있어야 하는지, 어떤 데이터 타입이어야 하는지, 어떤 필드가 필수인지 정해 두세요. 크롤이 성공적으로 끝났다고 해서 데이터가 정확하다는 뜻은 아닙니다.
“LLM-Ready Output”이란 무엇이며, AI를 만들지 않아도 왜 중요한가
2026년의 크롤러 마케팅에서는 “LLM-ready”라는 표현이 어디서나 보입니다. 대부분의 설명은 이미 벡터 데이터베이스가 뭔지 안다고 가정합니다. 여기서는 쉽게 풀어보겠습니다.
LLM-ready output은 GPT나 Claude 같은 AI 모델이 별도 정리 없이 바로 읽을 수 있는, 깨끗하고 구조화된 텍스트를 뜻합니다. 광고, 내비게이션 메뉴, 쿠키 배너가 그대로 붙어 있는 웹페이지 인쇄물 더미를 주는 것과, 잘 정리된 스프레드시트를 건네는 것의 차이라고 생각하면 됩니다.
챗봇을 만들지 않더라도 왜 신경 써야 할까요? LLM-ready 출력을 염두에 둔 도구일수록 모든 사용자에게 더 깔끔하고 쓸모 있는 데이터를 주는 경향이 있기 때문입니다. 후처리가 적고, 쓸데없는 열이 줄고, 인코딩 문제도 덜합니다. 사람이 보든 머신이 보든, 깨끗한 데이터는 깨끗한 데이터입니다.
이 목록 중 LLM-ready 출력을 기본 제공하는 도구는?
- Firecrawl → 깔끔한 Markdown, 요약, 구조화 JSON
- Crawl4AI → 여러 형태의 Markdown, 구조화된 청크, 표
- Thunderbit → 프롬프트 기반 정규화를 지원하는 AI 추천 구조화 필드
간단한 예를 보겠습니다. 상품 페이지의 원시 HTML은 다음처럼 보일 수 있습니다.
<div class="product-card">
<span class="price">$29.99</span>
<h2 class="title">Wireless Mouse</h2>
<p class="desc">Ergonomic design, 2.4GHz...</p>
<a href="/buy" class="btn">Add to Cart</a>
</div>
Firecrawl의 LLM-ready Markdown 출력:
## Wireless Mouse
- **Price:** $29.99
- **Description:** Ergonomic design, 2.4GHz
Thunderbit의 구조화된 출력:
| 제품명 | 가격 | 설명 |
|---|---|---|
| Wireless Mouse | $29.99 | Ergonomic design, 2.4GHz |
둘 다 바로 활용할 수 있습니다. HTML 파싱도, 광고 제거도, 수동 열 매핑도 필요 없습니다. AI 기반 추출이 기존 스크래핑과 어떻게 다른지 더 알고 싶다면 최고의 AI 웹 스크래퍼 개요를 참고하세요.
책임 있는 웹 크롤링: 윤리와 컴플라이언스를 위한 빠른 팁
웹 크롤링의 윤리와 컴플라이언스는 절대 건너뛰면 안 됩니다.
- 크롤링 전 robots.txt를 확인하세요. 이것은 표준 크롤 제어 신호(RFC 9309)지만, 법적 허가나 보안 경계는 아닙니다.
- 속도 제한과 Retry-After 헤더를 존중하세요. 429와 503 응답에서는 속도를 낮추거나 멈추세요.
- 공개되어 있거나 허가받은 데이터만 사용하세요. 요구를 충족한다면 공식 API나 내보내기를 우선 고려하세요.
- 웹사이트 이용약관을 확인하세요. 공개적으로 보인다고 해서 수집하거나 재사용할 수 있는 보편적 권한이 생기는 것은 아닙니다.
- 개인정보를 신중하게 다루세요. 수집 범위를 최소화하고, 보관/삭제 규칙을 정하고, 민감한 용도라면 적절한 검토를 받으세요. 사용하는 도구와 무관하게 GDPR 같은 규정이 적용될 수 있습니다.
많은 도구가 책임 있는 크롤링을 돕는 설정을 제공하지만, 책임은 설정값이 아니라 운영자에게 있습니다. 이 과정을 더 깊이 이해하고 싶다면 웹 스크래핑이란 무엇인가 설명글을 참고하세요.
어떤 웹 크롤러부터 시작해야 할까?
숙련도별로 짧게 정리하면 다음과 같습니다.
- 노코드: AI 보조 페이지 추출은 Thunderbit, 시각적 워크플로 구축은 Octoparse, 복잡한 다단계 흐름은 ParseHub, SEO 감사는 Screaming Frog
- 중급 Python: 대규모 HTTP 크롤링은 Scrapy, LLM 파이프라인은 Crawl4AI
- 중급 JavaScript: 최신 SPA 크롤링은 Crawlee, 복잡한 브라우저 자동화는 Playwright
- Go: 빠른 HTTP 크롤링은 Colly(단, robots와 속도 제한을 명시적으로 설정)
- 관리형 API: 자체 호스팅 없이 깔끔한 Markdown 출력을 원하면 Firecrawl
가장 좋은 크롤러는 데이터, 권한, 숙련도, 운영 한도에 맞는 도구입니다. 처음엔 단순하게 시작하고, 작은 실행으로 검증한 뒤, 프로젝트에 꼭 필요할 때만 복잡성을 더하세요. AI 보조 추출을 써보고 싶다면 Thunderbit 브라우저 확장 프로그램으로 호환되는 페이지에서 스프레드시트까지 가는 노코드 경로를 사용할 수 있습니다.
더 알아보기
자주 묻는 질문
1. 웹 크롤러란 무엇이며 웹 스크래퍼와 어떻게 다른가요?
크롤러는 페이지를 찾아 가져오는 역할을 합니다. 링크를 따라가고, URL 큐를 관리하고, 중복 제거와 깊이 제한을 처리합니다. 스크래퍼는 그 페이지들에서 특정 구조화 데이터를 추출합니다. HTML을 파싱하고, 필드를 선택하고, 레코드를 출력합니다. 요즘 도구들은 정도의 차이는 있지만 둘 다 수행하는 경우가 많아 용어가 혼용되기도 하지만, 도구를 고를 때는 구분이 중요합니다. 예를 들어 Playwright는 페이지 렌더링에는 강하지만 크롤링 인프라는 제공하지 않고, Scrapy는 전체 크롤 파이프라인을 제공하지만 JavaScript 렌더링에는 플러그인이 필요합니다.
2. 코딩을 전혀 못하는 사람에게 가장 좋은 웹 크롤러는 무엇인가요?
일반적인 데이터 추출에는 Thunderbit, Octoparse, ParseHub가 가장 좋은 노코드 선택지입니다. Thunderbit은 AI로 필드를 추천하고 브라우저 확장으로 동작합니다. Octoparse는 Auto-detect가 있는 시각적 워크플로 빌더를 제공합니다. ParseHub는 복잡한 다단계 흐름에 강합니다. SEO 전용 용도라면 Screaming Frog 무료 버전이 코딩 없이 최대 500 URL까지 크롤링할 수 있습니다.
3. 웹 크롤러는 무료로 사용할 수 있나요?
두 가지 범주가 있습니다. 완전한 오픈소스 도구(Scrapy, Crawlee, Crawl4AI, Playwright, Colly)는 페이지당 비용이 없지만, 인프라를 직접 호스팅해야 하고 연산 자원, 대역폭, 저장소 비용을 부담해야 합니다. Freemium 도구(Octoparse, ParseHub, Thunderbit, Firecrawl, Screaming Frog)는 페이지, 프로젝트, 내보내기, 기능에 다양한 제한이 있는 무료 플랜을 제공합니다. 자세한 내용은 위의 무료 플랜 비교표를 참고하세요.
4. 웹 크롤러는 JavaScript가 많은 웹사이트를 처리할 수 있나요?
네, 하지만 모두 그런 것은 아닙니다. Playwright, Crawlee(PlaywrightCrawler), Octoparse, ParseHub, Crawl4AI, Thunderbit(Browser Mode 통해)처럼 브라우저 렌더링이 내장된 도구는 JavaScript로 로딩되는 콘텐츠를 처리할 수 있습니다. Scrapy와 Colly는 HTTP 우선 도구이며, JS 렌더링을 위해 별도의 브라우저 통합이 필요합니다. Screaming Frog는 유료 버전에서만 JavaScript 렌더링을 지원합니다. 대상 페이지가 정말 브라우저가 필요한지 먼저 원본 HTML을 확인해 보세요.
5. 웹 크롤링은 합법인가요?
단일한 예/아니오 답은 없습니다. 법적 판단은 데이터, 접근 방식, 사용 목적, 웹사이트 약관, 계약, 지식재산권 규칙, GDPR 같은 개인정보 의무, 그리고 적용 관할권에 따라 달라집니다. robots.txt는 크롤 제어 신호일 뿐 법적 허가가 아니고, 공개적으로 보인다고 해서 광범위한 수집 권한이 생기는 것도 아닙니다. 특히 개인정보, 저작권 콘텐츠, 인증이 필요한 영역, 상업적 재사용이 관련된 경우에는 자격 있는 법률 전문가와 상담하세요.
