몇 달 전, 한 사용자가 n8n 워크플로우 스크린샷을 보냈어요. 노드가 14개나 얽혀 있고, 메모도 여기저기 붙어 있는데 제목은 딱 한마디였죠. 「도와주세요.」 그분은 유명한 n8n 웹 스크래핑 튜토리얼을 따라 테스트 사이트에서는 10줄짜리 데모를 깔끔하게 성공시켰어요. 그런데 막상 실제 경쟁사 가격을 상품 페이지 200개에서 긁으려다 막혀버렸죠. 페이지네이션 루프는 오류를 냈고, 곳곳에서 403 에러가 떴고, 스케줄러는 첫 화요일 이후로 감감무소식이었어요.
대부분의 n8n 스크래핑은 바로 이 지점에서 무너져요. 데모와 실제 파이프라인 사이의 간극이죠. Thunderbit을 만들고 자동화 일을 오래 하면서 확실히 느꼈어요. 스크래핑 자체는 제일 어려운 게 아니에요. 진짜 어려운 건 첫 성공 다음의 모든 과정이죠. 페이지네이션, 스케줄링, 봇 차단, 데이터 정제, 내보내기, 그리고 가장 큰 골칫거리인 사이트 레이아웃 변경 유지보수까지요. 이 가이드는 첫 HTTP Request 노드부터 반복 실행이 되는 운영용 워크플로우까지 전 과정을 다뤄요. n8n의 DIY 방식이 한계에 부딪히는 지점에서 Thunderbit 같은 AI 도구가 수 시간, 때로는 수일의 스트레스를 어떻게 덜어주는지도 함께 보여드릴게요.
n8n 웹 스크래핑이란 무엇이며, 대부분의 튜토리얼이 표면만 다루는 이유
n8n은 오픈소스 저코드 워크플로우 자동화 플랫폼이에요. 시각적 캔버스에 여러 「노드」를 잇는다고 보면 쉬워요. 각 노드는 웹페이지 가져오기, HTML 파싱, Slack 메시지, Google Sheets 기록처럼 한 가지 역할을 맡고, 이걸 이어 붙여 워크플로우를 만들죠. 복잡한 코딩이 꼭 필요하진 않지만, 필요하면 JavaScript도 넣을 수 있어요.
「n8n 웹 스크래핑」은 n8n의 기본 HTTP Request·HTML 노드(그리고 커뮤니티 노드들)로 워크플로우 안에서 웹 데이터를 가져오고, 파싱하고, 처리하는 걸 뜻해요. 크게 두 단계로 나뉘어요. 가져오기(Fetch) 단계에서 HTTP Request 노드가 URL의 원시 HTML을 가져오고, 파싱(Parse) 단계에서 HTML 노드가 CSS 셀렉터로 상품명, 가격, 이메일 같은 필요한 데이터를 뽑아내요.
규모도 꽤 커요. 2026년 4월 기준 n8n은 GitHub 스타 약 18.4만 개, 활성 사용자 23만 명 이상, 커뮤니티 워크플로우 템플릿 9,166개 이상을 갖췄고, 대략 매주 새 마이너 릴리스를 내놓아요. 2025년 3월에는 5,500만 유로 시리즈 B 투자도 받았고요. 성장세가 분명한 제품이죠.
그런데 아무도 잘 말하지 않는 빈틈이 있어요. dev.to에서 가장 많이 읽힌 n8n 스크래핑 튜토리얼 중 하나(Lakshay Nasa 작성, 「Extract by Zyte」 조직 명의로 게시)는 2편에서 페이지네이션을 다루겠다고 약속했어요. 실제로 2편이 나오긴 했는데, 저자의 결론은 이랬어요. 「HTTP Request 노드 Options 아래에 기본 Pagination Mode가 있긴 하지만, 일반적인 웹 스크래핑에서는 제 경험상 안정적으로 안 돌아갔어요.」 결국 페이지네이션은 유료 서드파티 API로 우회했죠. 반면 n8n 포럼에서는 페이지네이션, 제한 속도, 로그인이야말로 n8n 스크래핑이 금세 복잡해지는 지점이라는 말이 끊이지 않아요. 이 가이드는 바로 그 공백을 메우려고 만들었어요.
세일즈, 운영, 이커머스 팀에게 n8n 웹 스크래핑이 중요한 이유
n8n 웹 스크래핑은 개발자 취미가 아니에요. 비즈니스 도구죠. 전 세계 웹 스크래핑 시장은 2025년 약 10억13억 달러 규모이고, 2030년에는 20억23억 달러 수준까지 큰다고 봐요. 동적 가격 책정만 해도 이커머스 업체의 약 30%가 쓰고, 헤지펀드의 65%는 대체 데이터를 활용하는데, 이 중 상당수가 웹에서 긁은 데이터예요. McKinsey에 따르면 동적 가격 책정은 도입 기업에 매출 25% 증가, 마진 510% 개선을 안겨줘요.
n8n의 진짜 강점은 여기서 드러나요. 데이터를 가져오는 데서 끝나는 게 아니라, 그다음에 무엇을 하느냐가 중요하거든요. n8n은 스크래핑을 CRM 업데이트, Slack 알림, 스프레드시트 내보내기, AI 분석 같은 후속 작업과 하나의 워크플로우로 엮을 수 있어요.
| 활용 사례 | 도움이 되는 팀 | 스크래핑 대상 | 비즈니스 효과 |
|---|---|---|---|
| 리드 생성 | 세일즈 팀 | 비즈니스 디렉터리, 연락처 페이지 | 검증된 리드로 CRM 채우기 |
| 경쟁사 가격 모니터링 | 이커머스 운영팀 | 상품 목록 페이지 | 실시간 가격 조정 |
| 부동산 매물 추적 | 부동산 중개인 | Zillow, Realtor, 로컬 MLS 사이트 | 경쟁사보다 먼저 신규 매물 포착 |
| 시장 조사 | 마케팅 팀 | 리뷰 사이트, 포럼, 뉴스 | 트렌드와 고객 감성 파악 |
| 공급업체/SKU 재고 모니터링 | 공급망 운영팀 | 공급업체 상품 페이지 | 품절 방지, 구매 최적화 |
데이터가 보여주는 ROI는 분명해요. 세일즈 조직의 92%가 2025년에 AI 투자를 늘릴 계획이고, 자동 리드 육성으로 9개월 만에 파이프라인을 61% 키운 사례도 있어요. 아직도 웹 데이터를 복사해 스프레드시트에 붙이고 있다면, 꽤 많은 기회를 흘려보내는 셈이죠.
n8n 웹 스크래핑 도구 상자: 핵심 노드와 사용할 수 있는 솔루션
무언가를 만들기 전에, 도구 상자에 뭐가 들었는지부터 알아야 해요. 웹 스크래핑에 필요한 핵심 n8n 노드는 다음과 같아요.
- HTTP Request 노드: 어떤 URL이든 원시 HTML을 가져와요. 브라우저가 페이지를 요청하듯 동작하지만, 렌더링 대신 코드를 돌려줘요. GET/POST, 헤더, 배치 처리, 이론상 내장 페이지네이션을 지원해요.
- HTML 노드(예전 이름: 「HTML Extract」): CSS 셀렉터로 HTML을 파싱해 제목, 가격, 링크, 이미지 같은 데이터만 뽑아요.
- Code 노드: 데이터 정리, URL 정규화, 중복 제거, 커스텀 로직을 위해 JavaScript를 짤 수 있어요.
- Edit Fields(Set) 노드: 후속 노드에 맞게 데이터 필드를 재구성하거나 이름을 바꿔요.
- Split Out 노드: 배열을 개별 항목으로 나눠 처리해요.
- Convert to File 노드: 구조화된 데이터를 CSV, JSON 등으로 내보내요.
- Loop Over Items 노드: 리스트를 돌아요. 페이지네이션에서 아주 중요하죠. 아래서 더 설명할게요.
- Schedule Trigger: cron 일정에 맞춰 워크플로우를 돌려요.
- Error Trigger: 워크플로우가 실패하면 알림을 보내요. 운영 환경에선 필수예요.
JavaScript 렌더링이 필요한 사이트나 강한 봇 차단이 걸린 고급 스크래핑이라면 커뮤니티 노드가 필요해요.
| 방식 | 적합한 대상 | 난이도 | JS 렌더링 사이트 처리 | 봇 차단 대응 |
|---|---|---|---|---|
| n8n HTTP Request + HTML 노드 | 정적 사이트, API | 초급~중급 | 불가 | 수동 대응(헤더, 프록시) |
| n8n + ScrapeNinja/Firecrawl 커뮤니티 노드 | 동적/보호된 사이트 | 중급 | 가능 | 내장 기능(프록시 로테이션, CAPTCHA) |
| n8n + Headless Browser(Puppeteer) | 복잡한 JS 상호작용 | 고급 | 가능 | 부분 대응(설정에 따라 다름) |
| Thunderbit (AI 웹 스크래퍼) | 모든 사이트, 비기술 사용자 | 초급 | 가능(브라우저 또는 클라우드 모드) | 내장 기능(브라우저 세션 또는 클라우드 처리 활용) |
2026년 4월 기준 n8n에는 기본 headless browser 노드가 없어요. JS 렌더링이 필요한 스크래핑은 커뮤니티 노드나 외부 API가 필요하죠.
Thunderbit을 짧게 소개하면, 우리 팀이 만든 AI 기반 Chrome 확장 프로그램이에요. 「AI Suggest Fields」를 누르고 「Scrape」를 클릭하면 구조화된 데이터가 바로 나와요. CSS 셀렉터도, 노드 설정도, 유지보수도 필요 없죠. 이 가이드 내내 Thunderbit이 잘 맞는 지점과 n8n이 더 나은 지점을 함께 짚어볼게요.
단계별 안내: 첫 n8n 웹 스크래핑 워크플로우 만들기
도구 상자를 확인했으니, 이제 처음부터 작동하는 n8n 웹 스크래퍼를 만들어 볼게요. 예시로 상품 목록 페이지를 쓸게요. 가격 모니터링이나 경쟁사 조사에서 실제로 긁을 만한 유형이죠.
시작 전 준비물:
- 난이도: 초급~중급
- 소요 시간: 약 20~30분
- 준비물: n8n(자가 호스팅 또는 Cloud), 대상 URL, Chrome 브라우저(CSS 셀렉터 확인용)
1단계: 새 워크플로우를 만들고 Manual Trigger 추가하기
n8n을 열고 「New Workflow」를 누른 뒤, 「Competitor Price Scraper」처럼 알아보기 쉬운 이름을 붙이세요. 그리고 Manual Trigger 노드를 끌어다 넣어요. (나중에 Scheduled Trigger로 바꿀 거예요.)
캔버스에 노드 하나만 놓인 상태가 보일 텐데, 「Test Workflow」를 누르면 실행 준비가 끝나요.
2단계: HTTP Request 노드로 페이지 가져오기
HTTP Request 노드를 추가해 Manual Trigger와 이어요. 메서드는 GET으로 두고 대상 URL을 입력해요(예: https://example.com/products).
이제 대부분의 튜토리얼이 건너뛰는 핵심 단계가 있어요. 실제 브라우저처럼 보이는 User-Agent 헤더를 넣으세요. 기본 상태에서 n8n은 axios/xx를 User-Agent로 보내는데, 이건 봇이라는 게 바로 드러나요. 「Headers」 아래에 이렇게 추가해요.
| 헤더 이름 | 값 |
|---|---|
| User-Agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 |
| Accept | text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8 |
여러 URL을 긁는다면 「Options」에서 Batching을 켜고 요청 사이 대기 시간을 1~3초로 두세요. 제한 속도에 걸릴 가능성을 낮추는 데 도움이 돼요.
노드를 실행해 보세요. 출력 패널에 원시 HTML이 보여야 해요.
3단계: HTML 노드로 데이터 파싱하기
HTTP Request 출력에 HTML 노드를 이어요. 작업은 Extract HTML Content로 두세요.
알맞은 CSS 셀렉터를 찾으려면 Chrome에서 대상 페이지를 열고, 뽑고 싶은 데이터(예: 상품명)를 우클릭한 뒤 「Inspect」를 고르세요. Elements 패널에서 강조된 HTML 요소를 다시 우클릭하고 「Copy → Copy selector」를 누르면 돼요.
추출 값은 이렇게 설정할 수 있어요.
| 키 | CSS 셀렉터 | 반환 값 |
|---|---|---|
| product_name | .product-title | Text |
| price | .price-current | Text |
| url | .product-link | Attribute: href |
노드를 실행하면 출력 창에 상품명, 가격, URL이 든 구조화된 테이블이 보일 거예요.
4단계: Code 노드로 정리 및 표준화하기
원본 스크래핑 데이터는 깔끔하지 않은 경우가 많아요. 가격엔 불필요한 공백이 붙고, URL은 상대 경로일 수 있고, 텍스트엔 줄바꿈이 남아 있을 수 있죠. Code 노드를 추가해 HTML 노드와 이어요.
다음은 데이터를 정리하는 간단한 JavaScript 예시예요.
return items.map(item => {
const d = item.json;
return {
json: {
product_name: (d.product_name || '').trim(),
price: parseFloat((d.price || '').replace(/[^0-9.]/g, '')),
url: d.url && d.url.startsWith('http') ? d.url : `https://example.com${d.url}`
}
};
});
이 단계는 운영 품질의 데이터를 만들 때 꼭 필요해요. 건너뛰면 스프레드시트가 "$ 29.99\n" 같은 값으로 가득 차요.
5단계: Google Sheets, Airtable 또는 CSV로 내보내기
Google Sheets 노드(또는 Airtable, CSV용 Convert to File)를 이어요. Google 계정으로 인증하고 스프레드시트와 시트를 고른 뒤, Code 노드 출력의 필드를 열 이름에 매핑해요.
전체 워크플로우를 돌리면 정리된 구조화 데이터가 스프레드시트에 쌓여야 해요.
참고로 Thunderbit은 무료 데이터 내보내기를 지원해요. Google Sheets, Airtable, Notion, Excel로 노드 설정 없이 바로 보낼 수 있죠. 전체 워크플로우 체인이 필요 없고 데이터만 원한다면 꽤 쓸모 있는 지름길이에요.
모든 n8n 웹 스크래핑 튜토리얼이 건너뛰는 부분: 완전한 페이지네이션 워크플로우
페이지네이션은 n8n 스크래핑 콘텐츠에서 가장 자주 빠지는 부분이자, n8n 커뮤니티 포럼에서 불만이 제일 큰 지점이에요.
대표적인 페이지네이션 방식은 두 가지예요.
- 클릭 기반 / URL 증가형 페이지네이션 —
?page=1,?page=2같은 형태 - 무한 스크롤 — 스크롤할 때마다 콘텐츠가 더 로드되는 방식(Twitter, Instagram, 요즘 상품 카탈로그 등)
n8n에서 클릭 기반 페이지네이션 처리하기(URL 증가 + Loop 노드)
HTTP Request 노드 Options 메뉴의 기본 Pagination 옵션은 편해 보여요. 하지만 실제로는 안정적이지 않아요. 가장 인기 있는 n8n 스크래핑 튜토리얼 작성자(Lakshay Nasa)도 이걸 써봤다가 제 경험상 안정적으로 동작하지 않았다고 적었죠. 포럼 사용자들도 같은 페이지를 반복 반환, 무한 루프 발생, 마지막 페이지 감지 실패를 보고하고 있어요.
가장 안정적인 방법은 Code 노드에서 URL 목록을 명시적으로 만들고, Loop Over Items로 도는 것이에요.
방법은 이래요.
- Code 노드 추가: 페이지 URL을 생성해요.
const base = 'https://example.com/products';
const totalPages = 10; // 또는 동적으로 감지
return Array.from({length: totalPages}, (_, i) => ({
json: { url: `${base}?page=${i + 1}` }
}));
- Loop Over Items 노드 연결: 목록을 반복 처리해요.
- 루프 안에 HTTP Request 노드를 넣고 URL을
{{ $json.url }}로 둔 뒤, HTML 노드로 파싱해요. - Wait 노드 추가: 루프 안에서 1~3초 랜덤 지연을 넣어 429 제한에 안 걸리게 해요.
- 루프 후 결과를 모아 Google Sheets나 CSV로 내보내요.
전체 흐름은 이래요. Code(URL 생성) → Loop Over Items → HTTP Request → HTML → Wait → (다시 루프로) → 집계 → 내보내기
한 가지 주의할 점은, Loop Over Items 노드에 중첩 루프가 항목을 조용히 건너뛰는 알려진 버그가 있다는 거예요. 페이지네이션과 하위 페이지 보강을 함께 한다면, 「완료」 개수가 입력 개수와 맞는지 꼭 확인하세요.
무한 스크롤 페이지네이션: 왜 n8n 기본 노드만으로는 어려운가
무한 스크롤 페이지는 스크롤할 때 JavaScript로 콘텐츠를 불러와요. HTTP Request 노드는 초기 HTML만 가져올 뿐, JavaScript를 실행하거나 스크롤 이벤트를 일으키지 못해요. 선택지는 두 가지예요.
- 헤드리스 브라우저 커뮤니티 노드 사용: 예를 들어 n8n-nodes-puppeteer나 n8n-playwright처럼 페이지를 렌더링하고 스크롤을 흉내 내는 도구
- 스크래핑 API 사용: ScrapeNinja, Firecrawl, ZenRows처럼 JavaScript 렌더링을 지원하는 서비스
둘 다 설정 복잡도가 확 올라가요. 사이트당 30~60분 이상 세팅 시간이 들고, 꾸준한 유지보수도 필요하죠.
Thunderbit은 설정 없이 페이지네이션을 처리하는 방법
제 입장이 편향됐을 순 있지만, 차이는 꽤 분명해요.
| 기능 | n8n(DIY 워크플로우) | Thunderbit |
|---|---|---|
| 클릭 기반 페이지네이션 | 수동 루프 노드 설정, URL 증가 처리 | 자동 — 페이지네이션을 감지하고 따라감 |
| 무한 스크롤 페이지 | 헤드리스 브라우저 + 커뮤니티 노드 필요 | 내장 지원, 별도 설정 불필요 |
| 설정 시간 | 사이트당 30~60분 | 클릭 2번 |
| 한 번에 처리하는 페이지 수 | 순차 처리(한 번에 하나씩) | 동시 50페이지 (Cloud Scraping) |
10개의 페이지네이션 목록에서 상품 페이지 200개를 긁어야 한다면, n8n으로는 반나절이 걸릴 수 있어요. Thunderbit은 대략 2분이면 끝나죠. n8n이 나쁘다는 게 아니라, 그냥 다른 용도에 더 맞는 도구라는 뜻이에요.
한 번 설정하고 잊어도 되는: cron 트리거 기반 n8n 웹 스크래핑 파이프라인
한 번만 긁는 작업도 쓸모 있지만, n8n 웹 스크래핑의 진짜 강점은 반복적이고 자동화된 데이터 수집에 있어요. 놀랍게도 거의 어떤 n8n 스크래핑 튜토리얼도 스크래핑용 Schedule Trigger를 다루지 않는데, 정작 커뮤니티에서 가장 많이 요청되는 기능 중 하나예요.
일일 가격 모니터링 파이프라인 만들기
Manual Trigger를 Schedule Trigger 노드로 바꾸세요. n8n UI에서 「Every day at 8:00 AM」처럼 설정해도 되고, cron 표현식(0 8 * * *)을 써도 돼요.
전체 워크플로우는 이래요.
- Schedule Trigger(매일 오전 8시)
- Code 노드(페이지네이션 URL 생성)
- Loop Over Items → HTTP Request → HTML → Wait(모든 페이지 스크래핑)
- Code 노드(데이터 정리, 가격 표준화)
- Google Sheets(새 행 추가)
- IF 노드(가격이 임계값 아래로 떨어졌는가?)
- Slack(해당 시 알림 전송)
옆에 Error Trigger 워크플로우도 붙여 실패한 실행이 생기면 Slack에 알리게 하세요. 안 그러면 셀렉터가 깨졌을 때(그럴 가능성이 높아요), 보고서가 텅 빈 걸 3주 뒤에나 알게 돼요.
잘 안 알려진 필수 조건이 두 가지 있어요.
- n8n은 24시간 켜져 있어야 해요. 노트북에 자가 호스팅하면 덮개를 닫는 순간 트리거가 멈춰요. 서버, Docker, 또는 n8n Cloud를 쓰세요.
- 워크플로우를 수정할 때마다 껐다 켜야 해요. n8n Cloud에는 수정 후 스케줄러가 조용히 등록 해제되는 알려진 문제가 있고, 오류 피드백도 전혀 없어요.
주간 리드 추출 파이프라인 만들기
패턴은 같고 대상만 달라요. Schedule Trigger(매주 월요일 오전 9시) → HTTP Request(비즈니스 디렉터리) → HTML(이름, 전화번호, 이메일 추출) → Code(중복 제거, 형식 정리) → Airtable 또는 HubSpot 전송.
여기서 과소평가되기 쉬운 비용은 유지보수예요. 디렉터리 사이트가 레이아웃을 바꾸면 CSS 셀렉터가 깨지고 워크플로우는 조용히 실패해요. HasData에 따르면 초기 구축 시간의 30~60%를 매년 유지보수에 따로 떼어둬야 한다고 봐야 해요. 셀렉터 기반 파이프라인을 20개쯤 돌리게 되면 그 부담이 현실이 되죠.
Thunderbit의 Scheduled Scraper: 노코드 대안
Thunderbit의 Scheduled Scraper는 간격을 자연어로 설명하면 돼요(예: 「매주 월요일 오전 9시」). URL을 넣고 「Schedule」을 누르면 끝이에요. 클라우드에서 돌아가니 호스팅도, cron 표현식도, 조용한 등록 해제 문제도 없어요.
| 항목 | n8n Scheduled Workflow | Thunderbit Scheduled Scraper | |---|---|---|---| | 일정 설정 | cron 표현식 또는 n8n 일정 UI | 자연어로 설명 | | 데이터 정리 | 수동 Code 노드 필요 | AI가 자동으로 정리/라벨링/번역 | | 내보내기 대상 | 통합 노드 필요 | Google Sheets, Airtable, Notion, Excel(무료) | | 호스팅 필요 여부 | 자가 호스팅 또는 n8n Cloud | 없음 — 클라우드에서 실행 | | 사이트 변경 시 유지보수 | 셀렉터가 깨져 수동 수정 필요 | AI가 매번 새로 사이트를 읽음 |
마지막 줄이 제일 중요해요. 포럼 사용자들도 이렇게 말해요. 「사이트 레이아웃이 바뀌기 전까진 대부분 괜찮다.」 Thunderbit의 AI 방식은 고정된 CSS 셀렉터에 기대지 않아서 이런 고통을 덜어줘요.
n8n 웹 스크래퍼가 막혔을 때: 봇 차단 문제 해결 가이드
페이지네이션 다음으로 큰 스트레스는 차단이에요. 흔히 듣는 「User-Agent 헤더를 추가하세요」라는 조언은 막아야 할 건 못 막고 마음만 놓이게 하는 경우가 많아요.
Imperva 2025 Bad Bot Report에 따르면 인터넷 트래픽의 51%가 봇이고, 그중 37%는 악성이에요. Cloudflare, Akamai, DataDome, HUMAN, PerimeterX 같은 봇 차단 업체들은 TLS 핑거프린팅, JavaScript 챌린지, 행동 분석으로 맞서고 있죠. n8n HTTP Request 노드는 내부적으로 Axios 라이브러리를 쓰기 때문에, 브라우저와 구분되는 식별하기 쉬운 TLS 핑거프린트를 남겨요. User-Agent를 바꿔도 소용없는 경우가 많아요. HTTP 헤더를 읽기 전에 JA3/JA4 해시로 이미 들통나거든요.
봇 차단 대응 의사결정 트리
그냥 「User-Agent 추가」가 아니라, 아래처럼 체계적으로 접근하세요.
요청이 차단되었나요?
- 403 Forbidden → User-Agent + Accept 헤더 추가(위 2단계 참고) → 그래도 차단되나요?
- 예 → 주거용 프록시 로테이션 추가 → 그래도 차단되나요?
- 예 → 스크래핑 API(ScrapeNinja, Firecrawl, ZenRows)나 헤드리스 브라우저 커뮤니티 노드로 전환
- 아니오 → 계속 진행
- 아니오 → 계속 진행
- 예 → 주거용 프록시 로테이션 추가 → 그래도 차단되나요?
- CAPTCHA가 뜨나요? → CAPTCHA 해결 기능이 내장된 스크래핑 API 사용(예: 2captcha로 Cloudflare Turnstile 우회하는 n8n 워크플로우)
- 응답이 비어 있나요(JS 렌더링 콘텐츠) → 헤드리스 브라우저 커뮤니티 노드나 JS 렌더링 지원 스크래핑 API 사용
- 속도 제한(429 에러) → HTTP Request 노드에서 batching을 켜고, 배치 사이 대기 시간을 2~5초로 두고, 동시성을 줄이세요
또 하나의 함정이 있어요. n8n에는 알려진 HTTPS 프록시 버그가 있어 HTTP Request 노드가 HTTP 프록시를 통해 HTTPS를 제대로 터널링하지 못할 수 있어요. 같은 컨테이너에서 curl은 잘 되는데 Axios가 TLS 핸드셰이크에서 실패한다면, 이 문제가 원인일 가능성이 커요. 프록시를 쓰는데 원인 모를 연결 오류가 난다면 이 부분을 의심해 보세요.
Thunderbit이 대부분의 봇 차단 문제를 우회하는 이유
Thunderbit은 두 가지 스크래핑 모드를 제공해요.
- Browser Scraping: 실제 Chrome 브라우저 안에서 돌아가며, 세션 쿠키·로그인 상태·브라우저 핑거프린트를 그대로 이어받아요. 서버 측 요청을 막는 대부분의 봇 차단을 우회할 수 있죠. 요청 자체가 진짜 브라우저니까요.
- Cloud Scraping: 공개 사이트라면 Thunderbit의 클라우드가 대규모로 봇 차단을 처리해요. 한 번에 50페이지도 가능하고요.
Cloudflare와 씨름하는 데 데이터 분석보다 더 많은 시간을 쓰고 있다면, 이게 현실적인 대안이에요.
n8n 웹 스크래핑이 잘 맞는 경우와 다른 도구를 써야 하는 경우
n8n은 훌륭한 플랫폼이에요. 하지만 모든 스크래핑 작업에 맞는 도구는 아니죠. 경쟁사 글들은 이 점을 분명히 말하지 않아요. 실제로 포럼에서는 「n8n으로 웹 스크래퍼 만들기가 얼마나 어렵나요?」, 「n8n과 가장 잘 맞는 스크래핑 도구는 뭔가요?」 같은 질문이 오가고 있어요.
n8n 웹 스크래핑이 강한 영역
- 스크래핑과 후속 처리를 함께 묶는 다단계 워크플로우 — CRM 업데이트, Slack 알림, AI 분석, 데이터베이스 기록. 이게 n8n의 핵심 강점이에요.
- 스크래핑이 더 큰 자동화 체인의 한 단계인 경우 — 스크래핑 → 보강 → 필터링 → CRM 전송.
- CSS 셀렉터와 노드 기반 로직에 익숙한 기술 사용자.
- 스크래핑과 저장 사이에 커스텀 데이터 변환이 필요한 경우.
n8n 웹 스크래핑이 힘든 영역
- 빠르게 데이터를 원하는 비기술 사용자. 노드 설정, CSS 셀렉터 찾기, 디버깅 과정이 비즈니스 사용자에겐 부담이 커요.
- 강한 봇 차단이 있는 사이트. 프록시나 API를 붙이면 비용과 복잡도가 올라가요.
- 사이트 레이아웃이 자주 바뀌는 경우. CSS 셀렉터가 깨지고 워크플로우가 조용히 실패해요.
- 여러 종류의 사이트를 대량으로 스크래핑하는 경우. 사이트마다 별도 셀렉터 설정이 필요해요.
- 하위 페이지 보강. n8n에서 별도 서브 워크플로우를 만들어야 해요.
한눈에 비교: n8n vs. Thunderbit vs. Python 스크립트
| 요소 | n8n DIY 스크래핑 | Thunderbit | Python 스크립트 |
|---|---|---|---|
| 필요한 기술 수준 | 중급(노드 + CSS 셀렉터) | 없음(AI가 필드 제안) | 높음(코딩) |
| 새 사이트당 설정 시간 | 30~90분 | 약 2분 | 1~4시간 |
| 봇 차단 대응 | 수동(헤더, 프록시, API) | 내장(Browser/Cloud 모드) | 수동(라이브러리) |
| 사이트 변경 시 유지보수 | 셀렉터 수동 수정 | 없음 — AI가 자동 적응 | 코드 수동 수정 |
| 다단계 워크플로우 지원 | 매우 좋음(핵심 강점) | Sheets/Airtable/Notion으로 내보내기 | 커스텀 코드 필요 |
| 대규모 운영 비용 | n8n 호스팅 + 프록시/API 비용 | 크레딧 기반(행당 약 1크레딧) | 서버 + 프록시 비용 |
| 하위 페이지 보강 | 수동 — 별도 서브 워크플로우 필요 | 1클릭 하위 페이지 스크래핑 | 커스텀 스크립팅 |
핵심은 이거예요. 스크래핑이 복잡한 자동화 체인의 한 단계라면 n8n을 쓰세요. 워크플로우를 직접 짜지 않고 빠르게 데이터를 얻고 싶다면 Thunderbit을 쓰세요. 최대한의 제어가 필요하고 개발 리소스가 있다면 Python을 쓰세요. 경쟁 관계가 아니라 서로 보완하는 도구예요.
실제로 복사해 쓸 수 있는 n8n 웹 스크래핑 워크플로우 예시
포럼 사용자들은 계속 물어요. 「이걸 다단계 워크플로우로 엮어본 분 있나요?」 아래 세 가지 워크플로우는 오늘 바로 만들 수 있는 실제 노드 시퀀스예요.
워크플로우 1: 이커머스 경쟁사 가격 모니터링
목표: 경쟁사 가격을 매일 추적하고 하락 시 알림 받기.
노드 체인: Schedule Trigger(매일, 오전 8시) → Code(페이지네이션 URL 생성) → Loop Over Items → HTTP Request → HTML(상품명, 가격, 재고 여부 추출) → Wait(2초) → (루프로 복귀) → Code(데이터 정리, 가격 표준화) → Google Sheets(행 추가) → IF(가격이 임계값 아래인가?) → Slack(알림 전송)
복잡도: 810개 노드, 경쟁사 사이트당 3060분 설정.
Thunderbit 지름길: Thunderbit의 Scheduled Scraper + 인기 이커머스 사이트용 즉시 템플릿을 쓰면 비슷한 결과를 몇 분 만에 얻을 수 있고, Google Sheets로 무료 내보내기도 돼요.
워크플로우 2: 세일즈 리드 생성 파이프라인
목표: 비즈니스 디렉터리를 매주 긁고, 리드를 정리·분류한 뒤 CRM으로 전송하기.
노드 체인: Schedule Trigger(매주 월요일 오전 9시) → HTTP Request(디렉터리 목록 페이지) → HTML(이름, 전화번호, 이메일, 주소 추출) → Code(중복 제거, 형식 정리) → OpenAI/Gemini 노드(업종별 분류) → HubSpot 노드(연락처 생성)
참고: n8n에는 기본 HubSpot 노드가 있어 CRM 전송에 유용해요. 다만 스크래핑과 정리 단계는 여전히 수동 CSS 셀렉터 작업이 필요하죠.
Thunderbit 지름길: Thunderbit의 무료 Email Extractor와 Phone Number Extractor는 워크플로우를 짜지 않고도 클릭 한 번으로 연락처 정보를 가져와요. AI 라벨링으로 추출 중에 리드를 분류할 수도 있고요. 전체 자동화 체인이 필요 없다면 n8n 설정을 아예 건너뛰어도 돼요.
워크플로우 3: 부동산 신규 매물 추적기
목표: Zillow나 Realtor.com에서 매주 신규 매물을 찾아 요약 이메일 보내기.
노드 체인: Schedule Trigger(매주) → HTTP Request(매물 페이지) → HTML(주소, 가격, 침실 수, 링크 추출) → Code(데이터 정리) → Google Sheets(추가) → Code(지난주 데이터와 비교, 신규 매물 표시) → IF(신규 매물 발견?) → Gmail/SendGrid(요약 발송)
참고: Thunderbit에는 Zillow 같은 사이트용 즉시 스크래퍼 템플릿이 있어 CSS 셀렉터가 필요 없어요. 전체 자동화 체인(스크래핑 → 비교 → 알림)이 필요하면 n8n이, 매물 데이터만 필요하면 Thunderbit이 더 맞아요.
더 많은 워크플로우 아이디어가 필요하다면 n8n 커뮤니티 라이브러리에서 AI + 알림이 포함된 가격 모니터링, Google Sheets와 연동한 부동산 스크래핑, ScrapeNinja + AI로 웹페이지를 구조화 JSON으로 변환 같은 템플릿을 살펴보세요.
n8n 웹 스크래핑 파이프라인을 안정적으로 유지하는 팁
운영용 스크래핑은 20%가 구축이고 80%가 유지보수예요.
배치 처리와 지연으로 속도 제한 피하기
HTTP Request 노드에서 batching을 켜고 배치 사이 대기 시간을 1~3초로 두세요. 동시 요청은 IP 차단을 가장 빨리 부르는 길이에요. 여기서 조금만 참으면 나중에 큰 고통을 줄일 수 있어요.
워크플로우 실행을 모니터링해 조용한 실패 잡아내기
n8n의 Executions 탭에서 실패 실행을 확인하세요. 사이트 레이아웃이 바뀌면 스크래핑 데이터가 조용히 빈 채로 돌아올 수 있어요. 워크플로우는 「성공」으로 보이는데 스프레드시트는 빈칸투성이가 되죠.
실패한 실행마다 Slack이나 이메일 알림을 보내는 Error Trigger 워크플로우를 꼭 두세요. 운영 파이프라인에선 선택이 아니에요.
CSS 셀렉터를 외부에 저장해 두고 쉽게 업데이트하기
CSS 셀렉터를 Google Sheet나 n8n 환경 변수에 보관하면 워크플로우 자체를 안 건드리고도 업데이트할 수 있어요. 사이트 레이아웃이 바뀌면 한 곳만 고치면 되죠.
AI 기반 스크래퍼로 전환할 시점을 알아두기
CSS 셀렉터를 계속 고치게 되거나, 봇 차단과 싸우는 시간이 길어지거나, 스크래퍼를 쓰는 시간보다 유지보수 시간이 더 길어진다면, 사이트를 매번 새로 읽고 알아서 적응하는 Thunderbit 같은 AI 기반 도구를 고려해 보세요. 보완적 스택 접근법이 잘 맞아요. Thunderbit이 사이트의 <div>가 바뀔 때마다 깨지는 취약한 추출 계층을 맡아 Google Sheets나 Airtable로 내보내면, n8n은 기본 Sheets/Airtable 트리거로 새 행을 받아 CRM 업데이트, 알림, 조건 분기, 다중 시스템 분배 같은 오케스트레이션을 처리하는 방식이죠.
마무리: 팀에 맞는 파이프라인을 선택하세요
n8n 웹 스크래핑은 더 큰 자동화 워크플로우의 한 단계로 스크래핑이 필요할 때 아주 강력해요. 하지만 기술 설정, 꾸준한 유지보수, 그리고 페이지네이션·봇 차단·스케줄링 설정에 대한 인내가 필요하죠. 이 가이드에서는 첫 워크플로우, 모든 튜토리얼이 건너뛰는 페이지네이션, 스케줄링, 봇 차단 문제 해결, n8n의 적합한 자리에 대한 솔직한 평가, 그리고 바로 복사해 쓸 수 있는 실제 워크플로우까지 전 과정을 다뤘어요.
저는 이렇게 봐요.
- n8n을 쓰세요: 스크래핑이 CRM 업데이트, Slack 알림, AI 보강, 조건 라우팅 같은 복잡한 다단계 자동화 체인의 일부일 때.
- Thunderbit을 쓰세요: 워크플로우를 짜지 않고 빠르게 데이터를 얻고 싶을 때. AI가 필드 제안, 페이지네이션, 봇 차단, 내보내기를 2번의 클릭으로 처리해요.
- Python을 쓰세요: 최대한의 제어가 필요하고 개발 리소스가 있을 때.
많은 팀에게 가장 좋은 구성은 둘 다 쓰는 거예요. 추출은 Thunderbit이, 오케스트레이션은 n8n이 맡는 방식이죠. AI 기반 스크래핑이 n8n 워크플로우와 어떻게 다른지 직접 보고 싶다면, Thunderbit 무료 플랜으로 소규모 실험을 해볼 수 있고, Chrome 확장 프로그램은 몇 초면 설치돼요. 영상 가이드와 워크플로우 아이디어는 Thunderbit YouTube 채널에서 확인해 보세요.
AI 웹 스크래핑을 위해 Thunderbit 사용해 보기 Get Started Free
자주 묻는 질문
n8n으로 JavaScript가 많은 웹사이트도 스크래핑할 수 있나요?
기본 HTTP Request 노드만으로는 어려워요. HTTP Request 노드는 원시 HTML만 가져오고 JavaScript는 실행하지 못하거든요. JS 렌더링 사이트를 다루려면 n8n-nodes-puppeteer 같은 커뮤니티 노드나, 서버 측에서 JavaScript를 렌더링하는 스크래핑 API(ScrapeNinja, Firecrawl) 연동이 필요해요. Thunderbit은 Browser·Cloud 스크래핑 모드 모두에서 JS가 많은 사이트를 기본 지원하고요.
n8n 웹 스크래핑은 무료인가요?
n8n의 자가 호스팅 버전은 무료이고 오픈소스예요. n8n Cloud는 예전엔 무료 플랜이 있었지만, 2026년 4월 기준으로는 14일 체험판만 주고 이후엔 월 24달러(약 3만 2천 원), 2,500회 실행 기준 플랜부터 시작해요. 보호된 사이트를 긁는다면 주거용 프록시 서비스(GB당 515달러)나 스크래핑 API(사용량에 따라 월 49200달러 이상)가 추가로 필요할 수도 있어요.
n8n 웹 스크래핑과 Thunderbit은 어떻게 다른가요?
n8n은 스크래핑이 더 큰 워크플로우의 일부일 때 좋은 다단계 자동화에 강해요(예: 스크래핑 → 보강 → 필터링 → CRM 전송 → Slack 알림). Thunderbit은 AI 기반 필드 감지, 자동 페이지네이션, 사이트 변경 시 유지보수가 거의 없는 빠른 노코드 데이터 추출에 강하고요. 많은 팀이 두 도구를 함께 써요. 추출은 Thunderbit, 오케스트레이션은 n8n이 맡는 식이죠.
로그인해야 볼 수 있는 사이트도 n8n으로 스크래핑할 수 있나요?
가능하지만, HTTP Request 노드에 쿠키나 세션 토큰을 설정해야 해서 관리가 까다로워요. Thunderbit의 Browser Scraping 모드는 사용자가 로그인한 Chrome 세션을 알아서 이어받아요. 로그인돼 있다면 보이는 내용을 그대로 긁을 수 있죠.
n8n 스크래퍼가 갑자기 데이터를 안 가져오기 시작하면 어떻게 해야 하나요?
먼저 n8n Executions 탭에서 오류를 확인하세요. 가장 흔한 원인은 사이트 레이아웃 변경으로 CSS 셀렉터가 깨진 경우예요. 워크플로우는 「성공」으로 표시되는데 필드는 비어 있을 수 있죠. Chrome의 Inspect 도구로 셀렉터를 다시 확인하고, 워크플로우(또는 외부 셀렉터 시트)에서 업데이트한 뒤 다시 테스트하세요. 봇 차단이 문제라면 이 가이드의 문제 해결 의사결정 트리를 따르세요. 장기적인 안정성이 필요하다면 레이아웃 변경에 알아서 적응하는 Thunderbit 같은 AI 기반 스크래퍼를 고려하는 게 좋아요.
더 알아보기
