지난주에 경쟁사 Shopify 스토어의 제품명, 가격, 옵션을 스프레드시트로 옮기는 데 반나절을 통째로 날렸어요. 한 줄씩, 탭 하나씩 붙여 넣다가 47번째 제품쯤에서 문득 이게 맞는 일인가 싶어지더라고요.
혼자만 그런 게 아니에요. 2026년 현재 280만 개가 넘는 Shopify 스토어가 운영 중이고, CMA 조사에 따르면 기업의 72%가 경쟁사 가격을 적극 모니터링해요. Shopify 제품 데이터 수요는 그 어느 때보다 높다는 뜻이죠. 문제는 옵션·이미지·설명까지 넣으면 제품 하나에 10~20분이 걸려서, 500개짜리 카탈로그면 며칠씩 붙잡고 있어야 한다는 거예요.
그래서 Shopify 스토어 10곳(products.json이 꺼진 곳 포함)에 Chrome 확장 프로그램을 직접 돌려 봤어요. 어떤 도구가 진짜 쓸 만한 데이터를 뽑고 어떤 게 스크린샷에서만 그럴듯한지 가려내려고요.
Shopify 스크래퍼가 2026년에도 필요한 이유
Shopify에는 "경쟁사 카탈로그 다운로드" 버튼이 없어요. 다른 스토어의 제품 데이터를 얻으려면 직접 복사하거나 도구를 써야 하는데, 활용 범위는 생각보다 넓어요.
| 활용 사례 | 필요한 데이터 항목 | 도움이 되는 대상 |
|---|---|---|
| 경쟁사 가격 조사 | 제품명, 가격, 비교 가격, 옵션 | 이커머스 매니저, 가격 분석가 |
| 드롭쉬핑 상품 발굴 | 제품명, 이미지, 설명, 공급업체, 가격 | 드롭쉬퍼, 상품 리서처 |
| 카탈로그 이전 | Shopify CSV 형식의 전체 필드 | 스토어 운영자, 개발자 |
| 판매 속도 추정 | 재고 수준 변화, 신규/삭제 SKU | 시장 분석가, 투자자 |
| 리드 생성(판매 대상이 상점인 경우) | 스토어 기술 스택, 앱, 테마, 연락처 정보 | SaaS 영업팀 |
Chrome 확장 프로그램이 인기 있는 이유는 단순해요. 코딩이 필요 없고, 쓰던 브라우저 안에서 바로 돌아가고, 1분이면 설정이 끝나거든요. 시작 장벽은 사실상 "버튼 하나 누를 수 있느냐" 정도예요.
스크래퍼와 스파이 도구, 풀어주는 문제가 달라요
목록으로 들어가기 전에, "Shopify scraper"를 검색하는 사람 대부분이 헷갈리는 지점부터 짚을게요. 사실 이 시장에는 서로 다른 문제를 푸는 두 가지 도구 범주가 있어요.
| 필요한 것이... | 도구 범주 | 하는 일 |
|---|---|---|
| 제품명, 가격, 옵션, 이미지, 설명을 스프레드시트로 내보내기 | 스크래퍼/내보내기 도구 | 카탈로그 데이터를 CSV, Excel, Sheets로 추출 |
| 테마 이름, 설치된 앱, 분석 도구, 결제 처리사, 트래픽 추정치 | 스파이/인스펙터 도구 | 스토어의 기술 스택과 전략을 파악 |
이 글이 다루는 스크래퍼는 Thunderbit, Instant Data Scraper, Web Scraper, Data Miner, Octoparse, Shopify Products Scraper & Exporter, Shopify Spy Scraper & Parser고, 스파이 도구는 Koala Inspector, BuiltWith, Wappalyzer예요.
경쟁사 가격 비교표를 만들 거라면 스파이 도구는 별 도움이 안 돼요. 반대로 잘되는 스토어가 어떤 Shopify 앱을 쓰는지 궁금할 뿐이라면 제품 스크래퍼는 오버스펙이고요. 대부분의 이커머스 팀은 결국 둘 다 하나씩 필요로 해요.
테스트 방식: 10개 확장 프로그램, 같은 기준
같은 기준으로 모든 도구를 평가했고, 통제된 Shopify 스토어 집합을 썼어요.
| 평가 기준 | Shopify에서 중요한 이유 |
|---|---|
| 설정 난이도 | Shopify 테마가 워낙 다양해서 CSS 선택자를 계속 손볼 일은 피하고 싶음 |
| 추출되는 데이터 필드 | 목록 페이지에는 기본 정보만 보이므로 설명, 옵션, 전체 이미지가 필요함 |
| 하위 페이지 보강 | 실제 경쟁 정보는 제품 상세 페이지에 있음 |
| 페이지네이션 처리 | 제품 500개 이상 카탈로그는 여러 페이지로 나뉨 |
| 엔드포인트 의존성 | /products.json만 믿는 도구는 그 기능이 막히면 실패 |
| 봇 차단 대응력 | 많은 스토어가 Cloudflare를 쓰거나 공개 JSON을 꺼 둠 |
| 내보내기 형식 | 최소 CSV/Excel은 필요, Sheets/Airtable/Notion은 보너스 |
| 예약 스크래핑 | 가격 모니터링에는 한 번 뽑는 것만으로는 부족 |
| 가격 투명성 | 크레딧, 페이지, 행은 전부 같은 의미가 아님 |
테스트 시나리오는 셋이었어요. products.json이 열려 있는 공개 스토어, products.json이 꺼진 스토어, 그리고 브라우저 접근은 되지만 직접 엔드포인트 호출은 막힌 스토어예요.
1. Thunderbit — 코딩 없이 쓰는 AI 기반 Shopify 스크래퍼
Thunderbit은 코드 없이 구조화된 데이터를 얻고 싶은 비즈니스 사용자를 위한 AI 웹 스크래퍼예요. Shopify에서는 컬렉션 페이지를 열고 One Click Extract를 누르면 AI가 페이지 구조를 읽어 제품명, 가격, 이미지 URL, 제품 링크 같은 열을 자동으로 잡아내요. 클릭 한 번이면 바로 스크래핑이 시작돼요.
다른 제품들과 확실히 다른 지점은 하위 페이지 보강 기능이에요. 대부분의 스크래퍼는 목록 페이지에 보이는 것 — 제품명, 가격, 썸네일 정도 — 만 가져와요. 진짜 경쟁 데이터는 제품 상세 페이지에 있죠. 전체 설명, 이미지 갤러리, 모든 옵션, 리뷰, 사이즈 차트까지요. Thunderbit의 AI는 각 제품 상세 페이지를 자동으로 방문해 이 필드들을 채워 넣어요.
주요 기능:
- AI 필드 추천: 수동 선택자 설정이 필요 없어요. AI가 페이지를 읽고 적절한 열을 제안해요.
- 하위 페이지 보강: 목록을 먼저 스크래핑한 뒤 각 제품 페이지를 자동 방문해 전체 설명, 옵션, 이미지 갤러리를 수집해요.
- 클라우드 모드: 대규모 카탈로그는 최대 50페이지를 동시에 처리하고, 세션 유지가 필요한 스토어는 브라우저 모드를 써요.
- 예약 스크래핑: "매주 월요일 오전 9시" 같은 자연어로 반복 실행을 설정해 가격/재고를 계속 모니터링할 수 있어요.
- 무료 내보내기: CSV, Excel, Google Sheets, Airtable, Notion, JSON까지 출력 단계에는 유료 장벽이 없어요.
- Field AI Prompt: 추출 중에 라벨링, 번역, 분류가 가능해요(예: "가격 기준으로 럭셔리/저가 분류").
요금은 무료 플랜(6페이지)부터 시작해서, Starter가 약 $9(약 1.2만 원)/월에 500 크레딧(1 크레딧 = 1행), Pro가 약 $38(약 5.1만 원)/월에 3,000 크레딧이에요. 하위 페이지 방문마다 크레딧이 추가로 들어간다는 점은 감안하세요. 크레딧 구조상 월 5,000개 넘는 대규모 스크래핑에서는 비용이 빠르게 불어나고, AI 필드 감지가 원시 JSON 엔드포인트 도구보다 행당 몇 초 더 걸리는 것도 단점이에요. 설정 시간을 최소화하면서 코딩 없이 깊이 있는 제품 데이터를 원하는 이커머스 팀에 잘 맞아요.
왜 하위 페이지 보강이 핵심인가
목록 페이지 데이터와 하위 페이지 보강 데이터의 차이는 꽤 커요.
| 필드 | 목록 페이지만 수집 | 하위 페이지 보강 포함 |
|---|---|---|
| 제품명 | ✅ | ✅ |
| 가격 | ✅ | ✅ |
| 썸네일 이미지 | ✅ | ✅ + 전체 갤러리 |
| 제품 설명 | ❌ | ✅ |
| 모든 옵션 | ❌(있어도 색상 스와치 정도) | ✅ |
| 리뷰/평점 | ❌ | ✅(렌더링되어 있으면) |
| 사이즈 차트, 스펙 | ❌ | ✅ |
이 기능이 있어야 단순 가격표가 아니라 진짜 경쟁 인텔리전스 데이터셋이 돼요. Shopify 데이터를 내보냈는데 "설명은 다 어디 갔지" 싶었던 적이 있다면, 바로 이 하위 페이지 문제예요.
Chrome 확장 프로그램으로 써 보거나 가격 정보를 확인해 보세요.
Shopify 스크래핑용 Thunderbit 사용해 보기 스토어에 /products.json이 있든 없든 작동합니다. AI가 렌더링된 페이지를 읽어 제품명, 가격, 옵션, 이미지를 한 번에 뽑아냅니다. Get Started Free
2. Instant Data Scraper — 설정 없는 무료 자동 감지 도구
Instant Data Scraper는 "그냥 빨리 내보내고 싶고 설정은 하기 싫다"는 사람에게 딱이에요. 완전 무료고, 휴리스틱 알고리즘으로 어떤 페이지든 표 형태 데이터를 자동 감지해서 CSV나 XLSX로 내보내요.
Shopify 컬렉션 페이지에서 확장 프로그램 아이콘을 누르면 대체로 바로 제품 그리드를 잡아내요. 페이지네이션도 처리하고("다음 페이지" 자동 클릭), Dawn 같은 표준 Shopify 테마에서 잘 작동해요.
주요 기능:
- 설정 없음: 페이지 열기 → 아이콘 클릭 → 데이터 표시
- 자동 페이지네이션 감지
- CSV 및 XLSX 내보내기
- Shopify 전용이 아니라 어떤 웹사이트에서도 사용 가능
돈은 한 푼도 안 들어요, 완전히 공짜예요. 대신 하위 페이지 스크래핑이 없어서 목록 페이지에 보이는 것만 수집하고, AI 필드 감지·예약 실행·봇 차단 대응도 없어요. 표준이 아니거나 많이 커스터마이즈된 테마에서는 엉뚱한 콘텐츠 블록을 잡기도 하고, 제품명과 가격은 얻어도 설명·전체 옵션은 놓치기 쉽죠. 표준 레이아웃 스토어에서 표면 수준 데이터만 빠르게, 비용 없이 뽑고 싶을 때 딱이에요.
3. Koala Inspector — 스토어 인텔리전스를 위한 스파이 도구
Koala Inspector는 대량 제품 스크래퍼가 아니라 스파이/인스펙터 도구예요. 그런데 "Shopify scraper"를 찾는 사람 상당수가 사실 경쟁사의 앱·테마·기술 스택을 알고 싶어 한다는 점에서 이 목록에 넣었어요. 이 영역에서는 Koala가 꽤 잘해요.
설치된 Shopify 앱, 테마 이름과 버전, 추정 트래픽, 베스트셀러 제품(공개 신호 기반), 스토어 생성일, Shopify 플랜까지 보여줘요. 확장 프로그램을 켜고 아무 Shopify 스토어에 들어가면 깔끔한 대시보드가 바로 떠요.
주요 기능:
- Shopify 앱 감지(설치된 앱 확인)
- 테마 식별
- 트래픽 추정 및 베스트셀러 신호
- 스토어 생성일 및 Shopify 플랜 감지
무료 플랜은 조회 수가 제한돼 있고, Pro(약 $9.99, 약 1.3만 원/월부터)로 올리면 더 많이 열려요. 다만 대량 제품 데이터를 CSV나 Sheets로 뽑을 수는 없어서, 가격표를 만들거나 카탈로그를 옮기는 용도로는 안 맞아요. 스토어가 어떻게 구성됐고 무슨 도구를 쓰는지 파악하는 데 특화된 셈이죠. 자기 스토어를 열기 전에 잘되는 스토어의 앱과 테마를 조사하려는 드롭쉬퍼·마케터에게 어울려요.
4. Shopify Products Scraper & Exporter — Shopify 맞춤 CSV 내보내기
Shopify Products Scraper & Exporter by Meetanshi는 목적이 아주 뚜렷해요. Shopify 제품을 Shopify 가져오기 형식과 호환되는 CSV로 내보내는 것뿐이에요. 스토어 정보(제품 수, 컬렉션 수)를 보여주고, 전체 또는 선택 컬렉션만 내보낼 수 있고, 제품당 여러 옵션과 이미지를 처리해요.
주요 기능:
- Shopify 가져오기 호환 CSV 출력
- 컬렉션 필터링(특정 컬렉션만 내보내기)
- 제품당 여러 옵션과 이미지 지원
- 스토어 제품/컬렉션 수 표시
무료로 쓸 수 있고(제품당 CSV 500개까지로 보고됨), 대신 /products.json 엔드포인트에 완전히 기대는 구조라 스토어가 그 기능을 꺼 두면 아무것도 못 얻어요. 하위 페이지 보강, 예약 실행, 봇 차단 대응도 없고 Shopify 전용이라 다른 플랫폼에서는 아예 안 돌아가고요. 500개 제한 탓에 큰 카탈로그는 여러 번 나눠 내보내야 할 수도 있어요. 소스 스토어의 products.json에 접근 가능하고 Shopify 기본 CSV 형식이 필요한 빠른 카탈로그 이전에 맞아요.
5. Shopify Spy Scraper & Parser — 스토어 개요와 제품 내보내기를 함께
Shopify Spy / SPYScraper 계열은 기본 스토어 개요 기능과 제품 내보내기를 같이 제공해요. 이 분야는 SPYScraper, Shopify Spy 등 이름이 꽤 흩어져 있어서, 설치 전에 정확한 Chrome Web Store 목록부터 확인하는 게 좋아요.
옵션 바코드, 세금 코드, 무게 단위, 이미지 alt 텍스트 같은 추가 필드까지 수집하는 "느린 모드"를 제공하고, CSV와 Excel로 내보낼 수 있어요.
주요 기능:
- 스토어 개요(기본 스파이 기능) + 제품 내보내기
- 설명을 포함한 상세 필드 추출용 "느린 모드"
- CSV 및 Excel 내보내기
- 일부 경쟁사 추적 기능(가격 변동, 제품 추가)
100개 제품까지는 무료고, 프리미엄(약 $5.90/월 또는 $58.80/년, 약 8천 원/월 수준, 버전마다 다름)으로 올리면 무제한이에요. products.json 의존도가 높아 봇 차단 대응이 제한적이고, 상세 모드는 추출 속도가 느린 편이고요. 비슷한 이름의 확장 프로그램이 여러 개라 어떤 버전을 설치하는지 헷갈리기도 해요. 스토어 개요와 기본 제품 내보내기를 한 도구로 끝내고 싶고 엔드포인트 의존성은 감수할 수 있는 사용자용이에요.
6. Web Scraper — 시각적 사이트맵 기반 스크래핑
Web Scraper는 이 목록에서 가장 유연한 무료 옵션이지만 배울 것도 그만큼 많아요. 어떤 데이터를 어떤 방식으로 페이지를 넘기며 수집할지 시각적으로 정의하는 "사이트맵"을 만들고, CSS 선택자·링크 추적 규칙·페이지네이션 로직을 직접 설정해요.
주요 기능:
- 스크래핑 로직을 정의하는 시각적 사이트맵 빌더
- 어떤 웹사이트에서도 사용 가능(Shopify 전용 아님)
- 다중 페이지 스크래핑용 페이지네이션 및 링크 추적 지원
- 예약 실행 가능한 클라우드 버전 제공($50/월부터)
- 로컬 확장은 CSV로, 클라우드는 Google Sheets/JSON/S3/API로 내보내기
브라우저 확장 프로그램 자체는 무료고, 클라우드로 가면 $50(약 6.8만 원)/월(5,000 URL 크레딧)부터 Professional $100/월, Business $200/월까지 올라가요. 수동으로 CSS 선택자를 잡아야 해서 테마가 업데이트되거나 레이아웃이 바뀌면 바로 깨지고, 비기술 사용자에겐 학습 난도가 꽤 높아요. Shopify 컬렉션 페이지 초기 설정만 처음이면 15~30분 걸릴 수도 있고요. 기본적인 웹 개념을 알고 Shopify에만 묶이지 않는 유연한 무료 도구가 필요한 사용자용이에요.
7. Data Miner — 레시피 기반 데이터 추출
Data Miner는 "레시피" 시스템을 써요. 페이지에서 어떤 데이터를 가져올지 정한 미리 만들어진, 혹은 직접 만든 추출 템플릿이죠. 커뮤니티가 레시피를 공유하니 이미 Shopify용 레시피가 있을 수도 있어요.
주요 기능:
- 커뮤니티 공유 추출 레시피 60,000개 이상
- 커스텀 스크래핑 규칙을 만드는 시각적 인터페이스
- 페이지네이션 및 크롤링 지원
- CSV, Excel, Google Sheets(유료)로 내보내기
무료 플랜은 월 500페이지 스크래핑까지고, Solo $19.99(약 2.7만 원)/월(500페이지, 커스텀 레시피, Google Sheets), Small Business $49/월(1,000페이지), Business Plus $200/월(9,000페이지)로 단계가 올라가요. 스토어 레이아웃이 바뀌면 레시피가 그대로 깨지고, AI 기반 필드 감지나 기본 하위 페이지 보강도 없고, 안 쓴 크레딧은 이월도 안 돼요. 무료 플랜은 가벼운 용도엔 괜찮지만 본격적인 경쟁 조사엔 역부족이고요. 코딩 없이 커뮤니티 템플릿과 적당한 유연성을 원하고 여러 사이트 유형을 자주 스크래핑하는 사용자에게 맞아요.
8. Octoparse — 클라우드 옵션이 있는 데스크톱 기반 시각적 스크래퍼
Octoparse는 데스크톱 앱과 클라우드 서비스를 모두 제공하는 더 범용적인 시각적 스크래핑 플랫폼이에요. 클릭 기반 워크플로우 구축, 데이터 패턴 자동 감지, Shopify 전용 사전 제작 템플릿을 제공해요.
주요 기능:
- 시각적 노코드 워크플로우 빌더
- 반복 스크래핑을 위한 클라우드 예약 실행
- 사전 제작된 Shopify 템플릿
- 페이지네이션, 무한 스크롤, AJAX 콘텐츠 지원
- CSV, Excel, JSON, 데이터베이스, API로 내보내기
- 추가 옵션: 레지덴셜 프록시($3/GB), CAPTCHA 해결($1~1.50/천 회)
무료 플랜(작업 10개, 로컬 전용, 월 50K 행 내보내기 제한)으로 시작할 수 있고, 유료로 올라가면 클라우드 추출·예약 실행·IP 회전·통합 기능이 붙으면서 비용도 함께 올라가요. 최신 가격은 Octoparse 페이지에서 직접 확인하는 게 정확해요. 복잡한 설정일수록 데스크톱 앱 의존도가 크고 AI 기반 도구보다 학습 곡선이 가파른 편이고, 클라우드·차단 방지 기능이 들어가면 Chrome 전용 솔루션보다 확실히 무겁게 느껴져요. 일정에 맞춰 반복 스크래핑이 필요하고 어느 정도 기술에 익숙하며 전용 플랫폼에 예산을 쓸 수 있는 팀용이에요.
9. BuiltWith — 경쟁사 조사를 위한 기술 프로파일러
BuiltWith는 제품 스크래퍼가 아니라 기술 프로파일러예요. 웹사이트가 어떤 이커머스 플랫폼, 분석 도구, 결제 처리사, 마케팅 도구, CDN, 호스팅, 특정 Shopify 앱을 쓰는지 식별해요.
BuiltWith 공개 데이터에 따르면 680만 개가 넘는 살아 있는 Shopify 웹사이트를 추적하고 있어서, Shopify 판매자를 대상으로 영업하는 팀이나 시장 기술 트렌드를 분석하는 리서처에게 강력해요.
주요 기능:
- 4억 1,400만+ 도메인의 기술 스택 식별(주간 업데이트)
- Shopify 전용: 설치된 앱, 픽셀, 결제 도구 감지
- Chrome 확장 프로그램으로 어떤 사이트든 즉시 기술 스택 표시
- 기술 사용 기반 리드 리스트 생성
- 리테일 및 키워드 리포트
개별 사이트 조회는 영구 무료지만, 본격적으로 쓰려면 Basic $295(약 40만 원)/월부터 Pro $495/월, Team $995/월까지 올라가요. 제품 데이터는 아예 추출하지 않고 가격·제품명·이미지·카탈로그 내보내기도 없어서, 순수하게 기술 식별과 영업용 도구로 봐야 해요. 전체 기능을 쓰려면 비용이 만만치 않고요. Shopify 판매자에게 영업하는 팀(예: "Klaviyo + Shopify Plus를 쓰는 모든 스토어 보여줘")이나 시장 기술 채택 추세를 연구하는 리서처에게 맞아요.
10. Wappalyzer — 가벼운 기술 스택 탐지 도구
Wappalyzer는 BuiltWith와 비슷하지만 더 가볍고 빠르게 훑어보기 편해요. 브라우저 확장 프로그램이 어떤 웹사이트에서든 CMS, 이커머스 플랫폼, 프레임워크, 분석 도구, 마케팅 도구, 결제 시스템을 즉시 식별해요.
106개 카테고리의 8,028개 웹 기술을 추적하고, Shopify 앱과 테마도 구체적으로 잡아내요.
주요 기능:
- Chrome 확장 프로그램을 통한 즉시 기술 감지
- 깔끔하고 단순한 인터페이스
- 감지한 기술의 CSV 내보내기
- 유료 플랜에서 대량 조회 및 CRM 보강
- Shopify 앱 및 테마 감지
Free는 월 50회 기술 조회에 사이트 알림 5개까지고, Pro $250(약 34만 원)/월, Business $450/월, Enterprise $850+/월로 확장돼요. 제품 데이터는 추출하지 않고 BuiltWith만큼 깊이 있는 리서치엔 덜 세밀한, 순수 기술 식별 도구예요. 경쟁사를 훑어보거나 리드를 검증할 때 빠르게 기술 스택만 확인하고 싶다면 — 개별 조회 기준으로는 BuiltWith보다 가볍고 빨라요.
2026년 봇 차단 현실: 보호된 스토어에서도 작동하는 확장 프로그램은?
Imperva 2025 Bad Bot Report를 보면 악성 봇이 전체 인터넷 트래픽의 37%, 리테일 업종만 놓고 보면 59%까지 차지해요. 스토어 운영자들이 방어에 나서는 것도 당연하죠. 그 결과 2026년의 많은 Shopify 스토어가 /products.json 엔드포인트를 아예 꺼 버리거나 Cloudflare 보호를 추가한 상태예요.
JSON 엔드포인트에만 매달리는 확장 프로그램은 이런 보호된 스토어에서 빈 데이터만 돌려받아요. 아래는 각 도구를 세 시나리오에 넣고 돌려 본 결과예요.
| 도구 | 공개 컬렉션 페이지 | products.json 사용 가능 | products.json 사용 불가 | 비고 |
|---|---|---|---|---|
| Thunderbit | ✅ | ✅ | ✅(렌더링된 페이지를 읽음) | 브라우저 모드는 엔드포인트와 무관하게 보이는 페이지에서 동작 |
| Instant Data Scraper | ✅ | 해당 없음 | ✅(목록 데이터만) | 보이는 내용만 가져오고 하위 페이지 데이터는 놓침 |
| Koala Inspector | ✅(기술 신호) | 해당 없음 | 해당 없음 | 스파이 도구라 데이터 유형이 다름 |
| Shopify Products Scraper & Exporter | ✅ | ✅ | ❌ | JSON 엔드포인트 의존 |
| Shopify Spy/SPYScraper | ✅ | ✅ | 부분적/실패 | 제품 데이터는 엔드포인트 의존 |
| Web Scraper | ✅(설정 후) | 렌더링된 페이지 사용 가능 | ✅(선택자가 작동하면) | 엔드포인트가 아니라 보이는 페이지를 읽음 |
| Data Miner | ✅(레시피 사용 시) | 보이는 페이지 사용 가능 | ✅(레시피가 작동하면) | 보이는 페이지를 읽음 |
| Octoparse | ✅(워크플로우 설정 후) | 렌더링된 페이지 사용 가능 | ✅(워크플로우가 구성되면) | 클라우드 차단 방지 기능 사용 가능 |
| BuiltWith | 기술 감지 전용 | 해당 없음 | 해당 없음 | 다른 범주 |
| Wappalyzer | 기술 감지 전용 | 해당 없음 | 해당 없음 | 다른 범주 |
결국 나뉘는 기준은 하나예요. 렌더링된 페이지를 읽는 브라우저 기반 스크래퍼(브라우저 모드의 Thunderbit, Web Scraper, Data Miner)는 사람 눈에 보이는 페이지라면 어디서든 버텨요. 반대로 엔드포인트 전용 도구는 스토어가 JSON 접근을 막는 순간 통째로 멈춰 버려요.
그러니 도구를 고르기 전에 storename.myshopify.com/products.json을 브라우저로 직접 열어 대상 스토어부터 확인하세요. 제품 데이터가 그대로 뜬다면 엔드포인트 의존 도구도 문제없고, 오류나 빈 화면이 뜬다면 렌더링된 페이지를 읽는 쪽을 골라야 해요.
속도와 정확도 벤치마크: 500개 제품 Shopify 스토어
약 500개 제품이 걸린 같은 공개 Shopify 스토어에 각 스크래퍼를 붙여 성능을 재 봤어요.
| 확장 프로그램 | 소요 시간(500개 제품) | 정확도 | 설명 수집 여부 | 모든 옵션 수집 여부 | 수동 수정 필요 횟수 |
|---|---|---|---|---|---|
| Thunderbit (Cloud) | 약 4분 | 약 97% | ✅(하위 페이지 통해) | ✅ | 0 |
| Thunderbit (Browser) | 약 18분 | 약 97% | ✅(하위 페이지 통해) | ✅ | 0 |
| Instant Data Scraper | 약 12분 | 약 89% | ❌ | 부분적 | 2(페이지네이션 이슈) |
| Shopify Products Scraper & Exporter | 약 3분 | 약 94% | 부분적(JSON 필드) | ✅ | 0(엔드포인트가 작동할 때) |
| Shopify Spy/SPYScraper(느린 모드) | 약 20분 | 약 91% | ✅(느린 모드) | ✅ | 1 |
| Web Scraper | 약 25분(설정 포함) | 약 92% | ❌(하위 페이지 설정 없을 시) | 부분적 | 3(선택자 수정) |
| Data Miner | 약 15분 | 약 88% | ❌ | 부분적 | 2(레시피 조정) |
| Octoparse | 약 10분(워크플로우 설정 후) | 약 93% | ✅(링크 추적 시) | ✅ | 1(워크플로우 조정) |
몇 가지는 특히 눈에 띄었어요.
- Thunderbit의 클라우드 모드는 50페이지를 동시에 처리해서, 보강된 전체 데이터셋 기준으로는 가장 빨랐어요. 브라우저 모드는 더 느리지만 세션 문맥이 필요한 스토어에서 작동해요.
- 엔드포인트 의존 도구(예: Shopify Products Scraper)는 엔드포인트가 정상일 때 가장 빨랐지만, 보호된 스토어 변형에서는 아무것도 못 돌려줬어요.
- 무료 도구(Instant Data Scraper, Web Scraper)는 수동 개입이 더 많이 필요했고 데이터도 덜 완전했어요.
- 여기서 말하는 정확도는 "30개 제품 감사 샘플에서 올바르게 수집된 필드 비율"이에요. 주요 실패 원인은 옵션 누락, 설명 잘림, 잘못된 이미지 URL이었어요.
경쟁사 가격·재고를 시간에 따라 추적하기
딱 한 번 스크래핑해서 얻는 건 스냅샷 한 장뿐이에요. 경쟁 인텔리전스를 진지하게 쓰려면 스냅샷을 반복해서 쌓아야 아래 질문들에 답이 나옵니다.
- 어떤 제품이 빨리 팔리고 있나? (스크래핑 간 재고 감소)
- 경쟁사는 계절에 따라 가격을 조정하나?
- 언제 SKU를 추가하거나 제거하나?
- 대략적인 판매 속도는 어느 정도인가?
가장 큰 가치를 뽑는 팀을 보면 늘 비슷해요. 모니터링은 자동화해 두고, 사람 시간은 수집이 아니라 분석과 실행에만 씁니다.
각 도구의 예약 실행 현황은 다음과 같아요.
| 도구 | 예약 스크래핑? | 주기 옵션 | 출력 대상 |
|---|---|---|---|
| Thunderbit | ✅ | 자연어("매주 월요일 오전 9시") | Sheets, Airtable, Notion, Excel |
| Instant Data Scraper | ❌ | — | — |
| Koala Inspector | 제한적(알림, 대량 아님) | — | — |
| Shopify Products Scraper & Exporter | ❌ | — | — |
| Shopify Spy/SPYScraper | 제한적/가변적 | — | — |
| Web Scraper | ✅(클라우드, $50/월부터) | 매시간/매일/매주 | CSV, Sheets, S3, API |
| Data Miner | ✅(유료 플랜) | 자동 크롤 작업 | CSV, Excel, Sheets |
| Octoparse | ✅(클라우드/프리미엄) | 유연한 예약 설정 | CSV, Excel, JSON, DB, API |
| BuiltWith | 알림만 제공(기술 변화) | — | — |
| Wappalyzer | 알림만 제공(기술 변화) | — | — |
제가 쓰는 워크플로우는 이래요. Thunderbit이 경쟁사의 "신상품" 컬렉션을 매주 실행해 Sheets로 내보내면, 조건부 서식으로 가격 변동과 신규/삭제 제품을 강조 표시해요. 설정은 5분 걸렸는데 매달 아끼는 수동 확인 시간은 몇 시간이나 돼요.
Shopify 스크래핑의 실제 비용: 무료 플랜, 크레딧, 정액 요금제
"월 $99를 내는데도 크레딧 한도에 걸린다"는 포럼 불만을 하도 많이 봐서 가격 투명성이 왜 중요한지 잘 알아요. 경쟁사 5곳에서 월 1,000개 제품을 처리한다고 가정하면 도구별 실제 비용은 이래요.
| 도구 | 무료 플랜 | 무료로 실제 얻는 것 | ~월 1,000개 제품 비용 | 가격 모델 |
|---|---|---|---|---|
| Thunderbit | 6페이지 | 약 600행(페이지 밀도에 따라 다름) | 약 $38/월(Pro, 3,000 크레딧) | 크레딧/행 구독 |
| Instant Data Scraper | 무제한 | 보이는 모든 목록 데이터 | $0 | 완전 무료 |
| Koala Inspector | 제한된 조회 | 앱/테마만, 대량 내보내기 없음 | 제품 스크래핑 기준 N/A | 구독($9.99/월 Pro) |
| Shopify Products Scraper & Exporter | CSV당 500개 제품 | 엔드포인트가 작동할 때 전체 제품 데이터 | $0 | 무료 확장 프로그램 |
| SPYScraper | 100개 제품 | 기본 제품 내보내기 | 약 $5.90/월 | 구독 |
| Web Scraper | 로컬 무료 | 로컬 무제한 스크래핑 | $0(로컬), 예약 필요 시 $50/월 | URL 크레딧 클라우드 구독 |
| Data Miner | 월 500페이지 | 약 500페이지 추출 | $19.99~$49/월(용량에 따라) | 페이지 스크래핑 구독 |
| Octoparse | 10개 작업, 로컬 | 월 50K행 내보내기, 로컬 전용 | 무료로 가능할 수도 있으나 클라우드 추가 비용 발생 | 작업/클라우드/애드온 모델 |
| BuiltWith | 무료 조회 | 개별 사이트 기술 프로파일 | 제품 스크래핑 기준 N/A | 기술 구독($295+/월) |
| Wappalyzer | 월 50회 조회 | 기본 기술 감지 | 제품 스크래핑 기준 N/A | 기술 구독($250+/월) |
요약하면 이래요. 무료 도구는 돈 대신 설정과 수작업 시간을 요구하고, 유료 도구는 돈으로 그 시간을 사는 구조예요. 무료 도구가 놓친 데이터를 손으로 채우거나 선택자·레시피를 고치는 데 드는 15~30분까지 더해서 제품당 실제 비용을 다시 계산해 보세요.
Thunderbit의 내보내기(CSV, Sheets, Airtable, Notion)는 플랜과 상관없이 무료예요. 데이터를 뽑고 나면 내보내기에 별도 장벽이 없고, 크레딧은 내보내기가 아니라 추출에만 쓰여요.
한눈에 비교: Shopify 스크래퍼 Chrome 확장 프로그램 10개
| 도구 | 최적 용도 | products.json 필요? | 봇 차단 대응 | 하위 페이지 보강 | 예약 스크래핑 | 내보내기 옵션 | 가격 |
|---|---|---|---|---|---|---|---|
| Thunderbit | 깊이 있는 제품 데이터, 비개발자 | 아니오(렌더링된 페이지 읽음) | 브라우저 모드에서 강함 | ✅ AI 기반 | ✅ 자연어 | Excel, CSV, Sheets, Airtable, Notion, JSON | 무료 체험, 약 $9/월부터 |
| Instant Data Scraper | 빠른 무료 내보내기 | 아니오(보이는 페이지 읽음) | 없음 | ❌ | ❌ | CSV, XLSX | 무료 |
| Koala Inspector | 스토어 기술/앱 리서치 | 해당 없음(스파이 도구) | 해당 없음 | 해당 없음 | 제한적 알림 | 앱 내 대시보드 | 무료, Pro 약 $9.99/월 |
| Shopify Products Scraper | Shopify CSV 마이그레이션 | 예 | 없음 | ❌ | ❌ | Shopify 형식 CSV | 무료(500개 제품) |
| Shopify Spy/SPYScraper | 제품 내보내기 + 개요 | 대부분 예 | 제한적 | 부분적(느린 모드) | 제한적 | CSV, Excel | 100개 제품 무료, 약 $5.90/월 |
| Web Scraper | 유연한 다중 사이트 스크래핑 | 아니오(렌더링된 페이지 읽음) | 내장 없음 | 수동 설정 필요 | ✅(클라우드, $50+/월) | CSV, XLSX, JSON, Sheets, S3 | 로컬 무료, 클라우드 $50/월부터 |
| Data Miner | 레시피/템플릿 기반 추출 | 아니오(보이는 페이지 읽음) | 없음 | ❌ | ✅(유료) | CSV, Excel, Sheets | 월 500페이지 무료, $19.99/월부터 |
| Octoparse | 예약 가능한 시각적 스크래핑 | 아니오(렌더링된 페이지 읽음) | 유료 애드온 가능 | ✅(워크플로우 사용) | ✅(클라우드) | CSV, Excel, JSON, DB, API | 로컬 무료, 클라우드 유료 |
| BuiltWith | 기술 기반 영업 발굴 | 해당 없음(기술 프로파일러) | 해당 없음 | 해당 없음 | 기술 알림 | 리포트, CSV, API | 무료 조회, $295/월부터 |
| Wappalyzer | 빠른 기술 스택 확인 | 해당 없음(기술 프로파일러) | 해당 없음 | 해당 없음 | 기술 알림 | CSV, JSON | 월 50회 무료 조회, $250/월부터 |
결론: 상황별로 뭘 고르면 될까
10개를 다 써 본 뒤 정리한 상황별 선택지예요.
- 깊은 제품 데이터가 필요한데 설정은 최소화하고 싶고 코딩은 못 한다 → Thunderbit. AI 필드 제안과 하위 페이지 보강이 선택자 설정 없이 완전한 데이터를 만들어 주고, 정기 경쟁사 조사에는 크레딧 모델이 잘 맞아요.
- 표준 스토어에서 빠르고 무료로 내보내기만 하면 된다 → Instant Data Scraper. 비용도 설정도 없는 대신 목록 페이지 데이터만 얻는다는 건 감수해야 해요.
- 경쟁사가 어떤 앱과 테마를 쓰는지가 궁금하다 → Shopify 전용 인사이트는 Koala Inspector, 빠른 크로스 플랫폼 확인은 Wappalyzer.
- 카탈로그 이전용 Shopify 가져오기 호환 CSV가 필요하다 → 소스 스토어의 products.json에 접근 가능할 때 Shopify Products Scraper & Exporter.
- 시각적 선택자를 다룰 줄 알고 여러 사이트에서 유연성이 필요하다 → 무료면 Web Scraper, 예약까지 필요하면 Octoparse.
- SaaS 제품을 위해 Shopify 판매자를 발굴하는 중이다 → 기술별 리드 리스트는 BuiltWith, 가벼운 개별 조회는 Wappalyzer.
- 지속적인 가격·재고 모니터링이 필요하다 → 설정이 가장 쉬운 Thunderbit, 또는 Web Scraper Cloud나 Octoparse Cloud.
정리하면, 대부분의 이커머스 팀에는 제품 데이터 추출용 Thunderbit과 기술 스택 조사용 Koala Inspector(또는 Wappalyzer)를 같이 쓰는 조합을 권해요. "무엇을 얼마에 파는가"와 "스토어는 어떻게 구성됐는가"라는 두 질문을 한 번에 커버할 수 있거든요.
AI 기반 Shopify 스크래핑이 실제로 어떻게 돌아가는지 직접 확인하고 싶다면 Thunderbit 무료 체험으로 원하는 스토어에서 바로 테스트해 보세요. 다른 스크래핑 시나리오에서의 동작이 궁금하면 Thunderbit YouTube 채널도 참고하시고요.
Thunderbit 무료로 사용해 보기 무료 플랜은 월 6페이지까지 지원하며, 카드 등록이 필요 없습니다. 하위 페이지 스크래핑으로 목록 페이지에 보이지 않는 옵션 수준의 세부 정보까지 가져옵니다. Get Started Free
자주 묻는 질문
1. Shopify 스토어의 데이터를 스크래핑하는 것은 합법인가요?
공개적으로 접근 가능한 제품 데이터(모든 방문자가 볼 수 있는 가격, 제품명, 이미지)를 스크래핑하는 것은 일반적으로 위험도가 낮은 편으로 여겨집니다. 특히 미국에서 공개 데이터 접근을 지지한 hiQ v. LinkedIn 판결 이후 더 그렇습니다. 다만 robots.txt 지시사항, 스토어 이용약관, 요청 속도 제한은 항상 존중해야 하며, 개인 정보나 비공개 데이터는 스크래핑하지 말아야 합니다. 로그인 장벽, CAPTCHA, 기술적 접근 통제를 우회하지 마세요. 이는 실무적 안내일 뿐 법률 자문은 아닙니다. 구체적인 상황은 법률 전문가와 상담하세요.
2. Shopify 스크래퍼 확장 프로그램은 모든 Shopify 스토어에서 작동하나요?
아니요. 일부 스토어는 /products.json 엔드포인트를 꺼 두었거나 Cloudflare 보호를 사용합니다. Shopify Products Scraper & Exporter처럼 JSON 엔드포인트에만 의존하는 도구는 보호된 스토어에서 실패합니다. Thunderbit처럼 브라우저에서 보이는 렌더링된 페이지를 읽는 스크래퍼는 이런 상황을 더 잘 처리합니다. 일반적으로 사람이 보는 그 페이지에서 추출하기 때문에 특정 API 엔드포인트에 의존하지 않기 때문입니다.
3. 스크래핑한 Shopify 데이터를 Google Sheets나 Excel로 내보낼 수 있나요?
네. 대부분의 스크래퍼 도구는 최소한 CSV와 Excel 내보내기를 지원합니다. Thunderbit은 추가 비용 없이 Google Sheets, Airtable, Notion으로 직접 내보내기도 지원합니다. Web Scraper Cloud와 Data Miner(유료)도 Google Sheets를 지원합니다. 반면 스파이 도구(Koala, BuiltWith, Wappalyzer)는 제품 카탈로그가 아니라 기술 데이터를 내보냅니다.
4. Shopify 스크래퍼와 Shopify 스파이 도구의 차이는 무엇인가요?
스크래퍼는 제품명, 가격, 설명, 이미지, 옵션 같은 대량 카탈로그 데이터를 스프레드시트로 추출해 경쟁 분석, 가격 조사, 카탈로그 이전에 사용합니다. 스파이 도구는 어떤 앱이 설치되어 있는지, 어떤 테마를 쓰는지, 어떤 분석 및 결제 도구를 사용하는지 등 스토어의 기술 스택을 파악해 전략 조사와 영업 발굴에 활용합니다. 대부분의 이커머스 팀은 둘 다 하나씩 있으면 좋습니다.
5. 무료로 얼마나 많은 제품을 스크래핑할 수 있나요?
도구마다 차이가 큽니다. Instant Data Scraper는 기능은 제한적이지만 완전히 무료이고 제품 수 제한이 없습니다. Thunderbit의 무료 플랜은 약 6페이지 추출을 지원합니다. Shopify Products Scraper & Exporter는 CSV당 최대 500개 제품까지 무료로 처리한다고 보고됩니다. SPYScraper는 100개 제품을 무료로 제공합니다. Data Miner는 월 500페이지 무료 스크래핑을 제공합니다. Web Scraper의 로컬 확장은 무제한 로컬 사용이 무료입니다. 매달 수천 개 제품을 다루는 진지한 경쟁 조사라면 유료 도구에 투자하는 편이 현실적입니다. 다만 직접 수집하는 데 드는 시간도 함께 계산해 보세요.
Thunderbit으로 AI Shopify 스크래핑 시작하기 Get Started Free
더 알아보기
