Shopify는 지금 전 세계에서 라이브 스토어를 460만 개 넘게 굴려요. 이커머스에 몸담았다면, 경쟁사가 뭘 얼마에 파는지, 재고가 얼마나 빨리 빠지는지 알아보려고 반나절이나 주말을 통째로 써 본 적이 있을 거예요. 저도 그랬고요. Shopify의 봇 차단과 JS 범벅 테마가 끼면, 스크래핑 도구가 다 똑같지 않다는 걸 뼈저리게 배워요.
지난 몇 달간 Thunderbit에서 가장 인기 있는 Shopify 스크래퍼 9개를 직접 돌리고, 깨 보고, 비교했어요. 무료 브라우저 확장 프로그램부터 엔터프라이즈급 플랫폼까지, 각 도구가 뭘 잘하는지 — 그리고 어디서 막히는지 — 솔직하게 정리했어요. 혼자 드롭쉬핑하든, 운영 책임자든, 파이프라인을 짜는 개발자든 맞는 도구가 있어요.
Shopify 스크래핑을 위해 Thunderbit 사용해 보기
왜 Shopify 스토어를 스크래핑할까요? (그리고 누가 정말 필요할까요?)
Shopify 스크래핑은 개발자 취미가 아니에요. 수많은 이커머스 팀의 일상적인 업무 흐름이죠. 누가 왜 이걸 활용하는지 보면 이래요.
| 사용 사례 | 혜택을 받는 사람 | 얻을 수 있는 것 |
|---|---|---|
| 경쟁사 상품 조사 | 영업팀, 브랜드 매니저 | 상품 카탈로그, 가격, 신규 출시 |
| 가격 및 재고 모니터링 | 이커머스 운영, 가격 분석가 | 일별/주별 가격 변동, 재고 수준 |
| 드롭쉬핑 상품 발굴 | 드롭쉬퍼, 창업가 | 인기 상품, 베스트셀러, 공급업체 데이터 |
| 카탈로그 구축 및 마이그레이션 | 에이전시, 마켓플레이스 판매자 | 가져오기에 적합한 구조화된 상품 데이터 |
| 시장 분석 및 트렌드 파악 | 연구자, 분석가 | 카테고리별 가격, 상품 구색 변화 |
Shopify 스토어에서 벌어지는 일을 근거로 의사결정을 한다면, 내 스토어든 경쟁사 스토어든 그 데이터를 안정적으로 뽑을 방법이 필요해요. 인터넷 트래픽의 거의 절반이 이제 봇에서 나온다는 점을 생각하면, 어떤 도구를 쓰느냐가 그 어느 때보다 중요해요.
최고의 Shopify 스크래퍼를 가르는 것
저는 각 도구를 9가지 기준으로 평가했어요. 제가 찾은 비교 글들은 대부분 3~5개 항목만 다루더라고요. 그래서 더 깊이 파고들었어요. 제가 본 항목과, 각 기준이 중요한 이유는 이래요.
- 도구 유형: Chrome 확장 프로그램, 데스크톱 앱, API, 코드 라이브러리인지에 따라 실제 사용 가능한 사람이 갈려요.
- Shopify 특화 기능:
products.json, 컬렉션, 변형 옵션처럼 Shopify의 데이터 구조를 기본으로 이해하나요? - 추출되는 데이터 필드: 제목, 가격, 변형, SKU, 설명, 이미지, 공급업체, 태그, 재고를 가져오나요?
- 내보내기 형식: CSV, JSON, Excel, Google Sheets, Airtable, Notion 중 어디로 보낼 수 있나요?
- 무료 요금제 / 가격: 0원으로 어디까지 되나요? (이거 정말 중요해요. 포럼마다 기본 추출조차 유료 도구를 꺼리는 분이 많거든요.)
- 예약 / 자동화: 반복 스크래핑으로 계속 모니터링할 수 있나요?
- 봇 차단 대응: Shopify의 속도 제한과 차단을 어떻게 다루나요?
- 설정 난이도: 첫 스크래핑까지 몇 분이나 걸리나요? 노코드인가요, 코드가 필요한가요?
- 하위 페이지 / 상세 페이지 스크래핑: 개별 상품 페이지를 자동 방문해 변형, 설명, 모든 이미지를 보강하나요?
하위 페이지를 못 다루는 도구라면, Shopify 스토어에서 쓸 만한 데이터의 절반을 놓쳐요. 그게 바로 대부분의 "베스트" 목록이 빠뜨리는 부분이에요.
products.json 지름길 — 그리고 안 통할 때 대처법
Shopify 스크래핑 포럼을 조금이라도 봤다면, Shopify 스토어 URL 뒤에 /products.json을 붙여 보라는 얘기를 한 번쯤 보셨을 거예요. 꽤 깔끔한 방법이에요. Shopify는 많은 스토어에서 상품 데이터를 JSON 엔드포인트로 내주고, 페이지네이션을 돌며 상품 제목, 가격, 이미지를 가져올 수 있거든요. 스크래퍼가 없어도 돼요.
하지만 현실은 이래요. 일부 Shopify 스토어는 products.json을 막거나 꺼 둬요. 스토어 소유자가 개인정보 설정을 손보거나, 헤드리스/Hydrogen 스토어프론트를 쓰거나, 커스텀 설정을 배포할 때 그래요. 여러 Reddit 스레드와 Shopify 커뮤니티 글에서도, 이 엔드포인트에 의존하는 사용자에겐 실제로 큰 장벽이라는 점이 확인돼요.
간단한 판단 기준은 이래요.
/products.json을 쓸 수 있나요? 빠른 대량 내보내기에 활용하세요. 그리고 Thunderbit 같은 스크래퍼로 보강하면 좋아요(변형 옵션, 전체 설명, 모든 이미지)./products.json이 막혔나요? 렌더링된 페이지를 직접 읽는 브라우저 기반 AI 스크래퍼(Thunderbit, Octoparse)를 쓰세요. API에 의존하지 않아요.- 지속적인 모니터링이 필요한가요? 엔드포인트 사용 가능 여부와 상관없이 예약 스크래퍼를 쓰는 게 좋아요. 예를 들어 Thunderbit의 예약 스크래퍼는 사용자가 직접 정한 자연어 일정으로 돌아가요.
이건 경쟁사 글들이 솔직하게 안 다루는 대목 중 하나예요. JSON 엔드포인트는 통할 땐 훌륭하지만, 안 될 때를 대비한 대안이 꼭 필요해요.
한눈에 보는 Shopify 스크래퍼 9선
아래는 전체 비교표예요. Shopify 스크래퍼 비교 자료 중에선 가장 포괄적으로 만들려고 했어요. 대부분의 글은 3~5개 항목에서 끝나거든요.
| 도구 | 유형 | Shopify 특화 | 주요 데이터 필드 | 내보내기 형식 | 무료 요금제 | 예약 | 봇 차단 / JS | 설정 난이도 | 하위 페이지 스크래핑 |
|---|---|---|---|---|---|---|---|---|---|
| Thunderbit | Chrome 확장 + API | ✅ 템플릿 | 제목, 가격, 변형, SKU, 설명, 이미지, 공급업체, 태그 | Excel, Sheets, Airtable, Notion, CSV, JSON | 월 6페이지 무료 | ✅ 자연어 | 클라우드 + 브라우저 스크래핑 | 매우 쉬움(2클릭) | ✅ |
| Octoparse | 데스크톱 + 클라우드 | ✅ 튜토리얼 | 제목, 가격, 설명, 이미지, 크기, 리뷰 | Excel, CSV, JSON, XML, DB, Sheets, S3 | 무료 플랜(제한 있음) | ✅ 클라우드 | IP 순환, CAPTCHA, 프록시 | 보통(시각적 편집기) | ✅ |
| Instant Data Scraper | Chrome 확장 | ❌ 범용 | 제목, 가격, 링크, 표시 텍스트 | CSV, Excel | 100% 무료 | ❌ | 로컬 브라우저 전용 | 매우 쉬움 | ❌ |
| ScrapingBee | API | ❌ 범용 | 무엇이든(커스텀 셀렉터) | JSON, HTML, 마크다운, 텍스트 | 1,000 무료 크레딧 | ❌(외부 트리거 필요) | 헤드리스 브라우저, 프록시 | 어려움(코드 필요) | ❌(커스텀 코드) |
| Bright Data | 엔터프라이즈 플랫폼 | ✅ Shopify 스크래퍼 + MCP | 전체 카탈로그, 가격, 이미지, 리뷰, 재고 | JSON, CSV, NDJSON, S3, Snowflake | 무료 체험 | ✅ Cron/플랫폼 | Web Unlocker, 프록시, CAPTCHA | 어려움(엔터프라이즈 설정) | ✅ |
| Koala Inspector | Chrome 확장 | ✅ Shopify 스파이 | 테마, 앱, 베스트셀러, 가격, 광고 | 브라우저 내(제한적 내보내기) | 무료 요금제 | ❌ | 해당 없음(스파이 도구이지 스크래퍼 아님) | 매우 쉬움 | ❌ |
| Parsehub | 데스크톱 앱 | ❌ 범용 | 제목, 가격, 이미지, 설명(설정 가능) | JSON, Excel, Sheets, API | 무료 프로젝트 5개 | ✅ 유료 플랜 | IP 순환 | 보통(시각적) | ✅(워크플로우) |
| Data Miner | Chrome 확장 | ❌ 범용 | 제목, 가격, 링크, 표시 텍스트 | CSV, Google Sheets | 무료(페이지 제한 있음) | ❌ | 로컬 브라우저 전용 | 쉬움 | ❌ |
| Apify | 클라우드 플랫폼 | ✅ Shopify 액터 | 제목, 가격, 변형, SKU, 설명, 이미지, 공급업체, 태그, 재고 | JSON, CSV, Excel, API, DB | 무료 요금제 | ✅ 대시보드 | 클라우드, 프록시 | 보통(액터 설정) | ✅ |
한 줄 평이에요.
- Thunderbit: 비기술 사용자가 Shopify 페이지에서 스프레드시트까지 가장 빠르게 가는 길이에요.
- Octoparse: 코드 없이 제어력을 원하는 분에게 가장 좋은 시각적 워크플로 빌더예요.
- Instant Data Scraper: 빠르게 가져오기만 필요할 때 가장 좋은 무상·무설정 옵션이에요.
- ScrapingBee: 커스텀 Shopify 추출 로직이 필요한 개발자에게 가장 좋은 API예요.
- Bright Data: 대규모 카탈로그에 가장 맞는 엔터프라이즈 인프라예요.
- Koala Inspector: Shopify 스토어 인텔리전스(앱, 테마, 광고)에 가장 좋아요.
- Parsehub: IP 순환이 되는 최고의 무료 데스크톱 스크래퍼예요.
- Data Miner: 브라우저에서 구조화된 표를 뽑을 때 가장 좋아요.
- Apify: 전용 Shopify 스크래핑 액터가 있는 최고의 클라우드 플랫폼이에요.
1. Thunderbit — 2클릭 AI Shopify 스크래퍼
Thunderbit은 저희 팀이 만든 도구예요. 그 점은 먼저 분명히 말씀드릴게요. 하지만 뭘 잘하고 뭘 못하는지도 솔직하게 말씀드릴게요. 제품 자체가 충분히 말해 준다고 믿거든요.
AI로 Shopify 스토어를 스크래핑 Get Started Free
Thunderbit는 Chrome 확장 프로그램으로, AI가 어떤 Shopify 상품 목록 페이지에서도 데이터 필드를 자동 제안해 줘요. 셀렉터를 짤 필요도, 워크플로를 세팅할 필요도, 코드 한 줄 만질 필요도 없어요. 흐름은 두 번 클릭이면 끝이에요. Shopify 컬렉션 페이지를 열고 "AI 필드 추천"을 누른 다음, 컬럼을 확인하고 "스크래핑"을 누르세요. AI는 페이지에 보이는 내용을 읽기 때문에, 스토어가 products.json을 껐더라도 Thunderbit는 그대로 작동해요.
Shopify 특화 강점:
- 가격, 상품 상세, 카탈로그 추출을 위한 전용 Shopify 템플릿
products.json이 막힌 렌더링 페이지에서도 작동- 변형, 설명, 이미지로 목록 데이터를 보강하는 하위 페이지 스크래핑 지원
- Excel, Google Sheets, Airtable, Notion, CSV, JSON으로 내보내기 가능
2. Octoparse — 최고의 시각적 워크플로 빌더
Octoparse는 시각적인 포인트 앤 클릭 워크플로 빌더를 주는 데스크톱·클라우드 스크래핑 플랫폼이에요. 셀렉터와 페이지네이션 로직을 더 세밀하게 제어하고 싶지만 코드는 쓰기 싫을 때 Shopify에서 잘 맞아요.
상품 목록, 상세 페이지, 예약 실행까지 다루지만, 설정은 Thunderbit보다 더 묵직해요. 스크래핑 단계를 하나하나 직접 짜는 걸 좋아하는 분에게는 강력한 선택지예요.
3. Instant Data Scraper — 최고의 무료 빠른 수집 도구
Instant Data Scraper는 웹페이지에서 보이는 표와 목록을 뽑는 간단한 Chrome 확장 프로그램이에요. 완전 무료고, 설정도 거의 필요 없어요.
단점은 범용 도구라는 점이에요. Shopify를 특별히 이해하지 못하고, 하위 페이지도 못 다루며, 레이아웃이 동적이거나 데이터가 JS 상호작용 뒤에 숨어 있으면 큰 도움이 안 돼요.
4. ScrapingBee — 최고의 개발자용 API
ScrapingBee는 개발자를 위해 만든 웹 스크래핑 API예요. 브라우저 렌더링, 프록시, 봇 차단 완화를 처리해 주고, 커스텀 코드로 Shopify 데이터를 뽑을 수 있어요.
추출 과정을 완전히 통제하고 로직을 직접 짜고 싶은 분이라면 좋은 선택이에요. 다만 노코드 도구는 아니라서, 비기술 사용자에겐 가장 빠른 길은 아닐 거예요.
5. Bright Data — 최고의 엔터프라이즈급 인프라
Bright Data는 강력한 프록시 인프라, CAPTCHA 처리, 전용 Shopify 스크래퍼를 갖춘 엔터프라이즈 스크래핑 플랫폼이에요. 신뢰성과 규정 준수가 필요한 대규모 운영을 위해 만들어졌어요.
팀이 대형 카탈로그를 긁거나 Snowflake 같은 시스템으로 이어지는 데이터 파이프라인이 필요하다면 Bright Data를 볼 만해요. 다만 복잡성과 비용이 단점이에요.
6. Koala Inspector — 스토어 인텔리전스에 가장 적합
Koala Inspector는 스크래퍼라기보다 Shopify 스파이 도구에 가까워요. 테마, 앱, 베스트셀러, 광고, 스토어 수준의 인텔리전스를 파악하는 데 유용해요.
목표가 깔끔한 상품 데이터 내보내기보다 경쟁사 조사에 있다면 도움이 될 수 있어요. 하지만 대규모 구조화 스크래핑에는 맞는 도구가 아니에요.
7. Parsehub — IP 순환이 되는 최고의 무료 데스크톱 스크래퍼
Parsehub는 복잡한 사이트와 일부 동적 상호작용을 다룰 수 있는 시각적 데스크톱 스크래퍼예요. 유료 플랜에선 IP 순환을 주고, 하위 페이지와 페이지네이션 워크플로도 지원해요.
간단한 확장 프로그램보다 유연하지만, 설정에 시간이 더 들고 학습 곡선도 더 가팔라요.
8. Data Miner — 브라우저 기반 표 추출에 가장 적합
Data Miner는 보이는 데이터를 스프레드시트로 긁어오는 데 집중한 Chrome 확장 프로그램이에요. 이미 표나 깔끔한 목록 형태로 정리된 단순한 Shopify 페이지에서 특히 유용해요.
Instant Data Scraper처럼 Shopify 전용 인식 기능은 없어요. 그래서 복잡한 스토어프론트보다 단순한 페이지에서 가장 잘 돌아가요.
9. Apify — Shopify 액터가 있는 최고의 클라우드 플랫폼
Apify는 전용 Shopify 액터를 주는 클라우드 스크래핑 플랫폼이에요. 구조화된 출력, 예약, 하위 도구와의 연동을 지원해요.
호스팅 스크래핑이 필요하고 액터 기반 설정에 익숙한 팀에겐 아주 좋은 선택지예요. 브라우저 확장 프로그램보다는 기술적이지만, 모든 걸 직접 짜는 것보다는 인프라 부담이 적어요.
최종 결론: 어떤 Shopify 스크래퍼를 골라야 할까요?
Shopify 스토어를 가장 빠르고 쉽고 유연하게 긁고 싶다면, 비기술 사용자 대부분에겐 Thunderbit가 잘 맞아요. 렌더링된 페이지를 다루고, 하위 페이지 보강을 지원하며, 설정도 아주 간단하고요.
더 손에 잡히는 시각적 빌더를 원한다면 Octoparse가 좋고요. 개발자 수준 제어가 필요하다면 ScrapingBee나 Apify, 엔터프라이즈 규모엔 Bright Data가 돋보여요. 그냥 빠르게 무료로 가져오면 된다면 Instant Data Scraper로도 충분해요.
Shopify 모니터링, 상품 조사, 카탈로그 추출 도구를 비교 중이라면, 하위 페이지와 예약까지 커버하는 가장 쉬운 옵션부터 시작하세요. 진짜 가치가 거기서 나오거든요.
Shopify 스크래핑을 위해 Thunderbit 사용해 보기 Get Started Free
더 알아보기
