Amazon 카탈로그에는 판매 파트너만 약 200만 곳, 상품은 수억 개가 올라와 있어요. 제목, 가격, 평점, ASIN을 스프레드시트에 일일이 옮겨 본 분이라면 이 작업이 얼마나 지치는지 아실 거예요. 물량은 또 금방 불어나요.
저는 AI 웹 스크래퍼를 만드는 Thunderbit에서 일해요. 그래서 사람들이 웹에서 데이터를 빼내는 방식을 늘 눈여겨봐요. 이번 글은 흔한 정리 글과 결을 좀 다르게 잡았어요. 실제로 설치해서 Amazon에서 돌려볼 수 있는 Chrome 확장 7개를 같은 페이지에 올려놓고, 동일 조건으로 돌린 뒤, 뭐가 되고 뭐가 안 되는지, 각 도구가 어떤 상황에 맞는지 솔직하게 적었어요. 평가 기준은 8가지예요. AI 필드 감지, 하위 페이지 스크래핑, 차단 위험, 무료 플랜, 내보내기 옵션처럼 포럼과 저희 사용자들이 자주 토로하는 불만과 바로 이어지는 항목들이죠. Amazon 셀러든 마케터든, 복사·붙여넣기에 질린 분이든 도움이 될 거예요.
Amazon 스크래핑용 Thunderbit 사용해 보기
한국 독자를 위한 맥락: 한국에서 Amazon 스크래퍼를 찾는 사람은 보통 단순 쇼핑보다 해외 판매·소싱·가격 조사 목적이 많아요. 예를 들어 Amazon US/Japan의 ASIN, 판매가, 리뷰 수, 평점, 쿠폰, 배송 옵션을 모아 쿠팡 로켓직구, 네이버 스마트스토어, 11번가 글로벌 상품과 비교하거나, 수출 셀러가 같은 카테고리의 가격 포지션을 확인하는 식이에요. 따라서 이 글의 기준도 Amazon 페이지를 얼마나 깔끔하게 표로 바꾸는가뿐 아니라 한국 팀이 Excel, Google Sheets, Notion, Airtable로 넘겨 바로 상품 리서치에 쓸 수 있는가에 맞춰 읽는 것이 좋아요.
리뷰와 판매자 정보는 공개 페이지에 표시되는 범위만 사용하고, 계정 로그인 뒤에 보이는 개인화 데이터나 구매자 개인정보는 수집 대상에서 빼야 해요. 한국 개인정보보호법(PIPA)과 각 마켓플레이스 약관을 함께 확인하는 것이 안전해요.
애초에 Amazon 상품 데이터를 왜 긁어야 할까요?
온라인에서 물건을 팔거나 마케팅하거나 조사하는 사람이라면 거의 다 해당돼요. Amazon은 자사 스토어 매출의 60% 이상이 독립 판매자에서 나온다고 밝혀요. 그 판매자들은 서로를 끊임없이 주시하죠. 제가 자주 마주치는 대표 사례를 묶어봤어요.
| 활용 사례 | 누가 사용하나 | 얻을 수 있는 것 |
|---|---|---|
| 경쟁사 가격 모니터링 | 셀러, 가격 팀, 에이전시 | 경쟁 상품의 실시간 가격 및 재고 정보 |
| 상품 리서치 및 트렌드 추적 | Amazon 셀러, 시장 조사자 | 떠오르는 카테고리, 신규 진입자, 수요 변화 파악 |
| 리뷰 감성 분석 | 자체 브랜드 셀러, 브랜드 팀 | 반복되는 불만, 기능 공백, 기회 포착 |
| 리드 생성(판매자 연락처) | 도매 팀, 에이전시 | 판매자 이름, 스토어프론트, 연락처 정보 |
| 카탈로그 및 재고 모니터링 | 이커머스 운영, 브랜드 보호 | 재고 수준, 상품 등록 변경, 무단 판매자 추적 |
| 키워드 및 상품 페이지 최적화 | 브랜드 소유자, 마켓플레이스 운영자 | 검색어 데이터, 상품 설명 문구, 경쟁사 키워드 |
효과도 숫자로 드러나요. Amazon 사례 연구를 보면, 구조화된 데이터로 상위 검색어를 맞춰 최적화한 뒤 thefitguy의 분기 매출이 40% 넘게 늘었다고 해요. Parseur 설문에서는 반복적인 데이터 입력에 주당 9시간 넘게 쓴다는 결과가 나왔고요. 이 중 일부만 자동화해도 정작 의사결정에 쓸 시간이 꽤 생겨요.
좋은 Amazon 스크래퍼 Chrome 확장의 조건: 제 테스트 기준
Chrome 확장이라고 다 같지 않아요. 그런데 비교 글들은 API, 데스크톱 앱, 브라우저 확장을 서로 갈아 끼울 수 있는 것처럼 한데 묶곤 해요. 실제론 전혀 다르죠. 제가 쓴 기준과 각 항목이 중요한 이유를 하나씩 볼게요.
- 설정의 쉬움 - 비전문가도 5분 안에 결과를 받나? (포럼에서도 1순위 고민이에요.)
- AI 기반 필드 감지 - 도구가 상품 필드를 알아서 잡나요, 아니면 셀렉터를 손수 지정해야 하나요? (이걸 따로 다루는 비교 글은 거의 없어요.)
- 하위 페이지 / 상세 페이지 스크래핑 - 한 흐름으로 목록 데이터에 상세 정보를 덧붙일 수 있나요?
- 안티봇 / 차단 위험 대응 - Amazon의 강한 봇 탐지를 어떻게 넘기나요? (포럼에서 가장 큰 골칫거리예요.)
- 페이지네이션 지원 - 여러 결과 페이지를 자동으로 넘기나요?
- 무료 플랜 / 가격 - 결제 없이 실제로 뭘 쓸 수 있나요? (사용자는 꼭 묻는데, 경쟁 도구들은 답을 흐려요.)
- 내보내기 옵션 - CSV, Excel, Google Sheets, Airtable, Notion?
- 예약 실행 및 자동화 - 정기적으로 돌게 걸어둘 수 있나요?
Amazon US 검색 결과와 상품 상세 페이지에서, 같은 검색어와 같은 조건으로 7개를 모두 돌렸어요.
AI 기반 vs 셀렉터 기반 스크래핑: Amazon에서 왜 갈리나요?
다른 총정리 글이 잘 안 짚는 지점이지만, 이 차이가 스크래퍼 유지보수의 난이도를 거의 다 결정해요.
대부분의 Chrome 확장 스크래퍼는 CSS 셀렉터를 데이터 필드에 매핑하는 식으로 돌아가요. 사용자나 도구의 템플릿이 「가격」이나 「제목」에 해당하는 HTML 요소를 짚어주면, 스크래퍼가 그 값을 가져오죠. 문제는 Amazon이 스크래퍼를 무력화하려고 HTML과 CSS를 거의 매일 바꾼다는 점이에요. 포럼 사용자들은 해시로 바뀌는 클래스 이름을 흔한 실패 원인으로 꼽아요.
세 가지 방식을 이렇게 나란히 볼 수 있어요.
| 방식 | 작동 방식 | Amazon 레이아웃이 바뀌면 |
|---|---|---|
| 셀렉터 기반(전통 방식) | 사용자가 CSS 셀렉터를 필드에 직접 매핑 | 깨짐 - 사용자가 다시 설정해야 함 |
| 템플릿 기반 | Amazon 페이지용으로 미리 만들어진 레시피 | 개발자가 템플릿을 업데이트할 때까지 깨짐 |
| AI 기반(예: Thunderbit) | AI가 페이지 내용을 읽고 필드를 자동 감지 | 자동으로 적응 - 유지보수 불필요 |
테스트한 7개 중 AI 필드 감지를 기본 경로로 쓰는 건 Thunderbit 하나뿐이었어요. 나머지는 셀렉터나 템플릿에 기대니, Amazon이 페이지를 조금만 손봐도 유지보수가 더 붙어요. 이 차이만 알아둬도 나중에 훨씬 덜 답답해요.
1. Thunderbit - AI 기반 Amazon 스크래퍼 Chrome 확장
Thunderbit는 저희가 만든 도구예요. 그 점은 먼저 분명히 밝혀둘게요. 다만 비전문 사용자가 셀렉터나 코드와 씨름하지 않고 빠르고 정확한 Amazon 데이터를 원한다면, 가장 잘 맞는 선택이라고 진심으로 봐요.
핵심 차별점은 AI 필드 추천이에요. Amazon 검색 결과 페이지에서 버튼 한 번 누르면 Thunderbit의 AI가 페이지를 읽고 열 이름을 제안해요. 제목, 가격, 평점, ASIN, 리뷰 수, 상품 URL 같은 항목을 알아서 잡아요. 따로 설정할 게 없어요. AI가 페이지에 뭐가 있는지 파악하고 알맞은 필드와 데이터 유형을 골라줘요.
전형적인 Amazon 스크래핑 흐름은 이렇게 흘러가요.
- Thunderbit Chrome 확장을 설치하고 Amazon 검색 결과 페이지를 열어요.
- AI 필드 추천을 클릭해요 - AI가 열을 감지해 제안해요.
- 스크래핑을 클릭해요 - 데이터가 곧장 채워져요.
- 자주 쓰는 Amazon 페이지라면 미리 만든 Amazon Scraper 템플릿으로 진짜 1클릭에 끝낼 수도 있어요.
Thunderbit가 특히 돋보이는 건 하위 페이지 스크래핑이에요. 목록 페이지를 긁은 뒤 하위 페이지 스크래핑을 누르면, 각 상품 URL을 방문해 상세 필드(전체 설명, 핵심 포인트, 판매자 정보, 이미지 URL 등)를 같은 표에 덧붙여요. 대부분의 경쟁 확장에는 아예 없는 기능이죠.
클라우드 / 브라우저 전환도 돼요. 클라우드 모드는 공개 목록 기준 최대 50페이지를 동시에 처리해요. 브라우저 모드는 본인 Chrome 세션을 그대로 써서, Seller Central에 로그인한 상태이거나 너무 튀지 않게 작업해야 할 때 좋아요.
예약 실행도 직관적이에요. 원하는 주기를 말로 적으면 AI가 일정으로 옮겨줘요.
내보내기는 Excel, Google Sheets, Airtable, Notion, CSV, JSON까지 다 되고, 무료 플랜에도 들어 있어요.
Thunderbit 장단점
장점:
- AI가 필드를 알아서 감지 - 셀렉터 설정이 없고, Amazon 레이아웃이 바뀌어도 손이 덜 감
- 하위 페이지 보강을 한 번에 처리
- 클라우드/브라우저 전환으로 유연하고 차단 위험을 낮춤
- 가장 넓은 내보내기 옵션(Sheets, Airtable, Notion, Excel, CSV, JSON)
- 자연어로 예약 실행 가능
- 즉시 결과를 주는 미리 만든 Amazon 템플릿
단점:
- 크레딧 기반이라 많이 쓰면 유료 플랜이 필요함
- AI 필드 감지에 몇 초의 처리 시간이 붙음
- 비교적 새 도구라 오래된 옵션보다 커뮤니티 문서가 적음
Thunderbit 가격
- 무료 플랜: 6페이지(체험 부스트 포함 10페이지), AI 기능과 모든 내보내기 형식 포함
- 유료 플랜: 500 크레딧 기준 연간 결제 시 월 약 $9(약 1만 2천 원)부터, 1크레딧 = 1행 출력
- 최신 정보는 Thunderbit 가격에서 확인하세요
AI로 Amazon 페이지 스크래핑 Get Started Free
2. Instant Data Scraper - 무료로 쓰는 무난한 옵션
Instant Data Scraper는 휴리스틱 알고리즘으로 웹페이지의 표 형태 데이터를 자동 감지하는 Chrome 확장이에요. 나온 지 오래됐고, 지금도 Chrome Web Store에서 다운로드가 가장 많은 무료 스크래퍼 축에 들어요.
Amazon에서는 검색 결과 페이지에서 실행하면 데이터 표를 알아서 잡으려 해요. 첫 감지가 틀리면 「다른 표 시도」를 눌러야 할 때도 있고요. 단순하고 한 번만 하는 작업엔 꽤 쓸 만해요.
다만 2026년 기준으로 짚을 점이 하나 있어요. 공식 랜딩 페이지에 이제 Instant Data Scraper가 Web Robots의 소유·개발·지원 대상이 아니라고 적혀 있어요. 업데이트도, 버그 수정도, 새 기능도 없다는 얘기죠. 한 Reddit 스레드에서는 한 사용자가 개요 페이지는 처리됐지만 상세 단계 클릭이 필요한 지점에서 멈췄다고 전했어요.
Instant Data Scraper 장단점
장점:
- 100% 무료, 계정 불필요
- 단순한 표에는 가볍고 빠름
- 기본적인 페이지네이션 지원(「다음」 버튼 클릭)
단점:
- AI 필드 감지 없음(Amazon의 복잡한 레이아웃을 잘못 읽을 수 있는 패턴 매칭에 의존)
- 하위 페이지 스크래핑 없음
- CSV/Excel 내보내기만 지원
- 예약 실행 없음, 클라우드 옵션 없음
- 더 이상 유지보수되지 않음 - Amazon 레이아웃이 바뀌면 깨지는데, 고쳐주는 사람이 없음
3. Web Scraper - 수동 설정에 강한 베테랑 확장
Web Scraper는 시각적 사이트맵 빌더를 중심에 둔, 가장 오래되고 검증된 Chrome 확장 스크래퍼 중 하나예요. DevTools를 열고 클릭으로 셀렉터를 정의해 「사이트맵」을 만든 뒤, 페이지네이션을 걸고 상품 상세 페이지 링크까지 따라갈 수 있어요.
마켓플레이스에 Amazon Products Listings Scraper 템플릿도 있어요. 탐색, 페이지네이션, 상품 페이지 추출을 다 처리하죠. 단계별 가이드는 설치, 셀렉터 생성, 페이지네이션 설정, 상품 링크 따라가기, 로컬·클라우드 실행까지 8단계로 안내해요.
클라우드 버전에는 예약 실행, API 접근, 프록시 회전, CAPTCHA 우회, Google Sheets 연동이 추가돼요.
Web Scraper 장단점
장점:
- 성숙했고, 문서가 잘 갖춰져 있으며, 커뮤니티 지원이 있음
- 무료 브라우저 확장(로컬에서는 무제한 사용 가능)
- Amazon용 마켓플레이스 템플릿 제공
- 확장을 위한 클라우드 옵션(예약 실행, IP 회전, 연동)
- 상품 상세 페이지 링크를 따라갈 수 있음(부분적 하위 페이지 보강)
단점:
- 셀렉터를 직접 잡아야 해서 비전문 사용자는 익숙해지는 데 시간이 걸림
- AI 기반 자동 필드 감지 없음
- Amazon이 레이아웃을 바꾸면 템플릿이 깨질 수 있음
- 고급 기능은 유료 클라우드 플랜 뒤에 잠겨 있음
Web Scraper 가격
- 무료: Chrome 확장, 로컬에서는 무제한 스크래핑
- 클라우드 플랜: Project 월 $50(약 6만 7천 원)부터, Professional 월 $100, Scale는 월 $200부터
4. Octoparse - 기능이 풍부한 플랫폼(Chrome 확장은 예외가 있음)
Octoparse는 상품 상세, 키워드 검색, 리뷰용 Amazon 템플릿을 갖춘 강력한 노코드 스크래핑 플랫폼이에요. 클라우드 스크래핑, 예약 실행, 다단계 워크플로를 지원해요.
다만 중요한 차이가 있어요. Octoparse의 Chrome Web Store 확장은 현재 Octoparse AI Web Automation으로 올라와 있고, Windows에서 Octoparse AI Bot과 함께 쓸 때만 작동한다고 명시돼 있어요. 그래서 실제 스크래핑 경험은 확장이 아니라 플랫폼 중심이에요. Chrome에 깔아 바로 긁는 순수한 흐름을 찾는다면, Octoparse는 브라우저 도우미가 붙은 데스크톱 앱에 가깝죠.
그래도 템플릿 자체는 훌륭해요. 검색 URL을 넣으면 상품 데이터를 자동 추출하고, 클릭으로 셀렉터를 지정하며 커스텀 워크플로를 만들 수 있어요. 페이지네이션과 링크 따라가기로 상세 페이지까지 연결돼요.
Octoparse 장단점
장점:
- Amazon 템플릿이 포함된 강력한 기능 세트
- 속도, 예약 실행, 워크플로를 통한 하위 페이지 추출을 위한 클라우드 노드
- 페이지네이션을 잘 처리함
- 복잡한 다단계 스크래핑 파이프라인에 적합
단점:
- 모든 기능을 쓰려면 데스크톱 앱이 필요함 - 순수한 Chrome 확장 경험은 아님
- AI 자동 필드 추천 없음(Chat4Data라는 별도 제품은 있지만 다른 확장임)
- 무료 플랜은 월 약 5만 건 내보내기, 내보내기당 1만 행으로 제한됨
- 초보자에게는 인터페이스가 복잡하게 느껴질 수 있음
Octoparse 가격
- 무료: 제한적(로컬 추출, 5만 건 내보내기 제한)
- Standard: 월 약 $75-$83(약 10만~11만 원)
- Professional: 월 약 $208-$249
- 추가 옵션: IP 회전 $3/GB, CAPTCHA 해결 $2-$2.50/1,000건
5. Axiom.ai - 노코드 봇 빌더
Axiom.ai는 노코드 시각 빌더로 브라우저 자동화 봇을 만드는 Chrome 확장이에요. 전용 스크래퍼라기보다 범용 자동화 도구에 가깝지만, Amazon 스크래핑 템플릿과 ASIN 추출 가이드도 줘요.
Google Sheet에 든 상품 URL을 차례로 도는 봇을 만들거나 템플릿을 가져와, 각 페이지를 방문해 클릭 기반 셀렉터로 데이터를 뽑은 뒤 결과를 다시 Sheet에 적는 식이에요. 예약 실행은 유료 플랜에서 되고, 클라우드 실행도 Starter와 Pro에서 클라우드 봇 1개부터 제공되며 Ultimate에서는 최대 20개의 동시 클라우드 봇을 지원해요.
Axiom.ai 장단점
장점:
- 다용도 노코드 자동화(스크래핑만이 아님)
- Google Sheets와의 기본 연동
- 유료 플랜에서 예약 실행 및 클라우드 실행 지원
- Amazon용 템플릿 제공
- 데이터 추출을 넘어선 다단계 워크플로에 적합
단점:
- 단순 스크래핑치고는 설정이 무거움(봇 설계, Google Sheet 설정, 루프 테스트 필요)
- AI 필드 감지 없음
- 원클릭 하위 페이지 보강 없음(별도 봇 단계를 만들어야 함)
- 내보내기가 Google Sheets 또는 CSV로 제한됨
Axiom.ai 가격
- 무료: 실행 시간 2시간
- Starter: 월 $15(약 2만 원)
- Pro: 월 $50
- Pro Max: 월 $150
- Ultimate: 월 $250
6. Data Miner - 레시피 기반 확장
Data Miner는 「레시피」로 데이터를 뽑는 데 초점을 둔 Chrome 확장이에요. 레시피는 미리 정의했거나 사용자가 만든 스크래핑 템플릿이죠. 공개 라이브러리에서 기존 Amazon 레시피를 찾거나, 페이지 요소를 골라 직접 만들 수 있어요.
Data Miner는 Next Page Automation으로 페이지네이션을 지원하고, 상세 URL을 방문해 두 번째 레시피를 적용하는 Crawl Scrape 워크플로도 줘요. 그래서 하위 페이지 스크래핑이 없다고 하긴 어렵지만, 원클릭 보강이 아니라 수동의 다단계 과정이에요.
가장 큰 제약은 무료 플랜이에요. 월 500페이지이고, 일부 도메인은 무료에서 막혀요. 레시피는 사이트마다 다른데, Data Miner 자체 문서도 사이트가 바뀌고 참조 HTML이 달라지면 레시피가 안 먹힐 거라고 경고해요.
Data Miner 장단점
장점:
- 기존 레시피를 쉽게 실행할 수 있음
- 커뮤니티 레시피 라이브러리
- 페이지네이션과 상세 페이지 크롤링 지원(수동 설정)
- 단순한 인터페이스
단점:
- 무료 플랜이 월 500페이지로 제한됨
- AI 필드 감지 없음
- Amazon이 레이아웃을 바꾸면 레시피가 깨짐
- 공개 문서 기준 클라우드 스크래핑 없음, 예약 실행 없음
- 내보내기: CSV, Excel, 클립보드; Google Sheets는 유료 플랜에서 지원
Data Miner 가격
- 무료: 월 500페이지
- 유료: 월 $19.99, $49, $99, $200 플랜으로 갈수록 제한과 기능이 늘어남
7. Helium 10 - Amazon 셀러 인텔리전스 스위트
Helium 10은 범용 웹 스크래퍼가 아니라 Amazon 셀러를 위한 종합 도구 모음이에요. Chrome 확장(Xray)은 Amazon 검색 결과 위에 바로 데이터를 겹쳐 보여줘요. 예상 매출, 수익, 리뷰 추세, BSR 같은 것들이죠. 원시 페이지 데이터를 빼내기보다 Amazon 셀러의 상품 리서치용으로 설계된 도구예요.
Helium 10은 2026년 기준 무료 플랜도 있지만, Chrome 확장 접근은 무료에서 제한돼요. 확장은 CSV나 Excel로 결과를 내보낼 수 있고, 클립보드 워크플로도 지원해요.
Helium 10 장단점
장점:
- Amazon 전용의 깊은 인사이트(매출 추정, 키워드 데이터, BSR 추세)
- 전문 셀러들이 신뢰함
- 키워드/순위 추적을 위한 클라우드 기반 데이터와 예약 실행
- 무료 플랜 제공(제한적)
단점:
- 일반 스크래퍼가 아님 - 임의의 페이지에서 사용자 지정 데이터 필드를 추출할 수 없음
- 스크래핑 중심 도구에 비해 비쌈
- 내보내기 형식이 제한적(CSV, Excel)
- AI 필드 감지도 없고, 스크래핑 의미의 하위 페이지 보강도 없음
Helium 10 가격
- 무료: Chrome 확장을 포함한 제한적 접근
- Starter: 월 $49(약 6만 5천 원)
- Platinum: 월 $229
- Diamond: 월 $359
Amazon Scraper Chrome 확장 비교: 한눈에 보는 전체 표
아래는 솔직한 비교표예요. 직접 돌려보고 2026년 기준으로 검증하면서, 이전 초안의 가정 몇 개도 바로잡았어요.
| 기능 | Thunderbit | Instant Data Scraper | Web Scraper | Octoparse | Axiom.ai | Data Miner | Helium 10 |
|---|---|---|---|---|---|---|---|
| 주요 범주 | AI 스크래퍼 확장 프로그램 | 무료 휴리스틱 스크래퍼 | 셀렉터/템플릿 스크래퍼 | 노코드 스크래핑 플랫폼 | 브라우저 자동화 봇 빌더 | 레시피 기반 스크래퍼 확장 프로그램 | 셀러 리서치 오버레이 |
| AI 자동 필드 추천 | 예 | 아니요 | 아니요 | 아니요(별도 Chat4Data) | 아니요 | 아니요 | 아니요 |
| 하위 페이지 보강 | 예(1클릭) | 아니요 | 예(수동 사이트맵) | 예(워크플로) | 예(수동 봇 단계) | 예(수동 크롤링) | 해당 없음 |
| 클라우드 스크래핑 | 예 | 아니요 | 예(유료) | 예(유료) | 예(유료) | 아니요 | 클라우드 기반 분석 |
| 예약 실행 | 예 | 아니요 | 예(유료) | 예(유료) | 예(유료) | 아니요 | 예(키워드/순위 추적) |
| 무료 플랜 | 예(6~10페이지) | 예(완전 무료) | 예(브라우저만) | 예(제한적) | 예(실행 2시간) | 예(월 500페이지) | 예(제한적) |
| Amazon 미리 만들어진 템플릿 | 예 | 아니요 | 예 | 예 | 예(가이드) | 레시피 라이브러리 | 해당 없음 |
| Sheets/Airtable/Notion으로 내보내기 | 예(모두) | CSV/Excel만 | CSV, Excel, JSON; Sheets는 클라우드 통해 | CSV, Excel, JSON 등 | Google Sheets, CSV | CSV, Excel; 유료 플랜에서 Sheets | CSV, Excel |
눈에 띄는 점이 몇 가지 있어요. Thunderbit는 AI 필드 감지와 무료 플랜에서의 가장 넓은 내보내기 옵션을 둘 다 갖춘 유일한 확장이에요. Instant Data Scraper는 가장 단순한 무료 옵션이지만 유지보수가 끊겼고요. Web Scraper와 Octoparse는 설정에 시간을 들일 사람에게 강력하지만, 둘 다 설치하자마자 바로 쓰는 확장은 아니에요. Axiom.ai는 스크래핑을 넘어선 다단계 자동화에 가장 맞고요. Data Miner는 기존 레시피를 돌리기엔 편한데 무료 플랜이 빠듯해요. Helium 10은 일반 스크래퍼가 아니라 셀러 인텔리전스 도구예요.
Amazon의 클라우드 vs 브라우저 스크래핑: 차단 위험에 관해 알아둘 것
다들 가장 궁금해하는 부분이죠. Amazon은 자동 스크래핑을 적극적으로 탐지하고 차단해요. Reddit 사용자들은 소량 스크래퍼에도 CAPTCHA가 뜬다고 전하고, Amazon 이용 약관에도 라이선스에 「데이터 마이닝, 로봇 또는 유사한 데이터 수집 및 추출 도구의 사용」이 포함되지 않는다고 박혀 있어요.
그렇다면 브라우저 스크래핑과 클라우드 스크래핑은 실제로 뭐가 다를까요?
- 브라우저 스크래핑은 본인 Chrome 세션에서 돌아가요. 실제 쿠키, 로그인 상태, 자연스러운 브라우징 동작을 그대로 써요. 소량에서는 더 사람처럼 보이지만 브라우저를 점유해요.
- 클라우드 스크래핑은 원격 서버로 속도를 끌어올려요(Thunderbit는 클라우드 모드에서 한 번에 50페이지를 처리해요). 다만 탐지를 피하려면 속도 제한과 프록시 회전이 필요하죠.
제가 쓰는 판단 기준은 이래요.
| 상황 | 권장 모드 | 이유 |
|---|---|---|
| 리서치용으로 상품 20개 스크래핑 | 브라우저 | 적은 양, 자연스러운 동작 |
| 경쟁사 SKU 500개를 매주 모니터링 | 클라우드 | 속도가 중요하고 공개 데이터이기 때문 |
| Seller Central에 로그인한 상태에서 스크래핑 | 브라우저 | 로그인 세션이 필요함 |
| 카테고리 전체를 한 번에 대량 내보내기 | 클라우드 | 병렬 스크래핑으로 속도 확보 |
검토한 7개 중 클라우드 스크래핑을 주는 건 Thunderbit, Web Scraper(유료), Octoparse(유료), Axiom.ai(유료), Helium 10(분석용)이에요. Instant Data Scraper와 Data Miner는 브라우저 전용이에요.
차단 위험을 낮추는 실전 팁: 요청 간격을 적당히 두고, 피크 시간대는 피하고, 도구가 받쳐주면 사용자 에이전트를 회전하세요. 그리고 「완전한 안전」을 스스로 장담하지는 마세요. 어디까지나 위험을 관리하는 거예요.
목록 페이지에서 상세 페이지까지: Amazon 하위 페이지 스크래핑의 실제
이 흐름은 의외로 조명을 못 받아요. 경쟁 글 중에 과정을 끝까지 보여주는 곳도 드물고요.
Amazon 검색 결과 페이지를 긁으면 제목, 가격, 평점, ASIN, 상품 URL 같은 요약 데이터가 나와요. 그런데 실무에선 상세 데이터까지 필요할 때가 많죠. 전체 설명, 핵심 포인트, 이미지 URL, 판매자 정보, 리뷰 세부 같은 것들요. 이럴 때 하위 페이지 스크래핑이 들어와요.
Thunderbit에서는 흐름이 이래요.
- Amazon 검색 결과 페이지 스크래핑 -> 상품 표를 얻어요(제목, 가격, 평점, ASIN, 상품 URL).
- 「하위 페이지 스크래핑」 클릭 -> Thunderbit가 각 상품 URL을 방문해 상세 필드(설명, 리뷰 수, 판매자명, 이미지 URL 등)를 같은 표에 덧붙여요.
- 보강된 표를 내보내기 -> Google Sheets, Airtable, Notion, Excel로 보내요.
AI가 하위 페이지 구조를 읽어 표를 자동으로 채워요. 수동 설정이 필요 없죠. 제 경험상 이 방식은 상품 페이지를 하나씩 열어 필드를 옮기는 것보다 배치마다 최소 1시간은 아껴줘요.
다른 도구들도 되긴 하는데, 손이 더 많이 가요.
- Web Scraper: 상품 링크를 따라가게 사이트맵을 짜고 상세 필드마다 셀렉터를 정의해야 해요. 되긴 하지만 다단계 수동 과정이죠.
- Octoparse: 링크 따라가기 단계가 들어간 워크플로를 직접 만들어야 해요. 강력하지만 원클릭은 아니에요.
- Axiom.ai: 각 URL을 방문해 데이터를 뽑는 봇 루프를 설계해야 해요. 유연하지만 봇 제작 역량이 필요하고요.
- Data Miner: Crawl Scrape로 저장된 URL을 방문해 두 번째 레시피를 적용해요. 수동이고 레시피에 의존해요.
- Instant Data Scraper와 Helium 10: 하위 페이지 보강 흐름이 없어요.
목록 데이터와 상세 데이터를 자주 함께 다룬다면, 고르는 도구가 이 흐름을 단지 가능하게 하는 데서 그치지 않고 쉽게 만들어줘야 해요.
솔직한 무료 플랜 뜯어보기: 결제 없이 실제로 뭘 얻나요?
포럼에서 가장 많이 나오는 질문인데, 경쟁 글들은 답을 투명하게 안 줘요.
| 확장 프로그램 | 무료 플랜 | 무료로 제공되는 것 | 업그레이드가 필요한 시점 |
|---|---|---|---|
| Thunderbit | 예(6페이지, 체험 시 10페이지) | AI 필드 추천, 모든 내보내기 형식(Excel, Sheets, Airtable, Notion), 이메일/전화 추출기 | 더 많은 페이지가 필요하거나 예약 스크래핑이 필요할 때 |
| Instant Data Scraper | 예(완전 무료) | 기본 표 감지, CSV/Excel 내보내기 | 해당 없음(유료 플랜은 없지만 업데이트도 없음) |
| Web Scraper | 예(브라우저만) | 브라우저 스크래핑, CSV 내보내기 | 클라우드 스크래핑, 예약 실행, 연동 |
| Octoparse | 예(제한적) | 월 약 5만 건 내보내기, 로컬 추출 | 더 많은 레코드, 클라우드 노드 |
| Axiom.ai | 예(실행 2시간) | 기본 자동화, Google Sheets | 더 많은 실행, 예약 실행, 클라우드 |
| Data Miner | 예(월 500페이지) | 레시피, CSV/Excel, Next Page Automation | 더 많은 페이지, Sheets, 크롤링 기능 |
| Helium 10 | 예(제한적) | 제한된 Chrome 확장 프로그램 접근 | 전체 Xray, 키워드 도구, 예약 실행 |
핵심은 이래요. Thunderbit 무료 플랜에는 AI 기능과 모든 내보내기 형식이 들어 있어요. 대부분의 경쟁 도구가 유료 뒤에 숨기는 고급 내보내기나 AI를 바로 쓸 수 있죠. Instant Data Scraper는 완전 무료지만 AI, 하위 페이지, 예약 실행이 없어요(게다가 유지보수도 끊겼고요). Helium 10도 무료 플랜은 있지만 확장 접근이 제한적이고, 일반 스크래퍼는 아니에요.
상황별 추천:
- 「일단 시험 삼아 써보는 중」 -> Instant Data Scraper(완전 무료) 또는 Thunderbit 무료 플랜
- 「정기적이고 안정적인 스크래핑이 필요」 -> Thunderbit 또는 Web Scraper 유료 플랜
- 「Amazon 셀러로서 시장 인사이트가 필요」 -> Helium 10
어떤 Amazon 스크래퍼 Chrome 확장을 골라야 할까요?
7개를 다 돌려본 뒤, 솔직한 정리는 이래요.
- 비전문 사용자가 빠르고 AI 기반 결과를 원할 때 최선: Thunderbit. AI가 필드를 알아서 잡고, 하위 페이지 보강이 한 번에 되며, 내보내기가 가장 넓고, 클라우드/브라우저 전환도 돼요. Amazon 페이지에서 스프레드시트까지 2분 안에 가고 싶다면 이걸 고르세요.
- 빠르고 한 번만 쓰는 작업에 가장 좋은 완전 무료 옵션: Instant Data Scraper. 비용도 계정도 필요 없지만 기능이 제한적이고 유지보수가 끊겼어요.
- 수동 설정이 익숙한 사용자에게 최선: Web Scraper. 유연한 사이트맵 빌더, 괜찮은 클라우드 옵션, 잘 정리된 문서가 강점이에요.
- 복잡한 다단계 파이프라인에 최선: Octoparse(데스크톱 + 확장) 또는 Axiom.ai(브라우저 봇). 둘 다 강력하지만, 순수하게 설치하자마자 바로 쓰는 확장은 아니에요.
- 간단한 레시피 기반 추출에 최선: Data Miner. 기존 레시피는 편하게 쓰지만 무료 플랜이 제한적이고 AI는 없어요.
- Amazon 셀러 인텔리전스에 최선(일반 스크래핑용 아님): Helium 10. 목적에 맞게 설계됐고 자체 데이터가 강력하지만, 비싸고 일반 스크래퍼는 아니에요.
AI 기반 Amazon 스크래핑이 실제로 어떤지 보고 싶다면 Thunderbit 무료 플랜을 직접 써보세요. 몇 번의 클릭으로 어떤 필드가 정리되는지 바로 확인할 수 있어요. Thunderbit가 딱 맞지 않더라도, 이 목록의 다른 도구를 몇 개 굴려보세요. 복사·붙여넣기를 멈추고 더 체계적으로 데이터를 모으기 시작하기에 지금만큼 좋은 때는 없어요.
Amazon 스크래핑 팁을 더 보려면 Amazon 상품과 리뷰를 스크래핑하는 방법, Amazon 가격 스크래핑, Amazon 판매 데이터 추출 및 분석 가이드를 참고하세요. Thunderbit YouTube 채널에서도 튜토리얼을 볼 수 있어요.
Thunderbit로 AI Amazon 스크래핑을 체험해 보세요 Get Started Free
자주 묻는 질문
1. Amazon 상품 데이터를 스크래핑하는 것은 합법인가요?
공개적으로 보이는 데이터를 긁는 건 보통 허용되지만, Amazon 이용 약관은 서면 동의 없는 데이터 마이닝과 자동 추출을 명시적으로 금지합니다. 이 글은 법률 자문이 아니에요. 대규모로 긁기 전에는 항상 Amazon 약관을 확인하세요.
2. Amazon이 Chrome 확장 스크래퍼를 감지하고 차단할 수 있나요?
네. Amazon에는 CAPTCHA를 띄우거나 요청 속도를 제한하거나 IP를 막는 안티봇 시스템이 있어요. 요청 속도를 합리적으로 두고, 소규모 작업은 브라우저 기반으로, 대규모 작업은 속도 제한을 건 클라우드 스크래핑으로 가면 위험을 줄일 수 있어요. 실전 판단 기준은 위의 클라우드 vs 브라우저 섹션을 참고하세요.
3. Chrome 확장으로 Amazon에서 어떤 데이터를 긁을 수 있나요?
보통 상품 제목, 가격, 평점, 리뷰 수, ASIN, 판매자명, 설명, 이미지 URL, 재고 여부, 배송 정보 등을 가져올 수 있어요. Thunderbit 같은 AI 기반 도구는 수동 설정 없이 이런 필드를 알아서 감지하고 제안합니다.
4. Amazon 스크래퍼 Chrome 확장을 쓰려면 코딩이 필요한가요?
아니요. 제가 돌려본 7개는 모두 비전문 사용자를 겨냥해 만들어졌어요. 일부(Web Scraper, Octoparse, Axiom.ai)는 설정이 더 들고, 다른 도구(Thunderbit, Instant Data Scraper)는 설정이 거의 없어요. 보통은 유연성과 사용 편의성 사이의 차이예요.
5. 어떤 Amazon 스크래퍼 Chrome 확장의 무료 플랜이 가장 좋나요?
Thunderbit 무료 플랜에는 AI 필드 감지와 모든 내보내기 형식(Sheets, Airtable, Notion, Excel, CSV, JSON)이 들어 있어요. 대부분의 경쟁 도구는 이걸 유료 뒤에 두죠. Instant Data Scraper는 완전 무료지만 AI, 하위 페이지, 예약 실행이 없어요. Data Miner는 월 500페이지를 무료로 줘요. Helium 10 무료 플랜은 제한적이고, 일반 스크래핑보다 셀러 리서치에 초점이 맞춰져 있어요.
더 알아보기
