Amazon에는 거의 200만 개에 달하는 판매 파트너와 수억 개의 상품이 등록되어 있습니다. 상품명, 가격, 평점, ASIN을 스프레드시트에 하나씩 복사해 넣어 본 적이 있다면, 그게 얼마나 사람을 지치게 하는지 바로 아실 겁니다. 게다가 이런 작업은 생각보다 훨씬 빠르게 규모가 커집니다.
저는 에이전틱 웹 스크래퍼를 만드는 Thunderbit에서 일하고 있어서, 사람들이 웹사이트에서 데이터를 어떻게 뽑아내는지 늘 관심 있게 보고 있습니다. 다만 이번 글은 흔한 요약글과는 좀 다르게 써보고 싶었습니다. 실제로 Amazon에서 설치해 쓸 수 있는 크롬 확장 프로그램 7개를 같은 페이지에서 직접 테스트해 보고, 뭐가 잘 되고 뭐가 아쉬운지, 또 각 도구가 어디에 맞는지 솔직하게 정리했습니다. AI 필드 감지, 하위 페이지 스크래핑, 차단 위험, 무료 요금제, 내보내기 옵션 등 포럼과 사용자 피드백에서 자주 보이는 불편 포인트를 기준으로 8가지 항목을 살펴봤습니다. Amazon 셀러든, 마케팅 담당자든, 아니면 단순히 복사·붙여넣기에 진이 빠진 분이든 이 가이드가 분명 도움이 될 겁니다.
Amazon 스크래핑용 Thunderbit 체험하기 Thunderbit 크롬 확장 프로그램을 설치하고 코드 없이 1클릭으로 Amazon의 상품명, 가격, 이미지까지 추출해 보세요. Get Started Free
왜 굳이 Amazon 상품 데이터를 스크래핑할까?
그렇다면 실제로 누가 Amazon을 스크래핑하고, 왜 그럴까요?
짧게 말하면, 온라인에서 상품을 팔거나, 마케팅하거나, 시장을 조사하는 대부분의 사람들입니다. Amazon에 따르면 자사 스토어 매출의 60% 이상이 독립 판매자에게서 나오며, 이들은 서로의 움직임을 끊임없이 지켜봅니다. 제가 가장 자주 보는 활용 사례는 아래와 같습니다.
| 활용 사례 | 누가 하는가 | 무엇을 얻는가 |
|---|---|---|
| 경쟁사 가격 모니터링 | 셀러, 가격 전략팀, 에이전시 | 경쟁 상품의 실시간 가격 및 재고 상태 |
| 상품 리서치 및 트렌드 추적 | Amazon 셀러, 시장 조사 담당자 | 성장 중인 카테고리, 신규 진입자, 수요 변화 파악 |
| 리뷰 감성 분석 | 자체 브랜드 셀러, 브랜드 팀 | 반복 불만, 기능 공백, 개선 기회 |
| 리드 생성(판매자 연락처) | 도매팀, 에이전시 | 판매자명, 스토어프론트, 연락처 정보 |
| 카탈로그 및 재고 모니터링 | 이커머스 운영, 브랜드 보호팀 | 재고 수준, 리스팅 변경, 무단 판매자 추적 |
| 키워드 및 리스팅 최적화 | 브랜드 오너, 마켓플레이스 운영자 | 검색어 데이터, 리스팅 문구, 경쟁사 키워드 |
투자 대비 효과도 꽤 분명합니다. Amazon 자체 사례에 따르면 구조화된 데이터를 활용해 상위 검색어에 맞춰 최적화한 뒤 thefitguy의 분기 매출이 40% 이상 증가했습니다. 또 Parseur 설문조사에서는 근로자들이 반복적인 데이터 입력에 주당 9시간 이상을 쓴다고 나왔습니다. 이런 작업의 일부만 자동화해도, 실제 의사결정에 쓸 수 있는 시간이 확 늘어납니다.
좋은 Amazon 스크래퍼 크롬 확장 프로그램의 조건은? (제가 사용한 테스트 기준)
모든 크롬 확장 프로그램이 똑같지는 않습니다. 그런데 비교 글들 중 상당수는 API, 데스크톱 앱, 브라우저 확장 프로그램을 마치 서로 바꿔 쓸 수 있는 것처럼 묶어 버립니다. 실제로는 전혀 다릅니다. 제가 사용한 기준과 각 항목이 왜 중요한지 정리하면 아래와 같습니다.
- 설정의 쉬움 - 비전문가도 5분 안에 결과를 얻을 수 있는가? (포럼에서도 가장 많이 나오는 고민입니다.)
- AI 기반 필드 감지 - 도구가 상품 필드를 자동으로 찾아주는가, 아니면 사용자가 셀렉터를 직접 설정해야 하는가? (이걸 따로 다루는 글은 거의 없습니다.)
- 하위 페이지 / 상세 페이지 스크래핑 - 한 번의 워크플로우로 상품 상세 정보까지 확장할 수 있는가?
- 봇 차단 / 계정 차단 위험 대응 - Amazon의 강한 봇 탐지를 어떻게 처리하는가? (사용자 포럼에서 1위로 꼽히는 불만입니다.)
- 페이지네이션 지원 - 여러 검색 결과 페이지를 자동으로 이어서 스크래핑할 수 있는가?
- 무료 요금제 / 가격 - 실제로 돈을 안 내면 어디까지 가능한가? (사용자들은 무료 옵션을 분명히 찾지만, 경쟁 도구들은 속 시원한 답을 잘 안 줍니다.)
- 내보내기 옵션 - CSV, Excel, Google Sheets, Airtable, Notion 중 무엇을 지원하는가?
- 예약 및 자동화 - 반복 실행을 설정할 수 있는가?
모든 확장 프로그램은 같은 검색어, 같은 조건에서 Amazon US 검색 결과 페이지와 상품 상세 페이지를 기준으로 테스트했습니다.
AI 기반 스크래핑 vs. 셀렉터 기반 스크래핑: Amazon에서는 왜 중요할까?
다른 Amazon 스크래퍼 요약글에서는 잘 안 다루는 차이가 하나 있습니다. 그런데 이 차이가 유지보수 난이도를 가장 크게 좌우합니다.
대부분의 크롬 확장 프로그램 스크래퍼는 CSS 셀렉터를 데이터 필드에 매핑하는 방식으로 작동합니다. 사용자가(혹은 템플릿이) "price"나 "title"에 해당하는 HTML 요소를 지정하면, 스크래퍼가 그 값을 가져옵니다. 문제는 Amazon이 스크래퍼를 무력화하려고 거의 매일 HTML과 CSS를 바꾼다는 점입니다. 포럼 사용자들은 해시화되거나 계속 바뀌는 클래스명이 흔한 실패 원인이라고 말합니다.
세 가지 주요 방식은 이렇게 비교할 수 있습니다.
| 방식 | 작동 방식 | Amazon 레이아웃이 바뀌면 |
|---|---|---|
| 셀렉터 기반(전통 방식) | 사용자가 CSS 셀렉터를 필드에 직접 매핑 | 깨짐 - 사용자가 다시 설정해야 함 |
| 템플릿 기반 | Amazon 페이지용 사전 제작 레시피 사용 | 개발자가 템플릿을 업데이트할 때까지 깨짐 |
| AI 기반(예: Thunderbit) | AI가 페이지 내용을 읽고 필드를 자동 감지 | 자동 적응 - 유지보수 부담 없음 |
제가 테스트한 7개 확장 프로그램 중 기본 설정 단계에서 AI 필드 감지를 쓰는 건 Thunderbit 하나뿐이었습니다. 나머지는 셀렉터나 템플릿에 의존하므로, Amazon이 페이지를 조금만 바꿔도 손볼 일이 많아집니다. 이 차이를 이해해 두면 나중에 훨씬 덜 답답합니다.
1. Thunderbit - AI 기반 Amazon 스크래퍼 크롬 확장 프로그램
Thunderbit은 저희 회사 제품이라 이 점은 먼저 분명히 말씀드립니다. 그래도 기술 지식이 많지 않은 사용자가 셀렉터나 코드와 씨름하지 않고도 빠르고 정확한 Amazon 데이터를 얻고 싶다면, 가장 잘 맞는 선택이라고 정말 생각합니다.
핵심 차별점은 One Click Extract입니다. Amazon 검색 결과 페이지를 열고 버튼을 누르면 Thunderbit의 AI가 페이지를 읽고, 상품명·가격·평점·ASIN·리뷰 수·상품 URL 같은 핵심 열을 알아서 가져옵니다. 따로 설정할 게 없습니다. AI가 페이지 구조를 파악해서 적절한 필드와 데이터 유형까지 판단합니다.
일반적인 Amazon 스크래핑 흐름은 다음과 같습니다.
- Thunderbit Chrome Extension을 설치한 뒤 Amazon 검색 결과 페이지를 엽니다.
- One Click Extract를 누르면 AI가 페이지를 읽고 구조를 파악한 다음 데이터를 바로 채웁니다.
- 자주 쓰는 Amazon 페이지라면, 해당 페이지 유형에 맞게 미리 세팅된 Amazon Scraper Template에서 시작할 수도 있습니다.
Thunderbit을 특히 돋보이게 하는 기능은 하위 페이지 스크래핑입니다. 목록 페이지를 스크래핑한 뒤 하위 페이지 스크래핑을 누르면 Thunderbit이 각 상품 URL을 방문해 상세 설명, bullet points, 판매자 정보, 이미지 URL 같은 상세 필드를 같은 표에 덧붙입니다. 대부분의 경쟁 확장 프로그램은 이 기능을 제공하지 않습니다.
또한 클라우드/브라우저 전환도 가능합니다. 클라우드 모드는 공개 리스팅 기준 최대 50페이지를 동시에 처리합니다. 브라우저 모드는 사용자의 Chrome 세션을 그대로 쓰기 때문에 Seller Central에 로그인한 상태이거나, 최대한 눈에 덜 띄게 작업해야 할 때 좋습니다.
예약 기능은 자연어로 설정할 수 있습니다. 원하는 시간 간격을 말로 입력하면 AI가 스케줄로 바꿔 줍니다.
내보내기 옵션은 Excel, Google Sheets, Airtable, Notion, CSV, JSON까지 포함하며, 모두 무료 요금제에서도 사용할 수 있습니다.
Thunderbit 장단점
장점:
- AI가 필드를 자동 감지 - 셀렉터 설정 불필요, Amazon 레이아웃이 바뀌어도 유지보수 거의 없음
- 1클릭으로 하위 페이지 데이터 보강
- 클라우드/브라우저 전환으로 유연성 및 차단 위험 완화
- 가장 넓은 내보내기 옵션(Sheets, Airtable, Notion, Excel, CSV, JSON)
- 자연어 기반 예약 기능
- 바로 쓸 수 있는 Amazon 사전 템플릿
단점:
- 크레딧 기반이라 대량 사용자는 유료 요금제가 필요함
- AI 필드 감지 단계 때문에 몇 초 정도 처리 시간이 더 걸림
- 비교적 새로운 도구라 오래된 제품보다 커뮤니티 문서는 적음
Thunderbit 가격
- 무료 요금제: 6페이지(체험 보너스 포함 10페이지), AI 기능과 모든 내보내기 형식 포함
- 유료 요금제: 연간 기준 월 약 $9부터 시작, 500 크레딧 제공; 1 크레딧 = 출력 행 1개
- 최신 정보는 Thunderbit 가격 페이지에서 확인하세요
AI로 Amazon 페이지 스크래핑하기 Thunderbit의 에이전틱 웹 스크래퍼가 Amazon 상품 페이지를 직접 읽고, 1클릭만으로 어떤 필드를 가져올지 판단합니다. Get Started Free
2. Instant Data Scraper - 단순하고 무료인 선택지
Instant Data Scraper는 휴리스틱 알고리즘으로 웹페이지의 표 형태 데이터를 자동 감지하는 크롬 확장 프로그램입니다. 꽤 오래전부터 쓰여 왔고, 지금도 Chrome Web Store에서 많이 내려받는 무료 스크래퍼 중 하나입니다.
Amazon에서는 검색 결과 페이지에서 확장을 실행하면 데이터 표를 자동으로 찾으려 시도합니다. 처음 감지가 정확하지 않으면 "다른 표 시도"를 눌러야 할 때도 있습니다. 단순한 1회성 작업에는 꽤 괜찮습니다.
다만 2026년 기준으로 중요한 점이 하나 있습니다. 공식 랜딩 페이지에는 이제 Instant Data Scraper가 더 이상 Web Robots의 소유, 개발, 지원 대상이 아니라고 적혀 있습니다. 즉, 업데이트도, 버그 수정도, 새 기능도 기대하기 어렵다는 뜻입니다. 한 Reddit 글에서는 사용자 한 명이 개요 페이지는 잘 처리했지만, 상세 페이지를 눌러야 하는 상황에서 막혔다고 보고했습니다.
Instant Data Scraper 장단점
장점:
- 100% 무료, 계정도 필요 없음
- 단순한 표를 빠르게 처리하는 데 가볍고 속도가 빠름
- 기본적인 페이지네이션 지원("Next" 버튼 클릭)
단점:
- AI 필드 감지 없음(Amazon의 복잡한 레이아웃을 잘못 읽을 수 있는 패턴 매칭 방식)
- 하위 페이지 스크래핑 불가
- CSV/Excel 내보내기만 지원
- 예약 기능 없음, 클라우드 옵션 없음
- 더 이상 유지보수되지 않음 - Amazon 레이아웃이 바뀌면 깨지고, 이를 고칠 사람이 없음
3. Web Scraper - 수동 설정에 강한 베테랑 확장 프로그램
Web Scraper는 시각적 사이트맵 빌더를 중심으로 만들어진, 가장 오래되고 검증된 크롬 확장 프로그램형 스크래퍼 중 하나입니다. DevTools를 열고, 포인트앤클릭으로 셀렉터를 정의해 "사이트맵"을 만들고, 페이지네이션을 설정하며, 상품 상세 페이지 링크도 따라갈 수 있습니다.
Web Scraper는 마켓플레이스에 Amazon Products Listings Scraper 템플릿도 제공합니다. 이 템플릿은 이동, 페이지네이션, 상품 페이지 추출을 처리합니다. 단계별 가이드는 설치, 셀렉터 생성, 페이지네이션 설정, 상품 링크 추적, 로컬 또는 클라우드 실행까지 8단계로 설명합니다.
클라우드 버전에는 예약, API 접근, 프록시 로테이션, CAPTCHA 우회, Google Sheets 연동이 추가됩니다.
Web Scraper 장단점
장점:
- 성숙하고 문서화가 잘 되어 있으며 커뮤니티 지원도 활발함
- 무료 브라우저 확장 프로그램(로컬에서는 무제한 사용)
- Amazon용 마켓플레이스 템플릿 제공
- 확장에 유리한 클라우드 옵션(예약, IP 로테이션, 연동)
- 상품 상세 페이지 링크 추적 지원(부분적 하위 페이지 보강 가능)
단점:
- 셀렉터를 수동으로 설정해야 해서 비전문가에겐 학습 곡선이 가파름
- AI 자동 필드 감지 없음
- Amazon이 레이아웃을 바꾸면 템플릿이 깨질 수 있음
- 고급 기능은 유료 클라우드 요금제에 묶여 있음
Web Scraper 가격
- 무료: 크롬 확장 프로그램, 로컬 스크래핑 무제한
- 클라우드 요금제: Project 월 $50부터, Professional 월 $100부터, Scale는 월 $200부터
4. Octoparse - 기능은 강력하지만 크롬 확장만으로 보긴 어려운 도구
Octoparse는 Amazon 상품 상세, 키워드 검색, 리뷰용 사전 제작 템플릿을 제공하는 강력한 노코드 스크래핑 플랫폼입니다. 클라우드 스크래핑, 예약, 다단계 워크플로우도 지원합니다.
다만 중요한 차이점이 있습니다. Chrome Web Store에 있는 Octoparse 확장은 현재 Octoparse AI Web Automation으로 표시되며, Windows에서 Octoparse AI Bot과 함께 사용할 때만 작동한다고 적혀 있습니다. 즉, 실제 스크래핑 경험은 확장 프로그램 중심이라기보다 플랫폼 중심입니다. 순수하게 "설치하고 Chrome에서 바로 스크래핑"하는 흐름을 찾는다면, Octoparse는 확장 프로그램보다는 브라우저 보조 기능이 있는 데스크톱 앱에 더 가깝습니다.
그럼에도 템플릿 자체는 꽤 훌륭합니다. 검색 URL을 넣으면 Octoparse가 상품 데이터를 자동 추출하고, 포인트앤클릭 셀렉터, 페이지네이션, 링크 추적으로 상세 페이지용 맞춤 워크플로우도 만들 수 있습니다.
Octoparse 장단점
장점:
- Amazon 템플릿이 포함된 강력한 기능 세트
- 속도, 예약, 워크플로우 기반 하위 페이지 추출용 클라우드 노드 지원
- 페이지네이션 처리에 강함
- 복잡한 다단계 스크래핑 파이프라인에 적합
단점:
- 풀파워를 쓰려면 데스크톱 앱이 필요함 - 순수 Chrome 확장 경험은 아님
- AI 자동 필드 추천 없음(별도의 Chat4Data 제품은 있으나 다른 확장 프로그램임)
- 무료 요금제는 월 약 50K 데이터 내보내기, 내보내기당 10,000행으로 제한됨
- 초보자에게는 인터페이스가 복잡하게 느껴질 수 있음
Octoparse 가격
- 무료: 제한적 사용(로컬 추출, 50K 내보내기 한도)
- Standard: 월 약 $75-$83
- Professional: 월 약 $208-$249
- 추가 옵션: IP 로테이션 $3/GB, CAPTCHA 해결 $2-$2.50/1,000건
5. Axiom.ai - 노코드 봇 빌더
Axiom.ai는 노코드 시각적 빌더로 브라우저 자동화 봇을 만드는 크롬 확장 프로그램입니다. 전용 스크래퍼라기보다는 범용 자동화 도구에 가깝지만, Amazon 스크래핑 템플릿과 ASIN 추출 가이드를 제공합니다.
Google Sheet에 있는 상품 URL을 순회하도록 봇을 만들거나 템플릿을 가져와 각 페이지를 방문하고, 포인트앤클릭 셀렉터로 데이터를 추출한 뒤 결과를 다시 Sheet에 기록할 수 있습니다. 유료 요금제에서는 예약이 가능하며, 이제 Starter와 Pro는 클라우드에서 1개 봇부터, Ultimate는 최대 20개의 동시 클라우드 봇까지 지원합니다.
Axiom.ai 장단점
장점:
- 스크래핑뿐 아니라 다양한 노코드 자동화에 활용 가능
- Google Sheets와 자연스럽게 연동
- 유료 요금제에서 예약 및 클라우드 실행 가능
- Amazon용 템플릿 제공
- 데이터 추출을 넘어선 다단계 워크플로우에 적합
단점:
- 단순 스크래핑치고는 설정이 무거움(봇 설계, Google Sheet 구성, 루프 테스트 필요)
- AI 필드 감지 없음
- 1클릭 하위 페이지 보강 불가(별도 봇 단계로 직접 구성해야 함)
- 내보내기가 Google Sheets 또는 CSV로 제한됨
Axiom.ai 가격
- 무료: 실행 시간 2시간
- Starter: 월 $15
- Pro: 월 $50
- Pro Max: 월 $150
- Ultimate: 월 $250
6. Data Miner - 레시피 기반 확장 프로그램
Data Miner는 "레시피"를 사용해 데이터를 추출하는 데 초점을 맞춘 크롬 확장 프로그램입니다. 레시피는 미리 정의된 스크래핑 템플릿이거나 직접 만든 템플릿일 수 있습니다. 공개 라이브러리에서 Amazon용 기존 레시피를 찾거나, 페이지 요소를 선택해 직접 만들 수 있습니다.
Data Miner는 Next Page Automation 기능으로 페이지네이션을 지원하고, 상세 URL을 방문해 두 번째 레시피를 적용하는 Crawl Scrape 워크플로우도 제공합니다. 즉, "하위 페이지 스크래핑이 없다"기보다는, 1클릭으로 끝나는 기능이 아니라 수동의 다단계 과정이라고 보는 편이 맞습니다.
가장 큰 제약은 무료 요금제입니다. 월 500페이지로 제한되며, 일부 도메인은 무료에서 제한됩니다. 레시피는 사이트별로 구성되고, Data Miner 자체 문서에서도 사이트가 바뀌거나 기준 HTML이 바뀌면 레시피가 작동하지 않을 수 있다고 경고합니다.
Data Miner 장단점
장점:
- 기존 레시피를 쉽게 실행할 수 있음
- 커뮤니티 레시피 라이브러리 제공
- 페이지네이션 및 상세 페이지 크롤링 지원(수동 설정)
- 단순한 인터페이스
단점:
- 무료 요금제가 월 500페이지로 제한됨
- AI 필드 감지 없음
- Amazon이 레이아웃을 바꾸면 레시피가 깨짐
- 공용 문서 기준 클라우드 스크래핑, 예약 없음
- 내보내기: CSV, Excel, 클립보드; Google Sheets는 유료 요금제에서만 가능
Data Miner 가격
- 무료: 월 500페이지
- 유료: 월 $19.99, $49, $99, $200로 한도와 기능이 점점 늘어남
7. Helium 10 - Amazon 셀러 인텔리전스 스위트
Helium 10은 범용 웹 스크래퍼가 아니라 Amazon 셀러를 위한 종합 툴킷입니다. 크롬 확장 프로그램인 Xray는 Amazon 검색 결과 위에 직접 데이터를 겹쳐 보여주며, 예상 판매량, 매출, 리뷰 추세, BSR 등을 표시합니다. 이는 원시 페이지 데이터를 추출하는 도구라기보다, Amazon 셀러가 상품 리서치를 할 때 쓰는 도구에 가깝습니다.
Helium 10은 2026년에도 무료 요금제를 제공하지만, 무료에서는 Chrome Extension 접근이 제한됩니다. 확장은 CSV 또는 Excel로 결과를 내보낼 수 있고 클립보드 워크플로우도 지원합니다.
Helium 10 장단점
장점:
- Amazon 전용 인사이트가 깊음(판매 추정치, 키워드 데이터, BSR 추세)
- 전문 셀러들 사이에서 신뢰도가 높음
- 키워드/순위 추적을 위한 클라우드 기반 데이터와 예약 기능
- 제한적이지만 무료 요금제 제공
단점:
- 범용 스크래퍼가 아님 - 임의의 페이지에서 원하는 커스텀 필드를 추출할 수 없음
- 스크래핑 전용 도구에 비해 비쌈
- 내보내기 형식이 제한적(CSV, Excel)
- AI 필드 감지 없음, 스크래핑 관점의 하위 페이지 보강도 없음
Helium 10 가격
- 무료: Chrome Extension 포함 제한적 접근
- Starter: 월 $49
- Platinum: 월 $229
- Diamond: 월 $359
Amazon 스크래퍼 크롬 확장 프로그램 비교: 전체 대조표
아래는 솔직한 비교표입니다. 직접 테스트하고 2026년 기준으로 다시 확인한 뒤, 초안에서 몇 가지 가정을 수정했습니다.
| 기능 | Thunderbit | Instant Data Scraper | Web Scraper | Octoparse | Axiom.ai | Data Miner | Helium 10 |
|---|---|---|---|---|---|---|---|
| 주요 분류 | AI 스크래퍼 확장 프로그램 | 무료 휴리스틱 스크래퍼 | 셀렉터/템플릿 스크래퍼 | 노코드 스크래핑 플랫폼 | 브라우저 자동화 봇 빌더 | 레시피 기반 스크래퍼 확장 프로그램 | 셀러 리서치 오버레이 |
| AI 자동 필드 추천 | 있음 | 없음 | 없음 | 없음(별도 Chat4Data) | 없음 | 없음 | 없음 |
| 하위 페이지 보강 | 있음(1클릭) | 없음 | 있음(수동 사이트맵) | 있음(워크플로우) | 있음(수동 봇 단계) | 있음(수동 크롤링) | 해당 없음 |
| 클라우드 스크래핑 | 있음 | 없음 | 있음(유료) | 있음(유료) | 있음(유료) | 없음 | 클라우드 기반 분석 |
| 예약 기능 | 있음 | 없음 | 있음(유료) | 있음(유료) | 있음(유료) | 없음 | 있음(키워드/순위 추적) |
| 무료 요금제 | 있음(6~10페이지) | 있음(완전 무료) | 있음(브라우저만) | 있음(제한적) | 있음(실행 2시간) | 있음(500페이지/월) | 있음(제한적) |
| 사전 제작 Amazon 템플릿 | 있음 | 없음 | 있음 | 있음 | 있음(가이드) | 레시피 라이브러리 | 해당 없음 |
| Sheets/Airtable/Notion 내보내기 | 있음(모두) | CSV/Excel만 | CSV, Excel, JSON; Sheets는 클라우드로 가능 | CSV, Excel, JSON, 기타 | Google Sheets, CSV | CSV, Excel; 유료에서 Sheets | CSV, Excel |
몇 가지가 아주 분명해집니다. Thunderbit은 AI 필드 감지와 무료 요금제에서 가장 넓은 내보내기 옵션을 동시에 제공하는 유일한 확장 프로그램입니다. Instant Data Scraper는 가장 단순한 무료 옵션이지만, 더 이상 유지보수되지 않습니다. Web Scraper와 Octoparse는 설정에 시간을 들일 수 있는 사용자에게 강력하지만, 둘 다 진짜 의미의 "설치하고 바로 쓰는" 확장 프로그램 경험은 아닙니다. Axiom.ai는 스크래핑을 넘어선 다단계 자동화에 가장 잘 맞습니다. Data Miner는 기존 레시피 실행은 쉽지만 무료 요금제가 빡빡합니다. Helium 10은 일반 스크래퍼가 아니라 셀러 인텔리전스 도구입니다.
Amazon에서 클라우드 vs. 브라우저 스크래핑: 차단 위험을 이해해야 하는 이유
이건 누구나 신경 쓰는 부분입니다. Amazon은 자동 스크래핑을 적극적으로 탐지하고 막습니다. Reddit 사용자들은 저용량 스크래퍼에도 CAPTCHA가 뜬다고 보고하며, Amazon의 이용 조건에도 데이터 마이닝, 봇, 또는 비슷한 데이터 수집·추출 도구의 사용은 허가에 포함되지 않는다고 적혀 있습니다.
그렇다면 브라우저 스크래핑과 클라우드 스크래핑의 실제 차이는 무엇일까요?
- 브라우저 스크래핑은 사용자의 Chrome 세션에서 실행됩니다. 실제 쿠키, 로그인 상태, 자연스러운 브라우징 패턴을 그대로 씁니다. 소량 작업에서는 더 사람처럼 보이지만, 브라우저를 잡아먹습니다.
- 클라우드 스크래핑은 원격 서버를 사용해 빠르게 처리합니다(Thunderbit은 클라우드 모드에서 한 번에 50페이지를 처리). 하지만 탐지를 피하려면 속도 제한과 프록시 로테이션이 필요합니다.
제가 쓰는 판단 기준은 아래와 같습니다.
| 상황 | 권장 모드 | 이유 |
|---|---|---|
| 리서치용 상품 20개 스크래핑 | 브라우저 | 적은 양, 자연스러운 동작 |
| 경쟁사 SKU 500개를 매주 모니터링 | 클라우드 | 속도가 중요, 공개 데이터 |
| Seller Central에 로그인한 상태에서 작업 | 브라우저 | 로그인 세션이 필요함 |
| 카테고리 전체를 한 번에 대량 내보내기 | 클라우드 | 병렬 스크래핑으로 속도 확보 |
제가 테스트한 7개 확장 프로그램 중 클라우드 스크래핑을 지원하는 것은 Thunderbit, Web Scraper(유료), Octoparse(유료), Axiom.ai(유료), 그리고 Helium 10(분석용)입니다. Instant Data Scraper와 Data Miner는 브라우저 전용입니다.
차단 위험을 줄이는 실용 팁: 요청 간격을 적당히 두고, 가능하면 피크 시간대는 피하며, 도구가 지원한다면 사용자 에이전트를 바꾸세요. 그리고 절대 "완전 무위험"이라고 생각하지 마세요. 위험을 낮출 뿐입니다.
목록 페이지에서 상품 상세 페이지까지: Amazon 하위 페이지 스크래핑은 어떻게 작동할까?
이 워크플로우는 생각보다 덜 주목받지만, 경쟁 글들 중에는 이걸 끝까지 보여주는 경우가 거의 없습니다.
Amazon 검색 결과 페이지를 스크래핑하면 상품명, 가격, 평점, ASIN, 상품 URL 같은 요약 데이터를 얻습니다. 하지만 종종 상세 페이지 데이터도 필요합니다. 예를 들면 전체 설명, bullet points, 이미지 URL, 판매자 정보, 리뷰 세부 내역 같은 것들입니다. 이럴 때 하위 페이지 스크래핑이 필요합니다.
Thunderbit에서의 흐름은 이렇습니다.
- Amazon 검색 결과 페이지를 스크래핑 -> 상품 표 생성(상품명, 가격, 평점, ASIN, 상품 URL)
- "하위 페이지 스크래핑" 클릭 -> Thunderbit이 각 상품 URL을 방문해 상세 필드(설명, 리뷰 수, 판매자명, 이미지 URL 등)를 같은 표에 추가
- 확장된 표를 Google Sheets, Airtable, Notion 또는 Excel로 내보내기
AI가 하위 페이지 구조를 자동으로 읽고 표를 보강하므로, 별도의 수동 설정이 필요 없습니다. 제 경험상 각 상품 페이지를 하나씩 열어 복사·붙여넣기 하는 것보다 배치당 최소 1시간은 아낄 수 있습니다.
다른 도구들도 가능은 하지만, 그만큼 손이 더 갑니다.
- Web Scraper: 상품 링크를 따라가도록 사이트맵을 만들고, 각 상세 필드마다 셀렉터를 정의해야 합니다. 작동은 하지만 다단계 수동 과정입니다.
- Octoparse: 링크 추적 단계가 들어간 워크플로우를 직접 구성해야 합니다. 강력하지만 1클릭은 아닙니다.
- Axiom.ai: 각 URL을 방문해 데이터를 추출하는 봇 루프를 설계해야 합니다. 유연하지만 봇 제작 능력이 필요합니다.
- Data Miner: Crawl Scrape 기능으로 저장된 URL을 방문하고 두 번째 레시피를 적용합니다. 수동이고 레시피 의존적입니다.
- Instant Data Scraper와 Helium 10: 하위 페이지 보강 워크플로우가 없습니다.
목록 수준 데이터와 상세 수준 데이터가 모두 자주 필요하다면, 선택하는 도구는 이 과정을 "가능하게"만 해서는 안 되고, "쉽게" 만들어야 합니다.
솔직한 무료 요금제 비교: 돈을 안 낼 때 실제로 무엇을 얻을 수 있을까?
포럼 사용자들이 가장 많이 묻는 질문인데, 경쟁 글들은 이 부분을 투명하게 답하지 않는 경우가 많습니다.
| 확장 프로그램 | 무료 요금제 | 무료로 얻는 것 | 업그레이드가 필요한 시점 |
|---|---|---|---|
| Thunderbit | 있음(6페이지, 체험 시 10페이지) | One Click Extract, 모든 내보내기 형식(Excel, Sheets, Airtable, Notion), 이메일/전화번호 추출기 | 더 많은 페이지 또는 예약 스크래핑이 필요할 때 |
| Instant Data Scraper | 있음(완전 무료) | 기본 표 감지, CSV/Excel 내보내기 | 해당 없음(유료 요금제는 없지만 업데이트도 없음) |
| Web Scraper | 있음(브라우저만) | 브라우저 스크래핑, CSV 내보내기 | 클라우드 스크래핑, 예약, 연동 기능 |
| Octoparse | 있음(제한적) | 월 약 50K 내보내기, 로컬 추출 | 더 많은 레코드, 클라우드 노드 |
| Axiom.ai | 있음(실행 2시간) | 기본 자동화, Google Sheets | 더 많은 실행, 예약, 클라우드 |
| Data Miner | 있음(월 500페이지) | 레시피, CSV/Excel, Next Page Automation | 더 많은 페이지, Sheets, 크롤링 기능 |
| Helium 10 | 있음(제한적) | 제한된 Chrome Extension 접근 | 전체 Xray, 키워드 도구, 예약 |
핵심은 이겁니다. Thunderbit의 무료 요금제는 AI 기능과 모든 내보내기 형식을 포함합니다. 반면 대부분의 경쟁 도구는 고급 내보내기나 AI를 유료 플랜 뒤에 숨깁니다. Instant Data Scraper는 완전 무료지만 AI, 하위 페이지, 예약 기능이 없습니다(그리고 더 이상 유지보수되지도 않습니다). Helium 10에도 무료 플랜은 있지만, 확장 프로그램 접근이 제한적이고 범용 스크래퍼는 아닙니다.
상황별 추천:
- "일단 써보는 중" -> Instant Data Scraper(완전 무료) 또는 Thunderbit 무료 요금제
- "정기적이고 안정적인 스크래핑이 필요" -> Thunderbit 또는 Web Scraper 유료 요금제
- "Amazon 셀러로서 시장 인사이트가 필요" -> Helium 10
어떤 Amazon 스크래퍼 크롬 확장 프로그램을 골라야 할까?
7개 모두 테스트한 뒤 제 솔직한 결론은 이렇습니다.
- 기술 지식이 많지 않고 빠른 AI 기반 결과를 원하는 사용자에게 가장 적합: Thunderbit. AI가 필드를 자동 감지하고, 하위 페이지를 1클릭으로 보강하며, 내보내기 옵션도 가장 넓고, 클라우드/브라우저 전환도 됩니다. Amazon 페이지를 2분 안에 스프레드시트로 옮기고 싶다면 이걸 고르세요.
- 빠른 1회성 스크래핑용 완전 무료 옵션: Instant Data Scraper. 비용도 없고 계정도 필요 없지만, 기능은 제한적이고 더 이상 유지보수되지 않습니다.
- 수동 설정에 익숙한 사용자에게 적합: Web Scraper. 유연한 사이트맵 빌더와 괜찮은 클라우드 옵션, 잘 정리된 문서가 강점입니다.
- 복잡한 다단계 스크래핑 파이프라인에 최적: Octoparse(데스크톱 + 확장) 또는 Axiom.ai(브라우저 봇). 둘 다 강력하지만, 둘 다 진짜 의미의 "설치하고 바로 쓰는" 크롬 확장 프로그램은 아닙니다.
- 간단한 레시피 기반 추출에 적합: Data Miner. 기존 레시피를 쓰기 쉽지만, 무료 요금제가 빡빡하고 AI가 없습니다.
- Amazon 셀러 인텔리전스용으로 가장 적합(범용 스크래핑 아님): Helium 10. 목적에 맞게 설계되어 있고 자체 데이터도 깊지만, 비싸고 일반 스크래퍼는 아닙니다.
AI 기반 Amazon 스크래핑이 실제로 어떻게 보이는지 보고 싶다면, Thunderbit 무료 요금제를 직접 써보세요. 1클릭으로 얼마나 많은 일을 해내는지 놀라실 겁니다. 그리고 Thunderbit이 꼭 정답이 아니더라도, 이 리스트에서 몇 개를 더 써보면 됩니다. 이제는 복사·붙여넣기를 멈추고 더 똑똑하게 스크래핑하기에 그 어느 때보다 좋은 시기입니다.
더 많은 Amazon 스크래핑 팁이 필요하다면 Amazon 상품과 리뷰 스크래핑 방법, Amazon 가격 스크래핑, Amazon 판매 데이터 추출 및 분석 가이드를 확인해 보세요. Thunderbit YouTube 채널에서 튜토리얼 영상도 볼 수 있습니다.
Thunderbit으로 AI Amazon 스크래핑 체험하기 Get Started Free
FAQ
1. Amazon 상품 데이터를 스크래핑하는 것은 합법인가요?
공개적으로 보이는 데이터의 스크래핑은 일반적으로 허용되지만, Amazon의 이용 조건은 서면 동의 없는 데이터 마이닝과 자동 추출을 명시적으로 금지합니다. 이 글은 법률 자문이 아니며, 대규모 스크래핑을 하기 전에는 항상 Amazon의 약관을 확인해야 합니다.
2. Amazon이 크롬 확장 프로그램 스크래퍼를 탐지하고 차단할 수 있나요?
네. Amazon의 안티봇 시스템은 CAPTCHA를 띄우거나, 요청을 제한하거나, IP를 차단할 수 있습니다. 적절한 요청 속도 유지, 소량 작업에서의 브라우저 기반 스크래핑, 대규모 작업에서의 속도 제한이 있는 클라우드 스크래핑을 사용하면 위험을 줄일 수 있습니다. 위의 클라우드 vs. 브라우저 섹션에서 실용적인 판단 기준을 참고하세요.
3. 크롬 확장 프로그램으로 Amazon에서 어떤 데이터를 스크래핑할 수 있나요?
상품명, 가격, 평점, 리뷰 수, ASIN, 판매자명, 설명, 이미지 URL, 재고 여부, 배송 정보 등이 일반적입니다. Thunderbit 같은 AI 기반 도구는 수동 설정 없이도 이런 필드를 자동으로 감지하고 제안할 수 있습니다.
4. Amazon 스크래퍼 크롬 확장 프로그램을 쓰려면 코딩이 필요한가요?
아니요. 이번에 테스트한 7개 도구 모두 비전문가를 위한 것입니다. 일부는 더 많은 설정이 필요하고(Web Scraper, Octoparse, Axiom.ai), 다른 일부는 거의 설정이 필요 없습니다(Thunderbit, Instant Data Scraper). 보통은 유연성과 사용 편의성 사이의 trade-off가 있습니다.
5. 무료 요금제가 가장 좋은 Amazon 스크래퍼 크롬 확장 프로그램은 무엇인가요?
Thunderbit의 무료 요금제는 AI 필드 감지와 Sheets, Airtable, Notion, Excel, CSV, JSON 등 모든 내보내기 형식을 포함합니다. 이는 대부분의 경쟁 도구가 유료로 막아 둔 기능입니다. Instant Data Scraper는 완전 무료지만 AI, 하위 페이지, 예약 기능이 없습니다. Data Miner는 월 500페이지를 제공합니다. Helium 10의 무료 플랜은 제한적이며 일반 스크래핑보다는 셀러 리서치에 초점이 맞춰져 있습니다.
더 알아보기
