Data Miner는 10년 넘게 수많은 Chrome 확장 프로그램 폴더에 조용히 자리 잡아 왔고, 그동안 자신만의 스크래핑 "레시피" 라이브러리를 쌓아 온 많은 사용자들을 묵묵히 도와왔습니다. 포럼에서 누군가 코딩 없이 웹사이트의 표를 가져오는 방법을 묻기만 하면, 이 도구가 늘 다시 언급되는 걸 봐왔습니다. 분명 쓸 만한 도구입니다. 하지만 동시에, "노코드"가 여전히 "노코드지만, 로직은 결국 사용자가 직접 짜야 하는 방식"일 수 있다는 점을 보여주는 대표적인 사례이기도 합니다.
사람들이 Google에 "Thunderbit vs Data Miner"를 검색할 때 진짜로 묻고 싶은 건 바로 이겁니다. 내가 직접 재사용 가능한 규칙을 만들고 싶은 걸까, 아니면 페이지를 알아서 해석해 주는 에이전트를 쓰고 싶은 걸까? 이제는 이 둘을 나란히 놓고 제대로 답해보겠습니다. 다른 글들처럼 Data Miner만 먼저 소개하고, 마지막에 Thunderbit 홍보로 슬쩍 넘어가며 두 도구를 같은 표에서 비교조차 하지 않는 방식은 피해보죠.
한눈에 보는 Thunderbit vs Data Miner
먼저 분명히 밝히자면, 저는 Thunderbit를 만들고 운영하고 있습니다. 그러니 아래 비교는 어느 정도 맥락을 감안해서 봐 주세요. 다만 마케팅 문구가 아니라, 각 도구가 실제로 무엇을 하는지에 초점을 맞춰 최대한 솔직하게 정리했습니다.
| 구분 | Data Miner | Thunderbit |
|---|---|---|
| 추출 방식 | CSS/HTML 선택자로 직접 만드는 수동 "레시피" | 에이전트형 AI — One Click Extract을 클릭하면 페이지를 감지하고 읽은 뒤 자동 실행 |
| 첫 사용 설정 | 개인 레시피를 만들거나, 공개 레시피를 찾아 미리보기 | 선택자나 스키마 설정 불필요 — 지원 페이지에서 의도적으로 한 번 클릭 |
| 페이지네이션 | List Recipe에 "다음" 선택자 추가 | 지원 페이지에서는 호환되는 페이지네이션 자동 처리 |
| 상세 페이지 보강 | 두 단계 작업: List Recipe → URL 저장 → Detail Recipe → Crawl | 호환되는 하위 페이지 보강을 같은 표에 병합 |
| 로그인된 페이지 | 승인된 브라우저 세션에서 보이는 콘텐츠 처리 가능 | 승인된 브라우저 세션에서 보이는 콘텐츠 처리 가능 |
| 내보내기 | CSV, Excel, 클립보드, Google Sheets(유료 플랜) | 지원 대상(Sheets, Airtable, Notion)으로 내보내기 및 다운로드 |
| 자동화 범위 | 브라우저 자동화, 다음 페이지 자동화, 사용자 지정 JS, 자동 크롤링 | 브라우저/클라우드 실행, 지원 범위 내 스케줄 실행, Open API, MCP Server, CLI |
| 재사용성 | 레시피 공유 및 재사용 가능 — 커뮤니티 라이브러리가 큼 | AI가 매번 페이지를 다시 해석 — 유지관리할 레시피 라이브러리 없음 |
| 가격 방식 | 월간 페이지 크레딧, 사용량 기준 단계별 요금 | 플랜 기반, 현재 가격 참고 |
| 적합한 경우 | 안정적이고 반복적인 대상, 이미 작동하는 레시피가 있는 경우 | 새롭거나 다양한 페이지, 비기술 사용자, 빠른 단발성 작업 |
이 둘을 이렇게 나란히 비교한 곳은 거의 없더군요. 저도 찾아봤습니다. 이 키워드가 그렇게 자주 검색되는 걸 생각하면 의외로 빈틈입니다.
Thunderbit란?
Thunderbit은 제가 말하는 에이전트형 웹 스크래퍼입니다. 여기서 "에이전트형"이라는 표현이 중요한 이유는, 단순히 클릭을 자동화하는 데 그치지 않고 사람이 페이지를 읽듯이 구조를 이해한 다음, 어떤 데이터가 중요할지 스스로 판단하기 때문입니다. Chrome 확장 프로그램을 설치하고, 접근 권한이 있는 페이지를 연 뒤 One Click Extract를 누르면 됩니다. 정말로 그게 전부입니다. 에이전트가 페이지를 읽고, 유용한 필드를 파악한 뒤 실행을 시작합니다. 원하면 Run Now를 눌러 바로 돌릴 수도 있고, 가만히 두면 자동으로 시작되기도 합니다.
제가 이 제품을 만든 이유도, 예전 직장에서 비기술 동료들이 스크래핑 도구가 "선택자(selector)를 정의해보라"는 순간마다 막히는 걸 지켜보는 데 지쳤기 때문입니다. 대부분의 사람들은 CSS 선택자가 뭔지 모르고, 솔직히 그럴 필요도 없습니다.
확장 프로그램 외에도, Web App, 개발자를 위한 프로그래밍 방식 접근용 Open API, Claude나 Cursor 같은 AI 에이전트 워크플로우에 연결되는 MCP Server, 터미널 기반 자동화를 위한 CLI가 있습니다. 지원되는 페이지에서는 페이지네이션을 처리하고, 상세 페이지에서 가져온 데이터로 목록 행을 보강한 뒤 하나의 표로 합칠 수 있습니다.
Data Miner란?
Data Miner는 더 오래된, 더 널리 알려진 도구로, 완전히 다른 철학인 레시피를 중심으로 만들어졌습니다. 레시피는 특정 웹사이트의 HTML 구조에 맞춰, 행과 열에 매핑된 선택자 집합을 저장해 둔 실행 지침입니다. Data Miner의 도움말 문서에는 레시피가 세 가지로 나뉜다고 설명합니다. 다른 사용자가 공유한 공개 레시피, 여러 사이트에 폭넓게 적용되도록 만든 범용 레시피, 그리고 직접 만든 개인 레시피입니다.
이 사이트는 15,000개 이상의 인기 웹사이트를 아우르는 50,000개 이상의 공개 레시피가 있다고 말합니다. 흥미롭게도 사이트의 다른 부분에서는 "60,000개"라고도 적혀 있습니다. 저는 그냥 "수만 개"라고 표현하고, 실제로 얼마나 정확히 세고 있는지는 여러분이 판단하시길 맡기겠습니다.
Data Miner는 Page Scrape, Next Page Automation, URL Crawl(URL 목록 스크래핑용), 자동 양식 채우기, 그리고 고급 사용자를 위한 사용자 지정 JavaScript를 지원합니다. 브라우저 안에서 실행되므로, 로그인된 세션에서 보이는 콘텐츠를 수동으로 보는 것과 같은 방식으로 접근할 수 있고, Enterprise 고객은 서버 측 실행 옵션도 사용할 수 있습니다.
진짜 차이: 실행 시점에 페이지를 이해하느냐, 저장된 레시피를 쓰느냐
여기서부터가 많은 비교 글들이 가장 쉽게 넘어가는 부분이라고 생각합니다. 보통은 "Data Miner는 레시피 기반이고, Thunderbit는 AI 기반입니다"라고만 말하고 끝내죠. 예시도 없고, 실제로 머릿속에 그려볼 만한 설명도 없습니다.
Thunderbit는 해석을 에이전트에게 맡깁니다. 새 페이지에 들어갈 때마다 AI가 그 페이지를 새롭게 봅니다. 특정 사이트용 저장 규칙집을 뒤지는 게 아니라, DOM을 읽고 구조를 이해한 뒤 어떤 데이터가 중요한지 판단합니다. 그래서 한 번도 본 적 없는 페이지에서는 설정 시간이 거의 들지 않지만, 반대로 매 실행마다 AI가 실시간으로 다시 판단해야 한다는 뜻이기도 합니다.
Data Miner는 선택자 지침을 재사용합니다. 한 번 레시피가 만들어지면 — 내가 만들었든 다른 사람이 만들었든 — 다시 실행하는 건 빠릅니다. 이미 로직이 고정되어 있기 때문이죠. 하지만 Data Miner의 문서도 인정하듯이, 사이트의 HTML이 바뀌면 레시피가 깨질 수 있습니다. 이제는 스크래핑이 아니라 선택자 디버깅을 하게 되는 셈입니다.
둘 중 어느 방식이든 "원클릭"이 되는 경우: Data Miner는 대상 사이트에 대해 작동하는 공개 레시피가 이미 있고 그것이 여전히 유효하다면, 정말로 원클릭일 수 있습니다. 다만 그건 중요한 "만약"입니다. Thunderbit의 원클릭 주장 역시 에이전트가 성공적으로 해석할 수 있는 페이지에 한합니다. 인터넷의 모든 사이트에서 무조건 된다는 보장은 아닙니다. 특히 강한 봇 차단이 있거나 레이아웃이 특이한 사이트에서는 더 그렇습니다.
어느 쪽도 "쉬움"을 독점하진 않습니다. 다만 쉬움을 정의하는 방식이 다를 뿐입니다. 하나는 커뮤니티가 만든 바로가기, 다른 하나는 런타임 해석입니다.
실제 작업 흐름 비교
간단한 표 스크래핑: Data Miner에서는 해당 사이트의 공개 레시피가 있는지 먼저 확인하고, 미리 보기로 검토한 뒤 일치하면 스크래핑합니다. 없다면 Easy Finder를 이용해 행과 열을 수동으로 만듭니다. Thunderbit에서는 One Click Extract를 눌러 표 구조를 자동 감지하게 하면 됩니다.
상품 목록이나 디렉터리 목록 페이지 넘기기: Data Miner는 List Recipe에 네비게이션 선택자를 추가해서 "다음"이 무엇인지 알려줘야 합니다. Thunderbit은 지원되는 페이지에서 이 수동 단계를 거치지 않고 호환되는 페이지네이션을 처리합니다.
목록 행을 상세 페이지 데이터로 보강하기: 여기서 두 도구의 워크플로우 차이가 가장 뚜렷하게 드러납니다. Data Miner의 Crawl 문서는 꽤 여러 단계로 이 과정을 설명합니다. 우선 List Recipe로 상세 페이지 URL을 모으고, 그 URL 목록을 저장한 뒤, 별도의 Detail Recipe를 만들고, 둘을 연결하는 Crawl 작업을 생성합니다. 그다음 URL을 검증하고 실행한 뒤 내보내야 합니다. 기능은 작동하지만, 두 개의 서로 다른 레시피를 다루는 별도의 단계가 여럿 필요합니다. Thunderbit은 호환되는 하위 페이지 보강을 같은 표 안에서 처리하므로 레시피 두 개를 맞춰 붙이는 과정을 거치지 않습니다. 물론 솔직히 말하면, 이 기능도 에이전트가 잘 해석할 수 있는 페이지에서만 안정적으로 동작합니다.
승인된 로그인 뒤에서 작업하기: 두 도구 모두 브라우저 세션에서 보이는 콘텐츠를 대상으로 작동하므로, 승인된 계정으로 로그인한 상태라면 둘 다 화면에 보이는 내용을 볼 수 있습니다. 인증을 우회하는 마법 같은 기능은 없습니다. 둘 다 화면에 렌더링된 정보를 그대로 다룰 뿐입니다.
자동화, 확장 프로그램, 개발자 접근
Data Miner의 자동화는 브라우저 안에 있습니다. 다음 페이지 자동화, 자동 URL 크롤링, 그리고 직접 스크립트를 작성할 수 있는 사용자용 사용자 지정 JavaScript가 여기에 해당합니다. Google Sheets 연동은 유료 플랜에서 제공됩니다. Enterprise 고객은 모든 작업을 클라이언트 측이 아니라 Data Miner 서버에서 실행하도록 전환할 수도 있습니다.
Thunderbit의 적용 범위는 다른 방향으로 더 넓습니다. 브라우저와 클라우드 실행, 지원 범위 내 스케줄 실행 외에도 백엔드 연동용 Open API가 있고, 생각보다 더 중요한 MCP Server도 있습니다. MCP를 사용하면 Claude Code, Cursor 같은 AI 에이전트가 Thunderbit를 자신의 워크플로우 일부로 직접 호출할 수 있습니다. 더 큰 파이프라인 안에서 AI 에이전트가 구조화된 웹 데이터를 한 단계로 가져와야 하는 상황이라면, 이건 "브라우저 확장 프로그램에서 사용자 지정 JavaScript를 작성했다"는 것과는 전혀 다른 수준의 기능입니다.
물론 Data Miner의 사용자 지정 JS도 세밀한 제어를 원하는 고급 사용자에게는 정말 유용합니다. 다만 이건 공개 API나 에이전트가 호출할 수 있는 MCP 서버와는 아예 다른 범주의 도구입니다.
내보내기, 개인정보, 데이터 처리
Data Miner는 유료 플랜에서 CSV, Excel, 클립보드, Google Sheets로 내보낼 수 있습니다. 가격 FAQ에 따르면 스크래핑한 데이터는 판매하거나 공유하지 않으며, 브라우저에서 실행되는 일반 자동 크롤링에서는 데이터가 Data Miner 서버에 저장되지 않습니다. 작업이 끝나면 사용자가 직접 저장해야 합니다. Enterprise 서버 측 작업은 완전히 다른 실행 방식입니다.
Thunderbit는 Google Sheets, Airtable, Notion 같은 지원 대상과 표준 다운로드를 제공하며, 워크플로우에 따라 브라우저 실행과 클라우드 실행 모드를 모두 지원합니다.
어느 쪽이든 구조상 더 "프라이빗하다"고 단정하고 싶지는 않습니다. 결국 무엇을 스크래핑하는지, 그 데이터가 얼마나 민감한지, 그리고 어떤 실행 모드를 선택하는지에 따라 달라지기 때문입니다. 데이터 민감성이 중요한 사용 사례라면, 비교 글만 믿기보다 실제로 도입하기 전에 해당 벤더와 직접 확인해 보는 게 맞습니다.
가격: 페이지 제한과 레시피 비용
아래는 이 글을 쓰는 시점의 Data Miner 현재 가격입니다.
| 플랜 | 가격 | 월 페이지 수 |
|---|---|---|
| Free | $0 | 500(일부 도메인 제한) |
| Solo | $19.99/월 | 500 |
| Small Business | $49/월 | 1,000 |
| Business | $99/월 | 4,000 |
| Business Plus | $200/월 | 9,000 |
| Enterprise | 맞춤형 | 맞춤형 |
크레딧은 매달 초기화되며 이월되지 않습니다. 또한 FAQ에는 무료 플랜의 500페이지 한도를 넘기면 업그레이드 전까지 계정이 잠길 수 있다고 적혀 있습니다. 프로젝트가 절반쯤 진행된 뒤에 이런 사실을 알면 곤란하니 미리 알아두는 게 좋습니다.
Data Miner를 리뷰할 때 거의 아무도 말하지 않는 부분이 하나 더 있습니다. 바로 맞춤 레시피 개발을 유료 서비스로도 판매한다는 점입니다. 단일 맞춤 레시피는 1회성 $150, 여러 단계가 필요한 멀티레벨 레시피(목록에서 상세 페이지로 이어지는 크롤링에 필요한 형태)는 1회성 $300입니다. 그보다 더 복잡한 작업은 견적 기반입니다. 대상 사이트에 작동하는 공개 레시피가 없고, 직접 만들고 싶지도 않다면 구독료 외에 추가 비용이 꽤 드는 셈입니다.
Thunderbit의 최신 가격은 여기서 숫자를 적어드리기보다 실시간 가격 페이지를 확인해 보시는 게 좋습니다. 요금제는 바뀔 수 있고, 오래된 숫자를 적어드리느니 원문으로 바로 보내드리는 편이 낫습니다.
사실 더 큰 비용 요소는 가격표에 적힌 금액이 아닙니다. 총 소요 시간입니다. 레시피를 만들고 유지보수하는 데 들어가는 시간은, 본인 인건비까지 계산하지 않는 한 사실상 보상받지 못합니다. 에이전트형 재해석은 이런 유지관리 부담을 줄여 주지만, 대신 매번 새로 AI가 작업해야 하므로 다른 종류의 비용이 생깁니다. 즉, 시간 비용이 아니라 연산 비용입니다.
어떤 도구를 선택해야 할까?
Thunderbit를 선택하세요, 만약... 기술적인 작업이 익숙하지 않거나, 한 번도 스크래핑해본 적 없는 페이지를 다뤄야 하거나, 애초에 레시피를 만들거나 찾는 과정을 건너뛰고 싶다면 말입니다. 디렉터리에서 리드 목록을 뽑는 세일즈 운영 담당자, 경쟁사 가격 페이지를 매주 확인하는 시장 조사 담당자, 설정 단계 없이 그냥 지금 데이터를 받고 싶은 모든 사람에게 잘 맞습니다.
Data Miner를 선택하세요, 만약... 이미 작동하는 공개 레시피가 있는 안정적이고 반복적인 대상을 다루고 있거나, 세밀한 선택자 제어를 진짜로 좋아하고 사이트가 바뀔 때마다 레시피를 다시 만드는 것도 크게 부담스럽지 않다면 적합합니다. 사용자 지정 JavaScript를 편하게 다루는 파워 유저에게도 익숙한 환경입니다.
둘 다 함께 쓰세요, 만약... 오래된 사이트에서 이미 작동 중인 Data Miner 레시피가 있고(그걸 굳이 다시 만들 이유가 없음), 동시에 새롭고 다양한 대상은 선택자를 일일이 정의하는 데 반나절을 쓰고 싶지 않다면 말입니다. 실제로 저는 이런 식으로 운영하는 팀들을 봤습니다. 기존 레시피는 그대로 돌리고, 새 작업은 Thunderbit를 시험해 보는 방식이죠. 많은 "vs" 글이 암시하는 것처럼 흑백 선택이 아닙니다.
최종 결론
결국 이 문제는 에이전트식 해석과 재사용 가능한 레시피의 차이로 귀결됩니다. 그리고 어느 쪽도 모든 상황에서 절대적으로 더 우수하다고 말할 수는 없습니다. Data Miner는 인내심과 사이트별 투자를 보상으로, 매우 빠른 반복 실행을 제공합니다. Thunderbit는 첫 결과를 빠르게 얻는 속도를 보상으로, 레시피처럼 사이트를 "외워두는" 방식은 취하지 않습니다.
제 솔직한 추천은 이렇습니다. 실제로 데이터가 필요한 승인된 대상 하나를 골라 두 도구를 모두 시험해 보세요. 설정에 얼마나 시간이 걸리는지 재보고, 깨끗하게 추출되는 유효 행이 몇 개인지 세어 보고, 사이트가 뭔가를 바꿨을 때 어떻게 되는지 확인해 보세요(레시피는 깨지고, 에이전트는 보통 적응합니다). 그리고 필요한 경우의 맞춤 레시피 비용까지 포함해 실제 비용을 합산해 보세요.
원클릭 버전을 직접 보고 싶다면, Thunderbit Chrome 확장 프로그램을 무료로 사용해 볼 수 있습니다. 레시피를 만들 필요는 없습니다.
FAQ
Data Miner는 정말 원클릭인가요? 대상 사이트에 대해 작동하는 공개 레시피가 이미 있다면 가능합니다. 없다면 Recipe Creator를 사용해 처음부터 만들어야 하므로 실제 설정 시간이 듭니다.
Data Miner를 쓰려면 코딩이 필요한가요? 기본 레시피에는 필요 없습니다. Easy Finder를 사용하면 클릭으로 행과 열을 선택할 수 있습니다. 사용자 지정 JavaScript와 고급 선택자 작업은 더 많은 제어를 원하는 고급 사용자를 위한 선택 사항입니다.
Data Miner로 여러 페이지와 상세 페이지를 스크래핑할 수 있나요? 네. 페이지네이션은 Next Page Automation으로, 연결된 상세 페이지 데이터는 두 개의 레시피를 사용하는 Crawl 워크플로우(List Recipe + Detail Recipe)로 처리할 수 있습니다.
Thunderbit는 CSS 선택자를 쓰나요? 아니요. 에이전트가 실행 시점에 페이지 구조를 해석하므로, 지원되는 페이지에서는 선택자를 직접 정의할 필요가 없습니다.
로그인 뒤에서는 어떤 도구가 더 잘 작동하나요? 둘 다 승인된 브라우저 세션에서 보이는 콘텐츠를 대상으로 작동하므로, 결과는 사용 도구보다 화면에 실제로 무엇이 렌더링되는지에 더 좌우됩니다.
Data Miner는 페이지 수를 어떻게 계산하나요? 각 플랜마다 월간 페이지 크레딧 한도가 있습니다. Free와 Solo는 500페이지이며, Business Plus에서는 9,000페이지까지 올라갑니다. 크레딧은 매달 초기화되고 이월되지 않습니다.
두 제품 중 API를 제공하는 것이 있나요? Thunderbit는 개발자 및 에이전트 워크플로우를 위한 Open API, MCP Server, CLI를 제공합니다. Data Miner의 자동화는 주로 브라우저 기반이며, Enterprise 고객을 위한 서버 측 옵션이 있습니다.
둘 중 하나라도 모든 웹사이트에서 작동하나요? 아니요. 두 도구 모두 페이지 호환성, 권한, 사이트 구조에 영향을 받습니다. 봇 차단, 특이한 레이아웃, 무거운 JavaScript 렌더링은 어느 쪽이든 제한이 될 수 있습니다.
