Thunderbit의 Substack 스크래퍼는 AI를 활용해 Substack 페이지를 깔끔한 구조화 데이터셋으로 변환해 줍니다. Substack Discover와 리소스/리더보드 형태의 페이지에서 뉴스레터 목록, 카테고리, 작성자, 퍼블리케이션 정보를 추출한 뒤, 하위 페이지를 추가로 스크래핑해 더 풍부한 정보로 데이터셋을 확장할 수 있습니다. AI 웹 스크래퍼 (https://thunderbit.com/ai-web-scraper)로 몇 분 안에 Excel, Google Sheets, Airtable, Notion으로 내보내세요.
🧠 Substack 스크래퍼란?
AI 기반 Substack 스크래퍼는 로, 에서 데이터를 매우 간단한 흐름으로 수집할 수 있습니다. 페이지를 열고 AI Suggest Columns를 누른 다음 Scrape를 클릭하면 끝입니다. Thunderbit의 AI가 페이지 레이아웃을 읽고 추출하기 좋은 필드를 추천해 주며, 다운로드하거나 다른 도구로 보낼 수 있는 표 형태로 데이터를 정리해 줍니다.
🧾 Substack에서 무엇을 스크래핑할 수 있나요?
Substack에는 리서치, 파트너십, 미디어 모니터링, 오디언스 확장에 활용할 수 있는 공개 정보가 풍부합니다. Thunderbit를 사용하면 Discover 같은 목록 페이지를 먼저 스크래핑한 뒤, Subpage Scraping으로 각 뉴스레터/퍼블리케이션 페이지를 방문해 목록 화면에서는 보이지 않는 상세 정보를 추가로 채워 넣을 수 있습니다.
아래는 Substack 스크래퍼로 자주 쓰이는 고가치 워크플로 2가지입니다.
🗞️ Substack Discover에서 뉴스레터 스크래핑하기
에서 뉴스레터 데이터베이스를 만들 때 유용합니다. 주제별 퍼블리케이션을 찾거나, 스폰서십 파트너 후보를 평가하거나, 카테고리별 트렌드를 추적하고 싶을 때 특히 효과적입니다.
Steps:
- 을 설치하고 계정을 등록합니다.
- 대상 페이지로 이동합니다. 예: .
- AI Suggest Columns를 클릭해 AI가 컬럼명과 데이터 유형을 추천하도록 합니다.
- Scrape를 클릭해 스크래핑을 실행한 뒤 Excel, Google Sheets, Airtable, Notion으로 내보냅니다.
Column names
| Column | Description |
|---|---|
| 📰 뉴스레터 / 퍼블리케이션 이름 | Discover에 표시되는 뉴스레터 또는 퍼블리케이션 이름입니다. |
| 🔗 퍼블리케이션 URL | 퍼블리케이션 페이지로 연결되는 링크(하위 페이지 보강에 유용)입니다. |
| ✍️ 작성자 / 크리에이터 | 표시되는 경우, 퍼블리케이션을 운영하는 작성자 또는 브랜드입니다. |
| 🏷️ 카테고리 / 주제 | 목록에 연결된 카테고리 태그(예: Tech, Politics, Culture)입니다. |
| 📝 설명 | 목록에 표시되는 짧은 소개/요약 문구입니다. |
| 👥 구독자 수 | 표시되는 경우의 구독자 수(또는 비워두고 하위 페이지에서 보강)입니다. |
| 🖼️ 퍼블리케이션 이미지 | 퍼블리케이션 로고/커버 이미지 URL입니다. |
| ⭐ 추천 / 랭킹 라벨 | 추천 배지, 트렌딩 라벨, 노출 위치 등 페이지에 표시되는 표식입니다. |
🏆 Substack 리더보드(리소스)에서 상위 퍼블리케이션 스크래핑하기
Substack의 리소스/리더보드 형태 페이지인 에서 큐레이션된 퍼블리케이션 목록을 추출할 때 적합합니다. 경쟁사 리서치, 파트너십 아웃리치, 니치별 미디어 지형도 리스트를 만들 때 도움이 됩니다.
Steps:
- 을 설치하고 계정을 등록합니다.
- 대상 페이지로 이동합니다. 예: .
- AI Suggest Columns를 클릭해 해당 레이아웃에 맞는 추천 필드를 생성합니다.
- Scrape를 클릭해 표 데이터를 추출한 뒤 다운로드하거나 내보냅니다.
Column names
| Column | Description |
|---|---|
| 🏷️ 퍼블리케이션 이름 | 페이지에 표시된 퍼블리케이션 이름입니다. |
| 🔗 퍼블리케이션 URL | 퍼블리케이션으로 바로 가는 링크(하위 페이지 스크래핑에 최적)입니다. |
| 🧑💼 작성자 / 팀 | 표시되는 경우, 작성자 이름 또는 운영 조직입니다. |
| 🗂️ 카테고리 / 컬렉션 | 해당 퍼블리케이션이 속한 섹션/그룹(해당 시)입니다. |
| 📝 요약 | 짧은 소개 또는 포지셔닝 문구입니다. |
| 👥 구독자 / 오디언스 | 페이지에 표시되는 오디언스 규모 지표입니다. |
| 🖼️ 로고 / 이미지 | 퍼블리케이션 로고 또는 썸네일 이미지 URL입니다. |
| 🕒 최근 업데이트 / 최신성 | 페이지에 표시되는 최신성 신호(또는 가능하면 하위 페이지에서 추출)입니다. |
🎯 Substack 도구를 사용해야 하는 이유
Substack 스크래핑은 분석, 아웃리치, 모니터링을 위해 데이터를 구조화해야 하는 실제 비즈니스 업무에 큰 도움이 됩니다.
로 Substack을 스크래핑하는 대표적인 이유:
- 마케팅 & 파트너십: 스폰서십 제안, 크로스 프로모션, 제휴 파트너십을 위한 뉴스레터 리스트를 구축할 수 있습니다. 하위 페이지를 스크래핑해 연락처 링크나 퍼블리케이션 상세 정보를 추가로 보강할 수도 있습니다.
- 세일즈 & 리드 발굴: ICP에 맞는 크리에이터/니치 퍼블리케이션을 찾아 Google Sheets나 Airtable로 내보내 파이프라인을 구성할 수 있습니다.
- 미디어 리서치 & 경쟁 분석: 카테고리, 포지셔닝, 성장 신호를 추적해 어떤 퍼블리케이션이 주목받는지 파악할 수 있습니다.
- 콘텐츠 전략: 뉴스레터 주제와 설명을 매핑해 공백 영역, 떠오르는 테마, 오디언스 세그먼트를 찾을 수 있습니다.
Thunderbit가 특히 유용한 경우:
- 페이지 레이아웃이 자주 바뀌어 기존 스크래퍼가 쉽게 깨질 때
- Subpage Scraping으로 각 행에 더 깊은 퍼블리케이션 정보를 덧붙이고 싶을 때
- 이미 쓰고 있는 도구(Sheets, Airtable, Notion)로 빠르게 내보내고 싶을 때
스크래핑이 처음이라면 아래 가이드가 도움이 됩니다:
🧩 Substack Chrome Extension 사용 방법
- Thunderbit Chrome Extension 설치: 에서 설치하고 계정을 생성합니다.
- 스크래핑할 Substack 페이지로 이동: 예: 또는 .
- AI 기반 스크래퍼 실행: AI Suggest Columns를 클릭해 컬럼명을 생성하고 필요한 필드를 조정한 뒤 Scrape를 클릭합니다.
Tip: 첫 스크래핑 이후 Scrape Subpages를 사용하면 Thunderbit가 각 퍼블리케이션 URL을 방문해 추가 필드(확장 설명, 작성자 상세, 링크, 기타 화면에 보이는 메타데이터 등)를 표에 이어 붙여 줍니다.
💳 Substack 요금 안내
Thunderbit는 이해하기 쉬운 크레딧 시스템을 사용합니다:
- 결과 테이블에서 1 크레딧 = 1개 출력 행
- AI 기반 스크래퍼(AI Suggest Columns + Scrape)는 처음부터 사용할 수 있으며, 데이터 내보내기는 무료입니다(CSV/JSON, Excel, Google Sheets, Airtable, Notion).
Thunderbit는 무료로도 시작할 수 있습니다:
- 무료 플랜: 월 6페이지 스크래핑
- 무료 체험: 유료 플랜 선택 전 10페이지 무료 스크래핑
예를 들어 Substack Discover에서 뉴스레터 200행을 수집했다면, 해당 실행은 대략 200 크레딧이 사용됩니다. 이후 하위 페이지 스크래핑으로 각 행을 보강하면, 최종적으로 출력되는 보강 행 수에 따라 총 크레딧이 달라집니다.
유료 플랜(월간/연간)은 사용량 규모에 맞춰 구성되어 있으며, 연간 플랜은 보통 월별 결제 대비 할인이 적용되어 더 경제적입니다. 자세한 내용은 에서 확인하세요.
| Tier | Pricing (Monthly) | Pricing (Yearly) | Yearly Total Price | Credits (Monthly) | Credits (Yearly) |
|---|---|---|---|---|---|
| Free | Free | Free | Free | 6 pages | N/A |
| Starter | $15 | $9 | $108 | 500 | 5,000 |
| Pro 1 | $38 | $16.5 | $199 | 3,000 | 30,000 |
| Pro 2 | $75 | $33.8 | $398 | 6,000 | 60,000 |
| Pro 3 | $125 | $68.4 | $796 | 10,000 | 120,000 |
| Pro 4 | $249 | $137.5 | $1,592 | 20,000 | 240,000 |
AI로 Substack 스크래핑을 시작할 준비가 되셨나요?
- 설치:
- 제품:
❓ FAQ
-
AI 기반 Substack 스크래퍼란 무엇인가요?
AI 기반 Substack 스크래퍼는 로, Discover나 퍼블리케이션 목록 같은 Substack 페이지에서 구조화된 데이터를 추출합니다. 페이지를 열고 AI Suggest Columns를 누르면 Thunderbit가 표에 맞는 스키마를 만들고, 내보낼 수 있는 행 단위 데이터로 수집해 줍니다. -
Thunderbit는 무엇인가요?
는 웹사이트, PDF, 이미지에서 데이터를 수집해 구조화 데이터셋으로 바꿔주는 AI 웹 스크래핑 & 생산성 Chrome Extension입니다. 리드 발굴, 시장 조사, 이커머스 운영, 부동산 등 비즈니스 워크플로에 맞춰 설계되었고, Google Sheets, Airtable, Notion 같은 도구로 빠르게 내보낼 수 있습니다. -
Thunderbit로 어떤 Substack 페이지를 스크래핑할 수 있나요?
, 큐레이션된 리소스 페이지, 개별 퍼블리케이션 페이지 등 다양한 공개 Substack 페이지를 스크래핑할 수 있습니다. 로그인이 필요한 페이지라면, 종종 Browser Scraping을 사용해 로그인된 Chrome 세션 안에서 그대로 동작하게 할 수 있습니다. -
퍼블리케이션 하위 페이지를 스크래핑해 더 많은 정보를 가져올 수 있나요?
가능합니다. Thunderbit의 Subpage Scraping은 목록 페이지에서 수집한 각 퍼블리케이션 URL을 방문해 추가 필드를 표에 덧붙일 수 있습니다. 목록에는 짧은 설명만 보이지만, 퍼블리케이션 페이지에는 더 풍부한 메타데이터가 있을 때 특히 유용합니다. -
Substack 스크래핑에 적합한 컬럼은 어떻게 고르나요?
먼저 AI Suggest Columns로 시작한 뒤, 업무 목적에 맞게 필드명과 데이터 유형을 조정하세요. 또한 카테고리 표준화나 작성자 이름 정리처럼 추출/포맷을 유도하고 싶다면 컬럼에 Field AI Prompt를 추가할 수도 있습니다. -
Substack 데이터를 Google Sheets, Airtable, Notion으로 내보낼 수 있나요?
네, 가능하며 내보내기는 무료입니다. 스크래핑 후 CSV/JSON을 다운로드하거나, 데이터셋을 Google Sheets, Airtable, Notion으로 바로 전송해 협업/필터링/추가 보강에 활용할 수 있습니다. -
Substack에서 Cloud Scraping과 Browser Scraping의 차이는 무엇인가요?
Cloud Scraping은 더 빠르게 실행되며 로그인 없이 접근 가능한 공개 페이지에 적합합니다. Browser Scraping은 Chrome 세션에서 실행되므로 인증 뒤에 있는 페이지에 접근해야 하거나, 브라우저와 동일한 방식으로 동작시키고 싶을 때 더 좋습니다. -
한 번에 Substack에서 몇 행까지 스크래핑할 수 있나요?
실제 한도는 페이지 구조, 페이지네이션/무한 스크롤, 그리고 플랜 크레딧에 따라 달라집니다. 다만 많은 워크플로가 한 번에 수백 행(일반적으로 약 500행 수준)을 목표로 합니다. 무한 스크롤이나 여러 페이지로 구성된 경우에도 Thunderbit는 페이지네이션을 처리하며 더 많은 결과를 로드하는 동안 계속 행을 수집할 수 있습니다. -
Substack을 스크래핑해도 괜찮나요?
책임감 있게 스크래핑하고, 관련 법규와 개인정보 기대 수준, Substack의 약관을 준수해야 합니다. Thunderbit는 브라우저에서 접근 가능한 데이터를 구조화하는 도구이며, 무엇을 수집하고 어떻게 활용할지는 사용자가 직접 통제합니다.
📚 더 알아보기
- 제품 시작하기:
- 확장 프로그램 설치:
- 에서 가이드 읽기
- 기본 개념:
- 리스트 스크래핑 개념:
- Excel 워크플로:
- PDF 추출:
- 이메일 수집 베스트 프랙티스:
- 도구 비교: