지금 GitHub에서 "reddit scraper"를 검색하면 저장소가 2,300개도 넘게 떠요. 선택지가 넘쳐 보이죠. 그런데 숫자가 함정이에요. 지난 12개월 동안 실제로 손이 닿은 곳은 28% 정도밖에 안 돼요. 저는 최근 몇 주에 걸쳐 이 저장소들을 직접 하나씩 까봤어요. 엔드포인트를 때려보고, 이슈 큐를 읽고, Reddit이 새로 낸 정책과 일일이 맞춰봤죠. 이유는 단순해요. 저장소를 클론해서 OAuth랑 씨름하다가 새벽 2시에야 "아, 이거 2024년에 이미 죽었구나" 깨닫는 일을 막아드리고 싶었거든요. 2026년의 Reddit 스크래퍼 GitHub 생태계는 한마디로 묘지에 가까워요. 좋은 의도와 쓸 만한 도구 몇 개가 무덤들 사이에 섞여 있는 거죠. 이 글에서는 지금도 돌아가는 것, 이미 끝난 것, 코드를 아예 건너뛰는 게 나은 순간, 그리고 갈수록 빡빡해지는 Reddit의 단속을 어떻게 피할지까지 짚어드릴게요. 빠른 길을 찾고 계시다면 Thunderbit이 바로 그 고민을 풀려고 만든 노코드 도구예요. 다만 코드 기반이 여전히 더 나은 경우도 있다는 건 솔직하게 말씀드릴게요.
Reddit 스크래퍼 GitHub 저장소란? 왜 이렇게 많이 죽어 있을까
"reddit scraper github" 저장소는 보통 Reddit에서 게시물·댓글·사용자 데이터·미디어를 자동으로 긁어오는 오픈소스 Python(가끔 JavaScript) 프로젝트예요. 크게 네 갈래로 나뉘어요.
- API 래퍼(예: PRAW): Reddit 공식 API를 쓰고, OAuth가 필요하며, Reddit 규칙을 그대로 따라요.
- Pushshift/PSAW 계열: 과거 Reddit 데이터를 얻으려고 Pushshift의 방대한 아카이브를 끌어다 쓰던 방식이에요.
- 공개
.json엔드포인트 스크래퍼: Reddit URL 끝에.json을 붙이거나 인증 없이 공개 엔드포인트를 호출해요. - 브라우저 기반 스크래퍼: Playwright, Selenium, 또는 브라우저 확장으로 Reddit 페이지를 띄우고 렌더링된 내용을 가져와요.
그럼 왜 이렇게 많이 죽었을까요? 원인은 세 가지예요.
- 2023년 중반 Reddit의 API 요금 개편. 무료 한도가 OAuth 사용 시 분당 100회, 미사용 시 10회로 뚝 떨어졌어요. 상업적으로 많이 쓰면 이제 API 호출 1,000건당 0.24달러(약 330원)가 붙어요. 많은 저장소가 사실상 무제한 접근을 전제로 짜였는데, 그 시절은 끝났어요.
- Pushshift 공개 접근 차단. Pushshift는 과거 Reddit 연구의 토대였어요. Reddit이 막아버리면서 "과거 데이터 스크래퍼" 저장소 상당수가 핵심 데이터 소스를 잃었어요. 일부 README는 아직 멀쩡해 보이지만, 일반 사용자 입장에선 아래쪽 의존성이 이미 사라진 상태예요.
- 정책과 단속이 동시에 강해짐. 2024년 robots.txt 개정, 2025년 Public Content Policy, 2026년 3월 Responsible Builder Policy는 모두 같은 신호예요. Reddit이 더는 대량 스크래핑을 무해한 배경 소음으로 보지 않는다는 거죠. 심지어 Anthropic과 SerpApi를 무단 데이터 접근으로 고소하기까지 했어요.
결국 "reddit scraper github"를 검색하면 수백 개가 뜨지만, 마지막 커밋 날짜와 열린 이슈 수를 보면 전혀 다른 이야기가 나와요.
2026년 Reddit 스크래퍼 GitHub 현황: 지금 뭐가 돌아가나
경쟁 글 대부분은 2023~2024년에 쓰인 뒤 손도 안 댔어요. 그래서 포럼에는 1년 전엔 멀쩡했던 저장소에서 에러가 난다는 하소연이 끊이질 않아요. 한 사용자가 남긴 "Reddit API 제한 오류가 계속 나는데 이거 어떻게 넘기죠?"라는 글은 사실 2026년 Reddit 스크래퍼 경험을 한 줄로 압축한 셈이에요.
저는 2026년 4월 기준으로 직접 상태를 점검했어요. 결과는 이래요.
PRAW: 공식 Python 래퍼
상태: ✅ 여전히 작동, 단 조건부.
PRAW(Python Reddit API Wrapper)는 지금도 Reddit 스크래핑에서 가장 믿을 만한 오픈소스 토대예요. 유지보수가 활발하고, 스타 4,099개, 마지막 푸시는 2026년 4월 20일, 열린 이슈는 6개뿐이에요. PyPI에는 praw 7.8.1이 올라와 있어요(2024년 10월 출시).
장점: 공식 도구이고 문서가 탄탄하며, Reddit API의 복잡한 부분을 상당히 가려줘요.
2026년의 한계:
- OAuth 요구가 빡빡해졌어요. 승인된 사용 사례 설명을 단 Reddit 앱을 등록해야 해요.
- 2024년 이후 속도 제한이 내려갔어요(OAuth 시 분당 100회, 미사용 시 10회).
- 목록당 약 1,000개 게시물이라는 하드한 천장은 그대로예요. r/redditdev와 Stack Overflow 스레드도 한 목록 엔드포인트에서 1,000개를 넘겨 가져올 방법은 없다고 못 박아요.
API라는 울타리 안에서만 쓴다면 PRAW가 제일 안전해요.
이제 마음껏 대량 수집하는 도구는 아니라는 점만 기억하세요.
공식 API 경로를 실전에서 어떻게 쓰는지 보고 싶다면, 아래 튜토리얼이 이 섹션과 잘 맞아요.
Pushshift / PSAW: 불 꺼진 아카이브
상태: ❌ 공개 접근 불가.
PSAW는 과거 Reddit 데이터를 가장 쉽게 가져오던 Pushshift 래퍼였어요. 하지만 2026년 현재 저장소는 아카이브됐고, README에는 대놓고 "THIS REPOSITORY IS STALE"이라고 적혀 있어요. 최근 이슈 제목도 "Pushshift.io에 연결 안 됨"이나 "코드 안 됨, 아마 pushshift api 탓" 같은 식이에요.
학술 접근은 특정 경로로 아직 열려 있을 수 있지만, 지금 "reddit scraper github"를 찾는 일반 사용자에게 Pushshift/PSAW는 현실적인 선택지가 아니에요. 깊은 과거 데이터가 필요하면 승인된 학술 접근이나 라이선스 경로를 알아봐야 해요.
snscrape(Reddit 모듈): 반쪽짜리, 믿기 어려움
상태: ⚠️ 부분 작동 — 간헐 오류, 사실상 유지보수 중단.
snscrape는 스타 5,337개지만 마지막 푸시가 2023년 11월 15일이에요. README에는 아직도 Reddit 스크래핑이 "via Pushshift"로 된다고 적혀 있죠. Reddit 관련 이슈에는 "Error reddit scraping"이나 "Reddit 스크래퍼가 2022-11-03 이전 제출물을 안 가져옴" 같은 제목이 보이지만, 최근에 의미 있는 수정은 없어요.
환경에 따라 소규모 일회성 수집에는 쓸 수도 있어요. 다만 운영용이나 반복 수집에는 못 믿어요. 레거시로 보는 편이 맞아요.
Playwright와 .json 엔드포인트 스크래퍼: 가끔 통하는 우회로
상태: ✅ 작동, 단 잘 깨짐.
발상은 간단해요. 헤드리스 브라우저(Playwright, Puppeteer)로 Reddit 페이지를 띄워 렌더링된 내용을 긁거나, URL 끝에 .json을 붙여 공식 API 없이 구조화 데이터를 받는 거죠.
장점: API 키가 필요 없고, 1k 게시물 천장을 우회하며, 렌더링된 콘텐츠에 접근할 수 있어요.
단점: Reddit이 프론트엔드 레이아웃이나 JSON 구조를 바꾸면 바로 깨져요. 봇 차단에 걸릴 수도 있고, 기술 설정도 더 들어요. 이번 달 제 테스트에서는 공개 Reddit .json 엔드포인트에 직접 요청하니 403이 돌아왔어요. 모든 환경이 막힌다는 뜻은 아니지만, 이제 .json 지름길을 "그냥 되겠지"로 여기면 안 된다는 신호죠.
yars 같은 저장소는 이런 현실을 솔직하게 적어둬요. README에 "로테이팅 프록시랑 같이 쓰세요. 안 그러면 Reddit이 IP 차단을 선물할 수도 있어요"라고 경고해요. 2026년 4월 분위기를 한 줄로 요약한 셈이에요.
브라우저 자동화 우회로를 따져보고 있다면, 아래 Playwright 튜토리얼이 이 섹션과 잘 어울려요.
Thunderbit: AI 기반 브라우저 스크래핑(노코드, API 키 불필요)
상태: ✅ 작동 — 페이지 변경에 알아서 적응.
Thunderbit은 접근 자체가 달라요. Chrome 확장으로, AI가 Reddit 페이지를 읽고 데이터 필드(게시물 제목·작성자·업보트·시각·URL 등)를 제안한 뒤, 클릭 두 번이면 구조화 데이터를 뽑아줘요. OAuth 설정도, API 키 등록도, Python 환경도, 의존성 관리도 없어요. AI가 매번 페이지를 새로 읽으니까, Reddit이 레이아웃을 바꿔도 조용히 깨지는 대신 알아서 따라가요.
CSV, Google Sheets, Airtable, Notion으로 무료 내보내기를 지원해요. 페이지네이션과 하위 페이지 스크래핑도 처리해요(예: 서브레딧 목록을 긁은 뒤 각 게시물에 들어가 댓글까지 가져오기). GitHub 저장소를 직접 굴리지 않고 Reddit 데이터를 얻고 싶은 분에게 가장 부담 없는 경로예요.
(완전히 솔직하게 말씀드리면, Thunderbit은 저희가 만든 거라 제게 편향이 있는 게 맞아요. 그래도 글 후반에 코드 기반이 더 나은 순간도 분명히 짚어드릴게요.)
나란히 보는 현황 요약표
| 도구 / 범주 | 2026년 4월에도 작동하나요? | API 키 필요? | 비고 |
|---|---|---|---|
| PRAW | ✅ 예, 단 주의 필요 | 예(OAuth) | 가장 잘 유지보수되는 오픈소스 기반. 속도 제한과 1k 게시물 제한의 영향을 받음. |
| Pushshift / PSAW | ❌ 아니요(대부분 사용자 기준) | 해당 없음 | 공개 접근 종료. 저장소 아카이브됨. |
| snscrape(=Reddit 모듈) | ⚠️ 부분적 / 신뢰 어려움 | 아니요 | 아직도 Reddit을 "via Pushshift"로 문서화함. 2023년 이후 유지보수 정체. |
| .json / 공개 엔드포인트 스크래퍼 | ⚠️ 부분적 | 아니요 | 작동할 수는 있지만, 직접 요청이 점점 차단되는 중. 프록시 의존. |
| Playwright / 브라우저 스크래퍼 | ✅ 예, 하지만 취약함 | 보통 아니요 | 가장 실용적인 비공식 우회책. 페이지 변경과 봇 방지 체크가 여전히 변수. |
| Thunderbit | ✅ 예 | 아니요 | AI/브라우저 워크플로. OAuth 없음, 셀렉터 없음. 비개발자에게 최적. |
속도 제한, 1k 게시물 천장, 그리고 진짜 도움 되는 것
Reddit 스크래퍼 GitHub 프로젝트를 쓰는 사람이라면 누구나 겪는 가장 큰 통증이 이거예요. 포럼은 불만으로 가득해요. "속도 제한 때문에 실행이 중간에 죽는 거 이젠 지겹다", "왜 1,000개쯤만 나오지?" 핵심 제약은 둘이에요. Reddit API의 속도 제한(분당 요청 수), 그리고 목록당 약 1,000개라는 게시물 천장(API가 각 목록 엔드포인트에서 최근 1,000개 정도만 돌려줌).
속도 제한 관리 노하우
Reddit의 현재 공개 기준은 OAuth 시 분당 100회, 미사용 시 10회예요. 실전에서는 이렇게 대응하세요.
- 지수 백오프. 속도 제한에 걸리면 잠깐 쉬고, 재시도할 때마다 대기를 더 길게 잡으세요(1초, 2초, 4초, 8초…). 엔드포인트를 무작정 두드리면 안 돼요.
X-Ratelimit-Remaining헤더 읽기. Reddit API 응답에는 남은 요청 수와 윈도우 리셋 시점이 헤더로 들어와요. 감으로 하지 말고 이 값에 맞춰 속도를 조절하세요.- 사용자 에이전트 로테이션. 탐지를 피하려고 권장하는 저장소도 있어요. 도움은 되지만 윤리적으로 쓰세요. 이미 받은 차단을 회피하는 용도로는 안 돼요.
- 전부 로그로 남기기. API 응답, 속도 제한 헤더, 오류를 다 기록하세요. 스크래퍼가 새벽 2시에 죽었을 때 로그가 제일 든든한 친구예요.
1,000개 천장 넘기기
목록당 약 1,000개 제한을 넘기는 가장 현실적인 우회법은 시간 구간 분할예요.
before와after타임스탬프로 한 구간을 조회해요.- 창을 앞(또는 뒤)으로 옮겨요.
- 반복해요.
- 게시물 ID로 중복을 제거해요.
우아하진 않아요. 그래도 목록 엔드포인트 하나로 무한한 과거를 한 루프에 다 가져올 수 있다고 우기는 것보다는 정직해요. 정말 오래된 데이터가 필요하면 승인된 학술 접근이나 라이선스 경로가 답이에요. Pushshift는 이제 기본 해답이 아니에요.
브라우저 기반 스크래핑(Playwright나 Thunderbit)은 화면에 렌더링된 내용을 긁기 때문에 이 제한을 통째로 우회해요. API가 돌려주는 값이 아니라 눈에 보이는 걸 가져오니까요. Thunderbit의 페이지네이션을 쓰면 원하는 만큼 페이지를 넘기며 모을 수 있어요.
중복 제거와 오류 복구
대부분의 Reddit 스크래퍼 GitHub 저장소는 중복 제거나 오류 복구를 기본 제공하지 않아요. 사용자들도 "중복 제거 없고, 오류 후 속도 제한 회피 없고, 이미 받은 파일인지 확인도 없다"고 직접 불평해요. 이렇게 하세요.
- 중복 제거: 게시물 ID(또는 ID + 콘텐츠)를 해시로 만드세요. 확인한 해시는 가벼운 SQLite DB나 평범한 텍스트 파일에 저장하고, 삽입 전에 존재 여부를 봐요. 시간 창을 쪼개거나 실패한 작업을 다시 돌릴 때 특히 중요해요.
- 오류 복구: N개 레코드마다 체크포인트 파일에 진행 상황을 저장하세요. 실행이 죽으면 처음이 아니라 마지막 체크포인트부터 재개해요. 3시간 작업이 2시간 만에 죽어도, 1시간만 더 돌리면 되는 상황으로 바뀌어요.
접근 방식별로 이 제약을 어떻게 다루나
| 접근 방식 | 속도 제한 처리 | 1k개 초과 게시물? | 자동 중복 제거? | 오류 복구? |
|---|---|---|---|---|
| PRAW(원시 사용) | 수동(대기/재시도) | ❌(API 한도) | ❌ | ❌ |
| PRAW + 시간 구간 분할 | 수동 | ✅(우회 가능) | ❌ | ❌(직접 추가해야 함) |
| Playwright .json 스크래핑 | 해당 없음(API 미사용) | ✅ | ❌ | ❌ |
| Thunderbit(브라우저 스크래핑) | 내장됨(AI 페이싱) | ✅(페이지네이션) | 해당 없음(시각적 검토) | 내장됨 |
Reddit 스크래퍼 GitHub가 정답이 아닐 때: 노코드 경로
Reddit 스크래퍼 GitHub 글은 대부분 독자가 Python에 익숙하다고 가정해요. 그런데 Reddit 스크래핑이 필요한 사람 중 상당수는 마케터, 세일즈 담당자, 연구자, 매일 Python을 만지지 않는 1인 창업자예요. 이들에게 GitHub 저장소는 숨은 비용을 늘려요.
- OAuth 자격 증명과 Reddit 개발자 앱 설정
- Python 가상환경과 의존성 충돌 관리
- PRAW 내부가 바뀔 때마다 알 수 없는 에러 메시지 디버깅
- Reddit이 사용 사례를 승인 안 해주면 API 키가 막힐 가능성 대응
- Reddit이 뭔가 바꿀 때마다 스크립트 손보기
가상의 이야기가 아니에요. bulk-downloader-for-reddit은 스타 2,563개, 열린 이슈 107개예요. 최근 보고에는 "설치가 너무 어렵다", "PRAW 모듈 오류", "인증조차 안 되고 예외만 난다" 같은 내용이 줄줄이 올라와요.
이럴 땐 GitHub 저장소를 쓰세요
- 커스텀 스크래핑 로직이 필요할 때(예: 특정 댓글 트리 순회, 맞춤 NLP 파이프라인 연결).
- 기존 Python 데이터 파이프라인에 끼워 넣어야 할 때.
- 데이터베이스나 데이터 웨어하우스 같은 커스텀 저장소로 아주 큰 규모를 수집할 때.
- 코드를 직접 유지보수하고 변경에 대응하는 게 익숙할 때.
이럴 땐 노코드 도구를 쓰세요
- 설정에 몇 시간 쓰지 않고 몇 분 만에 Reddit 데이터를 받고 싶을 때.
- API 키, OAuth 앱, Python 환경을 관리하기 싫을 때.
- 바로 쓰려고 스프레드시트, Notion, Airtable로 곧장 내보내고 싶을 때.
- Reddit 레이아웃이 바뀔 때 도구가 알아서 적응하길 원할 때.
Thunderbit은 노코드 영역에 딱 맞아요. Reddit 게시물·댓글·사용자 데이터를 AI가 제안한 필드로 클릭 두 번이면 긁고, CSV/Google Sheets/Airtable/Notion으로 무료 내보내기를 하며, 코드 한 줄 없이 페이지네이션을 처리해요. 브라우저 기반이라 OAuth 설정도, API 키 등록도 필요 없어요.
빠른 사용법: Thunderbit으로 Reddit 스크래핑하기(단계별)
- Thunderbit Chrome 확장을 설치해요.
- 긁을 Reddit 페이지로 이동해요(서브레딧, 검색 결과, 사용자 프로필).
- "AI 필드 제안"을 클릭해요. Thunderbit이 페이지를 읽고 게시물 제목, 작성자, 업보트, 시각, URL 같은 열을 제안해요.
- 필요하면 필드를 손본 뒤 "스크래핑"을 클릭해요.
- 데이터 테이블을 검토해요. 원하면 "하위 페이지 스크래핑"을 눌러 각 게시물에 들어가 댓글이나 추가 정보를 가져와요.
- 원하는 곳으로 내보내요: Google Sheets, Excel, Airtable, Notion, CSV, JSON.
2분이면 끝나요. 코드는 한 줄도 필요 없어요. 실제 동작이 궁금하면 Thunderbit YouTube 채널을 확인해 보세요.
작업에 맞는 Reddit 스크래퍼 고르기: 사용 사례 결정 매트릭스
Reddit 스크래퍼 GitHub 글은 보통 도구 중심으로 정리해요. 그건 순서가 거꾸로예요.
목표부터 정하고, 거기에 맞는 도구를 고르세요.
리드 생성과 페인 포인트 발굴
필요한 것: 키워드로 거른 게시물 + 댓글, AI 태깅/라벨링, CRM용 포맷으로 내보내기.
가장 좋은 접근: AI 보강이 되는 노코드 스크래퍼.
추천 도구: Thunderbit(AI 라벨링 + Google Sheets/Airtable로 내보내 CRM에 넣기).
예시 워크플로: 특정 페인 포인트를 언급한 게시물을 찾으려고 서브레딧을 긁어요. Thunderbit의 Field AI Prompt로 감성을 분류하거나 주제를 태깅하고, 영업팀의 Airtable이나 Google Sheet로 내보내요.
시장 조사와 아이디어 검증
필요한 것: 대량의 게시물 제목 + 점수, 서브레딧 단위 추세 데이터.
가장 좋은 접근: 볼륨이 필요하면 시간 구간 분할을 더한 PRAW, 빠른 추출이면 Thunderbit.
예시: 지난 90일간 r/SaaS나 r/startups를 긁어 트렌딩 주제와 업보트 패턴을 봐요.
이미지·미디어 보관
필요한 것: 미디어 URL, 중복 제거, 예약 실행.
가장 좋은 접근: 특화된 GitHub 저장소(예: bulk-downloader-for-reddit) + cron 작업.
참고: 같은 이미지가 여러 서브레딧에 중복으로 올라오는 일이 잦으니 중복 제거가 중요해요.
학술 연구와 과거 데이터
필요한 것: 과거 데이터, 전체 댓글 트리, 대규모 데이터셋.
가장 좋은 접근: 승인된 학술 접근이나 라이선스 데이터 경로. Pushshift는 이제 일반적인 해답이 아니에요.
현실 점검: 2026년에는 Pushshift 제한과 Reddit의 강화된 정책 때문에 가장 어려운 사용 사례예요.
경쟁사 모니터링과 예약 스크래핑
필요한 것: 정해진 간격의 반복 수집, 변경 감지.
가장 좋은 접근: Thunderbit의 Scheduled Scraper(간격을 자연어로 적고, URL 넣고, Schedule 클릭), 코드를 쓴다면 cron + 스크립트.
사용 사례 결정 매트릭스 표
| 사용 사례 | 필요한 것 | 가장 좋은 접근 | 예시 도구 |
|---|---|---|---|
| 리드 생성 / 페인 포인트 발굴 | 게시물 + 댓글, 키워드 필터링, AI 태깅 | 노코드 스크래퍼 + AI 보강 | Thunderbit |
| 시장 조사 / 아이디어 검증 | 대량의 게시물 제목 + 점수, 서브레딧 데이터 | PRAW + 시간 구간 분할 또는 Thunderbit | PRAW 또는 Thunderbit |
| 이미지/미디어 보관 | 미디어 URL, 중복 제거, 예약 실행 | 특화 GitHub 저장소 + cron | bulk-downloader-for-reddit |
| 학술 연구 | 과거 데이터, 전체 댓글 트리 | 승인된 학술 접근 또는 Playwright | Pushshift 학술 API(접근 가능할 경우) |
| 경쟁사 모니터링 / 예약 수집 | 반복 스크래핑, 변경 감지 | Scheduled Scraper | Thunderbit Scheduled Scraper 또는 cron |
커밋하기 전에 Reddit 스크래퍼 GitHub 저장소를 평가하는 법
저장소를 클론하고 디버깅에 뛰어들기 전에, 이 5분 점검부터 해보세요. 몇 시간을 아껴줘요.
5분 저장소 건강 점검
- 마지막 커밋 날짜. 6개월이 넘었으면 조심하세요. Reddit API는 자주 바뀌어요.
- 열린 이슈 대 닫힌 이슈 비율. 답 없는 이슈가 쌓여 있으면 위험 신호예요. 최근 이슈에 인증 실패, 403, Pushshift 장애가 있는지 보세요.
- LICENSE 파일. 있는지 확인하세요. 없으면 법적으로 애매해요(아래에서 더 설명).
- 의존성. 필요한 라이브러리가 최신인가요? 더는 안 쓰이는 패키지를 쓰나요? 2022년 버전으로 고정된
requirements.txt는 경고등이에요. - README 품질. 설정 과정을 명확히 적었나요? 사용 예시가 있나요? 문서가 부실하면 그만큼 디버깅 시간이 늘어나요.
- 스타 수 vs 포크 수 vs 최근 활동. 스타는 많은데 최근 활동이 없으면, 한때 떴다가 지금은 방치된 프로젝트일 수 있어요. 스타만 보지 말고
pushed_at날짜와 비교하세요.
간단한 예로, PSAW는 스타가 364개라 얼핏 믿음직해 보여요. 하지만 저장소는 아카이브됐고 README에는 "THIS REPOSITORY IS STALE"이라고 적혀 있어요.
스타만으로는 이야기가 끝나지 않아요.
Reddit 스크래퍼 GitHub 설정을 제대로 굴리는 팁
코드 경로로 가기로 했다면, 두통을 줄이는 방법은 이래요.
가상환경을 항상 쓰세요
가상환경은 스크래퍼의 의존성을 격리해서 다른 Python 프로젝트와 충돌하지 않게 해줘요. 명령 하나면 돼요. python -m venv venv를 돌리고, 뭐든 설치하기 전에 활성화하세요. 기본 위생이지만, "module not found" 제목의 GitHub 이슈를 하도 많이 봐서 또 강조할 만해요.
자격 증명은 안전하게 보관하세요
Reddit API client ID나 secret을 스크립트에 박아 넣지 마세요. 환경 변수나 .env 파일을 쓰고, .env는 .gitignore에 넣으세요. 실수로 자격 증명을 GitHub에 올렸다면 즉시 교체하세요. 봇들은 노출된 API 키를 쉬지 않고 스캔해요.
전부 로그로 남기세요
API 응답, 속도 제한 헤더, 오류를 다 기록하세요. 뭔가 깨졌을 때 로그가 있으면 "정확히 무슨 일이 났는지 안다"와 "왜 멈췄는지 전혀 모르겠다"의 차이가 생겨요.
예약과 자동화는 신중하게 하세요
반복 수집을 돌린다면 cron(Linux/Mac)이나 작업 스케줄러(Windows)를 쓰되, 실패를 꼭 감시하세요. 2주 동안 조용히 실패한 cron 작업은 자동화가 아예 없는 것보다 더 나빠요.
대안으로, Thunderbit의 Scheduled Scraper는 간격을 자연어로 적기만 하면 되고 cron 문법이 필요 없어요.
Reddit 스크래핑의 법적·윤리적 가이드
이건 형식적으로 끼워 넣은 면책 문구가 아니에요. Reddit은 2023년 API 변경 이후 약관 집행을 강하게 해왔고, 개인 데이터 스크래핑에는 실제 법적 위험이 따라요.
정말 중요한 것만 봅시다.
Reddit 이용 약관: 실제로 뭐라고 쓰여 있나
Reddit의 User Agreement(2026년 3월 31일까지 개정)는 약관이나 별도 계약에서 허용하지 않는 한, 자동화 수단으로 서비스 데이터를 접근·검색·수집하는 것을 명시적으로 금지해요. Data API Terms와 Developer Terms는 더 자세히 설명해요. Reddit은 개발자 사용을 모니터링·감사할 수 있고, 접근을 바꾸거나 끊을 수 있으며, 과도하거나 남용적인 사용에는 영구 차단을 걸 수 있어요. 상업적 사용은 보통 명시적 승인이 필요해요.
2026년 3월의 Responsible Builder Policy는 한발 더 나가요. API로 Reddit 데이터에 접근하기 전에 승인이 필요하고, 승인되지 않은 상업화와 AI/데이터 마이닝 용도는 금지되며, 집행에는 토큰 취소, 앱·계정 정지, 연관된 봇이나 도메인 정지까지 포함될 수 있어요.
robots.txt 준수
Reddit의 현재 robots.txt는 꽤 빡빡해요.
User-agent: *
Disallow: /
즉, 모든 자동화 사용자 에이전트에 대한 전면 금지예요. 또한 Public Content Policy도 함께 참조해요. 옛날 스크래핑 관행에서 일부 개발자가 아직도 당연하게 여기는 느슨한 robots.txt와는 비교가 안 될 만큼 강한 제한이에요.
가이드: 도구가 자동으로 검사하지 않더라도, 스크래핑 전에 항상 robots.txt를 직접 확인하세요.
개인 데이터와 프라이버시(개인정보보호법/CCPA)
사용자 이름, 게시물 기록, 또는 개인 식별 정보(PII)를 긁는다면 한국의 개인정보보호법(PIPA), EU의 GDPR, 캘리포니아의 CCPA가 적용될 수 있어요. 좋은 습관은 저장 전에 개인 데이터를 익명화하거나 집계하는 거예요. 법적 근거 없이 특정 개인의 프로필을 만들지 마세요.
GitHub 저장소 라이선스: 만들기 전에 확인하세요
Reddit 스크래퍼 GitHub 저장소 상당수는 MIT나 Apache 같은 관대한 라이선스를 쓰지만, 아예 LICENSE 파일이 없는 곳도 있어요. 법적으로는 "모든 권리 보유"라는 뜻이에요. 포크하거나 수정하거나 그 위에 새로 짓기 전에, 항상 LICENSE 파일을 확인하세요. 스타가 아무리 많아도 라이선스가 없으면 법적으로 애매해요.
2025~2026년의 단속은 진짜예요
Reddit의 단속은 2023년에 멈추지 않았어요. Reddit은 2025년에 Anthropic을 상대로 Reddit 콘텐츠의 무단 스크래핑·사용을 주장하며 고소했고, 2025년 후반에는 Reddit v. SerpApi도 진행했어요. Reddit이 단순한 기술 차단을 넘어 법적 집행까지 밀어붙일 의지가 있다는 신호예요.
2026년에 맞는 Reddit 스크래퍼 GitHub 접근법 고르기
Reddit 스크래퍼 GitHub 생태계는 2023년 이후 크게 바뀌었어요. 대부분의 저장소는 구식이에요. 속도 제한과 1k 게시물 천장은 현실적인 제약이고요. 일반 사용자에게 Pushshift는 사라졌어요. 그리고 Reddit의 정책은 그 어느 때보다 명확하고 강하게 집행되고 있어요.
짧게 정리하면 이래요.
- PRAW는 여전히 가장 믿을 만한 오픈소스 토대예요. Reddit API 제한을 받아들이고 커스텀 로직을 짜고 싶다면요.
- Pushshift/PSAW는 더 이상 범용 해답이 아니에요.
- snscrape의 Reddit 모듈은 레거시이고 못 믿어요.
- .json과 공개 엔드포인트 스크래퍼는 취약하고 2026년엔 자주 막혀요.
- 브라우저 기반 도구는 Playwright 저장소든 Thunderbit 같은 노코드든, 많은 사용자 특히 비개발자에게 가장 실용적인 길이에요.
도구가 아니라 사용 사례부터 시작하세요. 어떤 GitHub 프로젝트든 커밋하기 전에 5분 저장소 건강 점검을 돌리세요.
설정은 건너뛰고 몇 분 안에 Reddit 스크래핑을 시작하고 싶다면, Thunderbit을 한번 써보세요.
Reddit 스크래핑용 Thunderbit 사용해 보기 Get Started Free
자주 묻는 질문
2026년 GitHub에서 가장 좋은 오픈소스 Reddit 스크래퍼는 무엇인가요?
PRAW는 활발한 유지보수와 좋은 문서 덕분에 여전히 가장 믿을 만한 API 래퍼예요. URS는 PRAW 위에 올린, 유지보수되는 신뢰할 만한 CLI 도구예요. Playwright 기반 스크래퍼는 비API 스크래핑에 유용하고, snscrape의 Reddit 모듈은 부분적으로는 돌아가지만 대체로 유지보수가 끊겼어요. 어떤 저장소를 쓰기 전에도 마지막 커밋 날짜와 열린 이슈를 꼭 확인하세요. GitHub의 2,300개도 넘는 Reddit 스크래퍼 저장소 대부분은 이미 구식이에요.
Reddit 스크래핑은 합법인가요?
공개 데이터 스크래핑은 법적 회색지대지만, Reddit 자체 약관은 빡빡해요. User Agreement, Data API Terms, Public Content Policy, Responsible Builder Policy, robots.txt 모두 무단 대량 스크래핑을 강하게 제한해요. 긁은 데이터를 상업적으로 재배포하려면 Reddit의 명시적 허가가 필요할 수 있어요. 개인 데이터를 긁는다면 개인정보보호법(PIPA), GDPR, CCPA도 적용될 수 있어요.
Reddit API 속도 제한을 어떻게 넘기나요?
지수 백오프를 쓰고, X-Ratelimit-Remaining 헤더를 모니터링하며, 시간 구간 분할을 고려해 제한 안에서 작업하세요. 브라우저 기반 스크래핑(Playwright나 Thunderbit)은 렌더링된 페이지를 긁어 API 속도 제한을 우회하지만, 페이지 로딩 속도나 봇 차단 같은 다른 변수가 있어요. 속도 제한을 완전히 없애는 마법은 없어요. 서버 쪽에서 강제되니까요.
API 키 없이 Reddit을 스크래핑할 수 있나요?
네. Playwright 기반 스크래퍼와 .json URL 트릭은 API 키가 필요 없어요. Thunderbit도 브라우저로 긁기 때문에 API 키가 필요 없어요. 다만 .json 엔드포인트는 점점 더 자주 막히고 있고(2026년 4월 기준 많은 환경에서 403 반환), 브라우저 기반 스크래핑은 API 호출보다 느리고 리소스도 더 써요.
Reddit 스크래핑에서 Pushshift는 어떻게 됐나요?
2023년부터 Reddit의 데이터 라이선싱이 바뀌면서 Pushshift의 공개 API 접근은 사라졌어요. PSAW 래퍼는 아카이브됐고 구식이에요. 제한된 학술 접근은 일부 승인 경로로 가능할 수 있지만, 오늘날 "reddit scraper github"를 찾는 대부분의 사용자에게 Pushshift는 더 이상 현실적인 선택지가 아니에요. 깊은 과거 데이터가 필요하면 Reddit이 승인한 학술 또는 라이선스 데이터 경로를 찾아보세요.
더 알아보기
