Google News는 전 세계 50,000개 이상의 소스에서 뉴스를 끌어와요. 인터넷에서 가장 풍부한 실시간 뉴스 창구 중 하나죠. 그런데 처음엔 잘 안 알려주는 사실이 있어요. Google은 2011년에 공식 News API를 닫았고, 아직 대체 API를 안 내놨어요.
그래서 브랜드 언급을 추적하는 PR 팀, 업계 신호를 보는 영업 담당자, 경쟁 정보 대시보드를 짜는 분석가는 막막해요. 필요한 건 헤드라인, 소스, 날짜, 기사 본문 같은 구조화된 뉴스 데이터인데, Google은 CAPTCHA, 속도 제한, 수시로 바뀌는 레이아웃으로 자동 스크래핑을 적극 막거든요. Thunderbit에서 데이터 추출 도구를 오래 만들고 테스트해 왔는데, "Google News 잠깐 긁으면 되지"라는 생각과 실제로 믿을 만한 구조화 데이터를 얻는 일 사이의 간극은 대부분의 예상보다 훨씬 커요.
이 글에서는 API, 노코드 도구, 무료 플랜 전반에서 찾아낸 Google News 스크래퍼 10가지를 소개해요. 가격 비교, 안티봇 대응, 그리고 도구를 실제로 고르는 데 도움이 되는 필드 수준 세부 정보까지 솔직하게 담았어요.
Google News 스크래핑에 Thunderbit 사용해 보기
Google News 스크래핑이 어려운 이유와 공식 API가 없는 이유
Google은 2011년에 News API를 폐기했어요. 이후 자신을 "Google News API"라 부르는 도구는 전부 제3자 래퍼예요. Google News 결과를 대신 긁거나 프록시하는 식이죠. 가장 가까운 공식 옵션은 Custom Search JSON API인데, 하루 100개 무료 쿼리에 1,000쿼리당 5달러를 받아요. 다만 맞춤 검색 엔진을 따로 만들어야 하고, Google News를 바로 대체하는 형태도 아니에요.
한편 Google의 안티 스크래핑 방어는 진짜 강해요.
- IP 기반 속도 제한: 너무 빨리 접근하면 429 오류나 CAPTCHA 챌린지가 떠요.
- 동의 화면과 중간 페이지: 위치에 따라 쿠키 동의 화면이 뜨고, 여기서 대부분의 파서가 깨져요.
- JavaScript 렌더링 콘텐츠: Google News 상당수가 동적으로 로드돼, 단순 HTTP 요청만으론 HTML이 불완전해요.
- 리다이렉트 URL: Google News 링크는 게시자 페이지로 가기 전에 Google 리다이렉트 계층을 거쳐요.
- 레이아웃 변화: Google은 뉴스 카드, 스토리 클러스터, 주제 섹션 구조를 자주 바꿔요.
2025년 3월엔 Google이 자동 생성 발행물 페이지로 완전 전환하면서 플랫폼이 더 동적으로 변했어요. GitHub와 Stack Overflow 글에는 동의 페이지 처리, 깨진 셀렉터, 바뀌는 URL 형식을 우회하는 개발자 경험담이 가득해요.
그런데도 왜 다들 이걸 긁을까요? Google에선 하루 수십억 건 검색이 일어나고, 그중 15%는 Google이 한 번도 본 적 없는 쿼리거든요. 브랜드 모니터링, 트렌드 분석, 리드 신호 탐지, 경쟁 정보 수집에서 Google News는 여전히 가장 넓고 쿼리 유연성이 뛰어난 뉴스 소스 중 하나예요.
RSS vs. API vs. 노코드 스크래핑: 어떤 방식이 맞을까?
Google News 스크래퍼가 다 같은 방식으로 도는 건 아니에요. 도구를 고르기 전에 세 가지 주요 접근법을 알면 선택이 훨씬 쉬워져요.
| 접근 방식 | 적합한 용도 | 한계 | 예시 도구 |
|---|---|---|---|
| Google News RSS 피드 | 간단한 헤드라인 모니터링, 무료, 소량 처리 | 본문 전체 없음, 최대 약 100개 결과, 필터링 제한적 | 내장 RSS 리더, n8n |
| SERP / News API | 확장 가능한 키워드 모니터링, 구조화된 메타데이터 | 지속적 비용 발생, 보통 헤드라인 + 스니펫만 제공 | SerpApi, Scrapingdog, Newsdata.io |
| 직접 스크래핑(노코드) | 전체 기사 본문, 사용자 정의 데이터 필드, 일회성 리서치 | 안티봇 대응 필요, API보다 확장성 낮음 | Thunderbit, Octoparse, Apify |
| 직접 스크래핑(코드) | 최대 제어권, 맞춤 파이프라인 | 유지보수 부담 큼, CAPTCHA 관리 필요, 자주 깨짐 | Scrapy, BeautifulSoup + Selenium |
경쟁 글 대부분은 API와 Python 라이브러리만 다뤄요. 그런데 제가 본 사용자 의도 데이터는 전혀 다른 얘기를 해요. "최고의 Google News 스크래퍼"를 찾는 사람 상당수는 개발자가 아니에요. PR 매니저, 운영 책임자, 영업팀처럼 클릭 몇 번으로 끝나는 도구가 필요한 사람들이죠. 그래서 이 목록엔 API 강자와 함께 브라우저 확장과 노코드 플랫폼도 넣었어요.
참고로 Google News RSS 피드는 여전히 무료고, 가벼운 헤드라인 모니터링엔 쓸 만해요. 주제나 키워드 피드를 구독하면 제목, 링크, 발행일이 든 약 100개 결과를 받아요. 하지만 전체 본문, 작성자, 감성 분석, 100개 넘는 결과가 필요하면 아래 도구 중 하나가 필요해요.
최고의 Google News 스크래퍼를 평가한 기준
목록의 모든 도구에 같은 기준을 적용했어요.
- 사용 편의성: 노코드인지, 코드가 필요한지, API 전용인지
- 안티봇 / CAPTCHA 대응: Google에선 특히 중요
- 추출 가능한 데이터 필드: 헤드라인, 소스, 날짜, 스니펫, URL, 전체 본문, 작성자, 이미지, 감성
- 무료 플랜 제공 여부와 제한
- 1,000 요청당 표준화 비용: 업체마다 월·크레딧·요청 단위로 다르게 표기하므로, 가장 낮은 유료 플랜 기준 1,000건 성공 결과당 비용으로 통일
- 내보내기 형식: JSON, CSV, Google Sheets, Airtable, Notion 등
- 확장성: 일일 처리량 제한, 속도 제한, 동시성
- 가장 적합한 사용 사례
가격 표준화는 생각보다 훨씬 중요해요. 어떤 도구는 "검색" 단위로 과금하고(한 번에 10개 결과), 어떤 도구는 "크레딧" 단위(1 크레딧 = 1행), 또 어떤 도구는 "요청" 단위(JS 렌더링은 추가)로 과금해요. 표준화하지 않으면 사과와 오랑우탄을 비교하는 셈이에요.
한눈에 보는 Google News 스크래퍼 10선
아래는 전체 비교표예요. 도구별 상세는 뒤에서 더 풀게요. 먼저 전체 그림을 빠르게 잡는 데 도움이 될 거예요.
| 도구 | 유형 | 무료 플랜 | 약 1K 결과당 비용 | 안티봇 대응 | 전체 기사 추출 | 내보내기 형식 | 가장 적합한 대상 |
|---|---|---|---|---|---|---|---|
| Thunderbit | Chrome 확장 프로그램 / AI 노코드 | 무료 플랜(6페이지) | 약 $6–$30/1K 행(플랜에 따라 다름) | 브라우저 모드(내 세션) + 클라우드 모드 | 예(서브페이지 스크래핑) | Excel, CSV, Sheets, Airtable, Notion, JSON | 비기술 사용자, 비즈니스 팀 |
| SerpApi | SERP API | 월 250회 검색 | 약 $5–$15/1K 결과 | SERP 전용 탐지 회피 | 아니요(헤드라인 + 스니펫) | JSON | 개발자, 구조화된 API 파이프라인 |
| ScraperAPI | 범용 스크래핑 API | 월 1,000 크레딧 + 5K 체험 | 약 $0.10–$0.49/1K 요청 | 프록시 순환, JS 렌더링 | 전용 파서는 없음 | JSON, HTML | 예산형 개발자, 범용 스크래핑 |
| Apify | 클라우드 스크래핑 플랫폼 | 7일 체험 | 액터/컴퓨팅에 따라 다름 | JS 렌더링, 헤드리스 브라우저 | 액터에 따라 다름 | JSON, CSV, Excel, API | 기술 팀, 사전 구축 워크플로 |
| Bright Data | 엔터프라이즈 스크래퍼/데이터셋 | 1K 체험 요청 | 약 $1.30–$2.50/1K 레코드 | 프록시, CAPTCHA 해결, 브라우저 렌더링 | 예(News Scraper 제품) | JSON, CSV | 엔터프라이즈 파이프라인 |
| Octoparse | 시각적 노코드 플랫폼 | 무료 플랜(제한적) | 약 $9–$25/1K 행(평균화) | 클라우드 실행, 차단 방지 | 예(템플릿에 본문 포함) | CSV, Excel, JSON, 데이터베이스 | 시각적 워크플로 빌더 |
| ScrapingBee | 스크래핑 API | 체험 크레딧 | 가변(크레딧 기반, JS는 더 비쌈) | 헤드리스 Chrome, 프록시 순환, CAPTCHA | 전용 파서는 없음 | JSON, HTML | JS 렌더링이 필요한 개발자 |
| Oxylabs | SERP / 스크래퍼 API | 최대 2,000 결과 체험 | 약 $1.00–$2.35/1K 결과 | 1억+ 프록시, CAPTCHA 해결 | 아니요(SERP 데이터) | JSON | 대규모, 지역 타깃 스크래핑 |
| Scrapingdog | 가성비 SERP API | 1,000 무료 크레딧 | 약 $0.10/1K 요청 | SERP 전용 탐지 회피 | 아니요(헤드라인 + 스니펫) | JSON | 예산을 중시하는 개발자 |
| Newsdata.io | 뉴스 전용 API | 하루 200회 요청 | 플랜에 따라 다름 | 해당 없음(Google을 직접 스크래핑하지 않음) | 예(프리미엄 플랜) | JSON | 뉴스 전용 NLP 기능 |
몇 가지가 눈에 띄어요. 요청당 최저 비용은 Scrapingdog와 ScraperAPI예요. 가장 쉬운 노코드 설정은 Thunderbit와 Octoparse고요. 엔터프라이즈급 신뢰성과 지역 타깃팅은 Bright Data와 Oxylabs가 강해요.
이제 세부로 들어가요.
1. Thunderbit — 비즈니스 사용자를 위한 최고의 노코드 Google News 스크래퍼
Thunderbit은 우리 회사가 만든 도구예요. 이 점은 먼저 분명히 할게요. 하지만 과장보다 솔직함이 낫다고 보기에, 무엇을 할 수 있고 무엇을 못 하는지 구체적으로 짚을게요.
Thunderbit은 코드 없이 웹사이트에서 구조화 데이터를 뽑아야 하는 사람을 위한 AI 기반 Chrome 확장이에요. Google News에서 흐름은 이래요.
- Chrome에서 Google News 검색 결과를 열어요.
- **"AI 필드 추천"**을 누르면 AI가 페이지를 읽고 헤드라인, 소스, 날짜, 스니펫, URL 같은 열을 자동으로 찾아 줘요.
- **"스크래핑"**을 눌러 구조화 데이터를 표로 뽑아요.
여기까진 목록 페이지 기준이에요. 뉴스 활용에서 진짜 강한 부분은 그다음이에요. Google News 결과를 긁은 뒤 **"서브페이지 스크래핑"**을 누르면 각 기사 URL로 들어가 본문 전체, 작성자, 이미지를 뽑아요. 포럼에서 자주 나오는 "링크는 있는데 실제 콘텐츠를 다시 크롤링해 추출해야 하는" 문제를 바로 풀죠.
필드 AI 프롬프트를 쓰면 열마다 맞춤 AI 지시를 더할 수 있어요. 예를 들어 "이 기사가 [브랜드]에 대해 긍정·부정·중립 중 무엇인지 분류해 주세요"라는 프롬프트로 "감성" 열을 만들죠. 추출과 보강을 한 번에 하는 셈이에요. 순수 API 도구엔 없는 기능이고요.
Thunderbit은 두 모드를 다 지원해요. 브라우저 스크래핑(내 Chrome 세션에서 돌아 쿠키와 로그인 상태를 그대로 써 봇 탐지 트리거를 많이 피함)과 클라우드 스크래핑(내장 안티봇 인프라로 한 번에 최대 50페이지 처리)이에요. 반복 뉴스 모니터링엔 예약 스크래핑도 걸 수 있어요.
주요 기능
- AI 필드 추천으로 헤드라인, 소스, 날짜, URL 열 자동 감지
- 전체 기사 본문, 작성자, 이미지 추출을 위한 서브페이지 스크래핑
- 감성 분석, 번역, 맞춤 라벨링을 위한 필드 AI 프롬프트
- 클라우드 및 브라우저 스크래핑 모드
- 일간/주간 모니터링용 예약 스크래핑
- Google Sheets, Airtable, Notion, Excel, CSV, JSON으로 무료 내보내기
가격
- 무료 플랜: 6페이지
- 무료 체험: 10페이지
- 유료 플랜은 약 $9/월부터(크레딧 기반, 1 크레딧 = 출력 1행)
- 표준화 비용(1K 행당): 플랜에 따라 약 $6–$30
적합한 대상
영업팀, PR 담당자, 운영 관리자, 그리고 코드 한 줄 없이 구조화 Google News 데이터가 필요한 모두에게 맞아요. 특히 전체 본문이나 감성 같은 AI 보강 필드가 필요할 때 강해요.
2. SerpApi — 개발자를 위한 최고의 구조화된 Google News API
SerpApi는 깔끔한 구조화 JSON을 돌려주는 전용 Google News API 엔드포인트를 원할 때 가장 먼저 떠오르는 선택이에요. 엔드포인트는 두 개예요. 하나는 news.google.com(Google News 페이지)용, 다른 하나는 일반 Google 검색의 tbm=nws 뉴스 탭용이에요.
필드 문서가 유난히 상세해서 title, source, authors, link, thumbnail, topic_token, story_token, related_topics, related_publications를 받아요. 특히 story-token과 topic-token 지원은 묶인 기사를 중복 제거하는 데 정말 유용해요. 대부분 도구가 놓치는 고질병을 잘 잡죠.
써 본 바로 SerpApi는 응답이 빠르고(보통 2초 이내) 가동 안정성도 좋아요. 다만 API 전용이라 데이터를 쓰려면 코드나 노코드 연동이 필요해요. 전체 본문은 없고 헤드라인, 스니펫, 메타데이터 정도만 줘요.
주요 기능
- 구조화된 JSON을 반환하는 전용 Google News 검색 엔드포인트
- 지역 및 언어 타깃팅
tbs파라미터를 활용한 과거 뉴스 조회- 스토리 및 주제 토큰 지원으로 클러스터링 가능
가격
- 무료: 월 250회 검색
- Developer: $75/월, 5,000회 검색
- Production: $150/월, 15,000회 검색
- 표준화 비용(1K 결과당): 약 $5–$15(검색 1회당 약 10개 결과 기준)
적합한 대상
신뢰할 수 있는 구조화 SERP 데이터와 강한 필드 커버리지로 자동화 뉴스 모니터링 파이프라인을 짜는 개발자에게 맞아요.
3. ScraperAPI — Google News용 최고의 예산형 범용 API
ScraperAPI는 범용 스크래핑 API예요. Google News 전용 도구는 아니고요. 하지만 파서를 직접 짤 수 있다면, Google News 페이지를 대규모로 가져오는 가장 저렴한 방법 중 하나라서 넣었어요.
ScraperAPI는 단순한 REST API 뒤에서 프록시 순환, JS 렌더링, CAPTCHA 해결을 처리해요. URL만 보내면 렌더링된 HTML을 돌려주죠. 다만 전용 Google News 파서가 없어 필드는 직접 뽑아야 해요(또는 파싱 라이브러리와 함께요).
일부 사용자는 응답이 다소 느리다고 해요(벤치마크 7~23초). 크레딧 시스템이라 요청 유형마다 소모량도 달라요. 그래도 Google News HTML 파싱법을 이미 아는 개발자라면 가격 경쟁력은 정말 좋아요.
주요 기능
- 자동 프록시 순환 및 지역 타깃팅
- JavaScript 렌더링
- 크레딧 기반 모델(기본 플랜 100K 크레딧)
- 월 1,000 무료 크레딧 + 5,000 체험 크레딧
가격
- 무료: 월 1,000 크레딧
- Hobby: $49/월(100,000 크레딧)
- Startup: $149/월(1,000,000 크레딧)
- 표준화 비용(1K 요청당): 플랜에 따라 약 $0.10–$0.49
적합한 대상
저렴한 프록시/렌더링 레이어가 필요하고, Google News 파서를 직접 짤 수 있는 예산 중심 개발자에게 맞아요.
4. Apify — 사전 제작된 Google News 액터가 있는 최고의 클라우드 플랫폼
Apify는 "액터(Actors)"라는 사전 제작 스크래퍼 마켓플레이스를 갖춘 클라우드 스크래핑 플랫폼이에요. 코딩 없이 돌리는 Google News Scraper 액터도 여럿 있고, 클라우드 실행·예약·저장은 플랫폼이 맡아요.
장점은 사전 제작 액터로 빠르게 시작한다는 거예요. 반대로 커뮤니티 액터는 품질과 유지보수 수준이 제각각이에요. Google이 레이아웃을 바꾸면 일부가 깨지고, 수정은 액터 작성자에게 달려 있죠. Apify 인프라 자체는 안정적이지만, Google News 전용 경험은 어떤 액터를 고르느냐로 갈려요.
주요 기능
- Apify Store의 Google News 전용 액터
- 클라우드 기반 예약 실행
- API 및 웹훅 통합
- JSON, CSV, Excel, API로 내보내기
가격
- 7일 무료 체험
- 유료 플랜은 $49/월부터
- 표준화 비용(1K 요청당): 액터와 컴퓨팅 사용량에 따라 다름
적합한 대상
처음부터 직접 안 만들고도 사전 구축 워크플로를 원하면서, 클라우드 예약과 API 통합이 필요한 기술 팀에 맞아요.
5. Bright Data — 엔터프라이즈급 최고의 Google News 스크래퍼
Bright Data는 엔터프라이즈 대표 주자예요. News Scraper 제품은 Google News를 명시적으로 지원하고, 자동 프록시 관리, 전체 브라우저 렌더링, CAPTCHA 해결, 최대 5,000개 URL 배치 처리를 포함해요. 필드는 ID, URL, 헤드라인, 작성자, 주제 등으로 구성돼요.
사전 수집 Google News 데이터셋도 팔아요. 100K 레코드당 $2.50부터예요. 실시간 스크래핑이 필요 없는 팀에 유용한 옵션이죠.
72M+ 주거용 프록시 네트워크가 안티봇 대응에서 차이를 내요. 여러 국가에서 대규모로 Google News를 긁어야 한다면 Bright Data가 복잡성을 상당히 흡수해 줘요.
주요 기능
- Google News를 지원하는 News Scraper
- 지역 타깃팅이 가능한 72M+ 주거용 프록시
- 내장 CAPTCHA 해결
- Web Scraper IDE(시각적, 세미 노코드)
- 종량제와 구독형 옵션
가격
- 무료 체험: 1,000 요청
- 종량제: 약 $2.50/1K 레코드
- Scale: $499/월(384K 레코드 포함, 추가분 약 $1.30/1K)
적합한 대상
전 세계 지역 커버리지와 규정 준수 인프라를 갖춘, 대용량·고신뢰 Google News 데이터가 필요한 대기업과 엔터프라이즈에 맞아요.
6. Octoparse — Google News용 최고의 데스크톱 노코드 스크래퍼
Octoparse는 일반 Google News Scraper 템플릿과 Cloud 템플릿을 둘 다 줘요. 필드 목록도 꽤 투명하게 공개돼 있어요. keyword, source, title, publish date, URL, body text, author, abstract, images, error message를 포함하죠.
클라우드 템플릿은 Run Mode에서 1,000줄당 $0.1 요금을 명시해요. 노코드 도구치곤 드문 가격 투명성이죠. 다만 실제 비용은 클라우드 예약과 차단 방지가 포함된 구독 플랜에 달려 있어요.
Octoparse의 시각적 워크플로 빌더는 코드 없이도 추출 단계를 또렷이 제어하고 싶은 사용자에게 맞아요. Thunderbit의 AI 중심 방식보다 학습 곡선은 가파르지만, 세부 조작성을 선호하는 사람도 있죠.
주요 기능
- 상세 필드 추출이 가능한 사전 제작 Google News 템플릿
- 시각적 클릭형 워크플로 빌더
- 클라우드 및 로컬 실행
- 예약 및 반복 스크래핑
- CSV, Excel, JSON, 데이터베이스로 내보내기
가격
- 제한된 기능의 무료 플랜
- 유료 플랜은 $69/월부터
- 표준화 비용: 약 $9–$25/1K 행(플랜 비용을 평균화)
적합한 대상
추출 단계를 하나씩 명시적으로 제어하는 시각적 데스크톱 도구를 선호하고, 반복적인 Google News 스크래핑이 필요한 비기술 사용자에게 맞아요.
7. ScrapingBee — JavaScript가 많은 Google News 페이지 처리에 가장 좋은 API
ScrapingBee는 헤드리스 브라우저 렌더링, 프록시 순환, 안티봇 우회에 특화돼 있어요. Google News 페이지가 결과를 렌더링하려면 전체 JavaScript 실행이 필요한 경우가 느는데, 그런 상황에 강해요.
API는 단순해요. URL을 보내면 렌더링된 HTML이나 스크린샷을 돌려줘요. 프록시 순환과 CAPTCHA 해결은 뒤에서 처리하고요. 다만 ScraperAPI처럼 전용 Google News 파서가 없어 필드는 직접 뽑아야 해요.
크레딧 시스템 때문에 JS 렌더링 요청은 일반 HTTP 요청보다 비싸요. Google News 비용을 계산할 때 꼭 따져야 해요.
주요 기능
- JS가 많은 페이지를 위한 헤드리스 Chrome 렌더링
- 자동 프록시 순환 및 CAPTCHA 우회
- Google 검색 / News 스크래핑 지원
- JSON/HTML 응답을 주는 단순 REST API
가격
- 플랜은 $49/월부터
- 크레딧 기반(JavaScript 렌더링은 요청당 비용이 더 높음)
- 표준화 비용(1K 요청당): 렌더링 필요 수준에 따라 다름
적합한 대상
단순한 API로 Google News 페이지에 안정적인 JS 렌더링과 안티봇 대응이 필요한 개발자에게 맞아요.
8. Oxylabs — 지역 타깃 결과에 가장 좋은 Google News 스크래퍼
Oxylabs는 SERP 스택 안에 전용 Google News Scraper API를 두고, 195개국에 걸친 1억+ 프록시 풀을 기반으로 해요. 한마디로 엔터프라이즈급 신뢰성과 지역별 결과를 주겠다는 거죠.
Oxylabs는 구조화 JSON 출력, 실시간·배치 스크래핑 모드, XPath와 CSS 셀렉터를 쓴 맞춤 파싱 로직을 지원해요. Google 전용 가격도 명확해요. Micro 플랜은 약 $2.00/1K 결과이고, 상위 플랜에선 약 $0.90/1K까지 내려가요.
무료 체험으로 최대 2,000개 결과를 받아, 데이터 품질이 내 필요에 맞는지 테스트하기 충분해요.
주요 기능
- Google News를 지원하는 SERP Scraper API
- 195개국에 걸친 1억+ 프록시
- 구조화된 JSON 제공
- 실시간 및 배치 스크래핑 모드
가격
- 무료 체험: 최대 2,000개 결과
- Micro: 약 $2.00/1K Google 결과(HTML 렌더링 포함 시 약 $2.35/1K)
- 상위 플랜: 약 $0.90/1K
- 맞춤형 엔터프라이즈 플랜 제공
적합한 대상
대규모로 지역 타깃 Google News 결과가 필요하고 신뢰성이 중요한 엔터프라이즈와 미드마켓 팀에 맞아요.
9. Scrapingdog — 예산 친화적인 최고의 Google News API
Scrapingdog은 전용 Google News API 엔드포인트를 갖춘, SerpApi의 비용 효율 대안으로 자신을 포지셔닝해요. 구조화 JSON 응답엔 title, source, date, snippet, link가 들어가요.
가격이 정말 공격적이에요. 일부 플랜은 40달러에 40만 요청을 줘서, 계산하면 1,000 요청당 약 10센트예요. 응답 시간은 보통 2초 정도이고, 테스트용 무료 크레딧 1,000개를 받아요.
반면 Scrapingdog은 대형 업체보다 회사 규모가 작아 문서와 통합 기능이 적어요. 하지만 스타트업이나 예산을 중시하는 빌더에겐 경제성이 매우 매력적이에요.
주요 기능
- 전용 Google News Scraper API 엔드포인트
- 구조화된 JSON 응답(title, source, date, snippet, link)
tbs파라미터를 통한 과거 뉴스 데이터- 테스트용 1,000 무료 크레딧
가격
- 무료: 1,000 크레딧
- 유료 플랜은 $40/월부터
- 표준화 비용(1K 요청당): 약 $0.10
적합한 대상
가장 낮은 요청당 비용으로 대용량 Google News 데이터가 필요한 예산 중심 개발자와 스타트업에 맞아요.
10. Newsdata.io — 전용 뉴스 API로는 최고의 선택(Google News 그 이상)
Newsdata.io는 전 세계 50,000개 이상 소스를 모으는 목적형 뉴스 데이터 API예요. 엄밀히 Google News 스크래퍼는 아니에요. Google News를 직접 안 긁거든요. 대신 같은(그리고 추가) 게시자 소스에서 독립적으로 모아, 실시간·과거 뉴스 검색이 되는 구조화 JSON을 돌려줘요.
프리미엄 플랜엔 전체 본문 추출, 감성 분석, 카테고리 필터링이 들어가요. 대부분의 SERP 스크래핑 도구엔 기본으로 없는 기능이죠. 무료 플랜은 하루 200회 요청이라 테스트하기 꽤 넉넉해요.
목표가 "Google News를 긁기"보다 "주제에 대한 뉴스 데이터를 얻기"라면, 이 목록의 어떤 SERP 도구보다 Newsdata.io가 더 잘 맞을 수 있어요.
주요 기능
- 실시간 및 과거 뉴스 검색 API
- 전체 기사 본문 추출(프리미엄)
- 감성 분석(프리미엄)
- 카테고리, 언어, 국가 필터링
- 하루 200회 요청 무료 플랜
가격
- 무료: 하루 200회 요청
- 유료 플랜은 $99.99/월부터
- 표준화 비용(1K 요청당): 플랜에 따라 다름
적합한 대상
감성, 분류 같은 내장 NLP 기능을 갖춘 전용 뉴스 데이터 소스가 필요하고, Google News 자체를 꼭 긁을 필요는 없는 팀에 맞아요.
Google News 스크래퍼 비교: 안티봇 대응, 데이터 필드, 가격
Google News 스크래퍼를 고를 때 가장 중요한 비교 기준은 세 가지예요. 이 셋을 체계적으로 다 다룬 가이드는 아직 못 봤어요.
각 도구의 Google 안티봇 방어 대응 방식
안티봇 대응은 Google News를 긁는 사람에게 가장 큰 관심사죠. 각 도구가 어떻게 처리하는지 보세요.
| 전략 | 사용하는 도구 |
|---|---|
| 내장 프록시 순환 | Bright Data, ScrapingBee, Oxylabs, ScraperAPI |
| CAPTCHA 해결 포함 | Bright Data, ScrapingBee, Oxylabs |
| JS 렌더링 / 헤드리스 브라우저 | Apify, Octoparse, ScrapingBee |
| 브라우저 기반(내 세션 사용) | Thunderbit(브라우저 스크래핑 모드) |
| SERP 전용 탐지 회피 | SerpApi, Scrapingdog |
Thunderbit의 브라우저 스크래핑 모드는 좀 더 풀 가치가 있어요. 실제 Chrome 세션 안에서 돌아 쿠키와 로그인 상태를 그대로 가져와요. 그래서 헤드리스 스크래퍼가 자주 부딪히는 봇 탐지 요소—동의 화면, CAPTCHA, 지문 체크—를 많이 피해요. 대용량이 필요할 땐 Thunderbit 클라우드 스크래핑이 자체 안티봇 인프라로 한 번에 50페이지를 처리하고요.
각 Google News 스크래퍼는 어떤 데이터 필드를 반환할까?
다른 데선 보기 힘든 비교고, 도구를 고를 때 가장 중요한 기준이에요. 어떤 도구는 헤드라인과 링크만 줘요. 반면 어떤 도구는 전체 본문, 작성자, 심지어 감성까지 뽑아요.
| 도구 | 헤드라인 | 소스 | 날짜 | 스니펫 | 기사 URL | 전체 본문 | 작성자 | 이미지 | 감성 |
|---|---|---|---|---|---|---|---|---|---|
| Thunderbit | ✅ | ✅ | ✅ | ✅ | ✅ | ✅(서브페이지 통해) | ✅(AI 통해) | ✅ | ✅(필드 AI 프롬프트 통해) |
| SerpApi | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ❌ |
| ScraperAPI | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ❌ | ❌ | ❌ | ❌ |
| Apify | ✅ | ✅ | ✅ | ✅ | ✅ | 액터에 따라 다름 | 액터에 따라 다름 | ✅ | ❌ |
| Bright Data | ✅ | ✅ | ✅ | ✅ | ✅ | ✅(News Scraper) | ✅ | ✅ | ❌ |
| Octoparse | ✅ | ✅ | ✅ | ✅ | ✅ | ✅(템플릿) | ✅ | ✅ | ❌ |
| ScrapingBee | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ✅(직접 파싱) | ❌ | ❌ | ❌ | ❌ |
| Oxylabs | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ❌ |
| Scrapingdog | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| Newsdata.io | ✅ | ✅ | ✅ | ✅ | ✅ | ✅(프리미엄) | ✅ | ✅ | ✅(프리미엄) |
가장 돋보이는 점은 Thunderbit이 서브페이지 스크래핑으로 전체 본문을 뽑으면서 동시에 감성 같은 AI 보강 필드도 같은 흐름에서 더한다는 거예요. Newsdata.io도 감성과 전체 본문을 주지만, Google News 스크래핑이 아니라 전용 뉴스 API로 줘요. 대부분의 SERP API는 Google News 목록 페이지에 보이는 것—헤드라인, 스니펫, 링크—만 돌려주고요.
1,000 결과당 표준화 비용
도구를 평가할 때 제가 꼭 갖고 싶던 표예요. 업체마다 가격을 다르게 표기해서, 가장 낮은 유료 플랜 기준 1,000건 성공 결과당 비용으로 맞췄어요.
| 도구 | 무료 플랜 | 최저 유료 플랜 | 약 1K 결과당 비용 | 비고 |
|---|---|---|---|---|
| Thunderbit | 6페이지 무료 / 체험: 10페이지 | 약 $9/월부터(크레딧 기반) | 약 $6–$30 | 1 크레딧 = 1행, AI 추출 포함 |
| SerpApi | 월 250회 검색 | $75/월(5,000회 검색) | 약 $15 | 구조화된 JSON, Google News 엔드포인트 |
| ScraperAPI | 월 1,000 크레딧 | $49/월(100K 크레딧) | 약 $0.49 | 전용 Google News 파서는 없음 |
| Apify | 7일 체험 | $49/월 | 가변 | 액터와 컴퓨팅에 따라 다름 |
| Bright Data | 1K 체험 요청 | 종량제 | 약 $1.30–$2.50 | 엔터프라이즈급, 데이터셋 옵션 제공 |
| Octoparse | 제한된 무료 플랜 | $69/월 | 약 $9–$25 | 클라우드 템플릿: 기본 $0.1/1K줄 |
| ScrapingBee | 체험 크레딧 | $49/월 | 가변(JS 비용 더 높음) | 크레딧 기반, 전용 파서 없음 |
| Oxylabs | 최대 2,000 결과 | Micro 플랜 | 약 $1.00–$2.35 | 지역 타깃팅, 구조화된 JSON |
| Scrapingdog | 1,000 크레딧 | $40/월 | 약 $0.10 | 저가형 선택지, 전용 News 엔드포인트 |
| Newsdata.io | 하루 200회 요청 | $99.99/월 | 플랜에 따라 다름 | Google을 직접 스크래핑하지 않음, NLP 기능 |
핵심 포인트 몇 가지예요. Scrapingdog는 단연 요청당 최저 비용이지만 SERP 수준 데이터만 줘요(전체 본문 없음). Bright Data와 Oxylabs는 가격은 중간대지만 안티봇 인프라가 가장 강해요. Thunderbit은 가장 싼 API보다 행당 비용은 높지만, 코딩 없이 전체 기사 추출과 AI 보강을 동시에 주는 유일한 도구예요.
어떤 Google News 스크래퍼를 고르면 좋을까?
상황별 추천이에요.
- 헤드라인만 저비용으로 모니터링하면 됨? → Scrapingdog 또는 Newsdata.io 무료 플랜
- 비기술 사용자이고 전체 본문 + 보강이 필요함? → Thunderbit
- 구조화 뉴스 파이프라인을 짜는 개발자? → SerpApi(필드 커버리지 최고) 또는 Scrapingdog(가격 최고)
- 엔터프라이즈, 대용량, 지역 타깃팅 필요? → Bright Data 또는 Oxylabs
- 시각적 데스크톱 워크플로를 원함? → Octoparse
- Google News를 넘어 NLP 기능이 있는 뉴스 데이터가 필요함? → Newsdata.io
- 가장 저렴한 범용 프록시/렌더링 레이어가 필요함? → ScraperAPI
올바른 도구는 세 가지로 갈려요. 기술 수준, 필요한 처리량, 그리고 헤드라인만 필요한지 전체 본문까지 필요한지요. 잘 모르겠으면 무료 플랜부터 써 보세요. 대부분 무료 플랜이 있어서 내 사용 사례에서 데이터 품질이 얼마나 잘 나오는지 확인할 수 있어요.
가장 빠른 노코드 경로를 시험해 보고 싶다면, Thunderbit의 무료 플랜으로 Google News 결과를 몇 번 클릭에 긁고 Google Sheets나 Airtable로 바로 내보내 보세요. 쓰는 법은 YouTube 채널이나 뉴스 스크래퍼 템플릿을 참고하세요.
그리고 늘 헤드라인은 구조화돼 있고, CAPTCHA는 적고, 내보내기는 깔끔하길 바랄게요.
Google News 스크래핑에 Thunderbit 사용해 보기 Get Started Free
자주 묻는 질문
Google에는 공식 News API가 있나요?
아니요. Google은 2011년에 News API를 폐기했고, 아직 대체하지 않았어요. 가장 가까운 공식 옵션은 Custom Search JSON API인데, 하루 100개 무료 쿼리와 1,000쿼리당 5달러를 주지만 맞춤 검색 엔진 설정이 필요하고 Google News 전용 제품도 아니에요. 지금 자신을 "Google News API"라 부르는 도구는 전부 제3자 서비스예요.
스크래퍼 대신 Google News RSS 피드를 써도 되나요?
네, 간단한 용도라면 돼요. Google News RSS 피드는 헤드라인과 링크를 무료로 주지만, 결과는 약 100개로 제한되고 전체 본문이 없으며 필터링 옵션도 매우 제한적이에요. 전체 기사 내용, 작성자, 감성 분석, 100개 넘는 결과가 필요하면 이 목록의 전용 스크래퍼나 API가 필요해요.
Google News 결과에서 전체 기사 본문은 어떻게 가져오나요?
Google News 목록엔 헤드라인과 스니펫만 보여요. 전체 내용을 얻으려면 기사 링크를 따라가 페이지 콘텐츠를 뽑는 도구가 필요해요. Thunderbit의 서브페이지 스크래핑은 Google News 목록을 긁은 뒤 이를 자동으로 해 줘요. Newsdata.io 같은 API 도구는 프리미엄 플랜에서 전체 본문을 주고요. 대부분의 SERP API(SerpApi, Scrapingdog, Oxylabs)는 목록 페이지에 보이는 것만 돌려줘요.
Google News를 스크래핑하는 건 합법인가요?
공개적으로 보이는 데이터를 긁는 행위는 일반적으로 미국 법상 무단 접근으로 보지 않지만(hiQ v. LinkedIn 판례 참고), 그렇다고 정책상 안전하다는 뜻은 아니에요. Google 이용약관은 자동 조회를 권장하지 않고, Google은 봇 같은 트래픽을 감지하면 CAPTCHA와 차단을 적극 걸어요. 공개 데이터 범위 안에서 작업하고, 기사 본문의 저작권을 존중하며, 상업 규모 사용이라면 법률 자문을 받는 게 좋아요.
Google News 스크래퍼를 가장 자주 깨뜨리는 원인은 무엇인가요?
보통은 자동 쿼리 감지(CAPTCHA와 429 오류), 지역·언어에 따른 결과 차이, 동의 화면과 중간 페이지, 뉴스 카드 레이아웃의 마크업 변경, 리다이렉트 URL 정규화가 원인이에요. 가장 안정적인 데이터 계층은 기사 메타데이터(제목, 소스, 날짜, URL)예요. 가장 불안정한 부분은 표현 레이어고요. 스토리 클러스터링, 썸네일, 섹션 구성은 자주 바뀌거든요.
더 알아보기
