구글 검색 결과 페이지(SERP) 스크래핑 방법 - 3가지 방법

데이터는 소중한 자산이며 시스템보다 오래 지속됩니다.

• , 월드 와이드 웹의 발명가이자 컴퓨터 과학자

매일 구글은 건의 검색을 처리합니다. 이는 단순한 질문에 대한 답변이 아니라 시장 동향, 경쟁자 활동, 소비자 데이터의 보고입니다. 영업사원, 전문가, 마케터라면 이 데이터를 통해 귀중한 인사이트를 얻고 이를 실행 가능한 비즈니스 전략으로 전환할 수 있습니다.

아직도 데이터를 수집하기 위해 오래된 복사-붙여넣기 방법을 사용하고 계신가요? 이제 그 방법과 작별할 때입니다.

이 글에서는 구글 SERP가 무엇인지, 그 안에 담긴 귀중한 데이터, 그리고 구글 SERP 스크래퍼를 사용하는 세 가지 방법을 소개합니다. 특히 가장 사용하기 쉬운 노코드 AI 웹 스크래퍼 를 포함하여 설명합니다.

구글 검색 결과 페이지(SERP)란?

(검색 엔진 결과 페이지)는 구글, , 와 같은 검색 엔진에 검색어를 입력한 후 보게 되는 페이지입니다. 이는 모든 트래픽의 관문이며, 링크나 페이지를 클릭하기 전의 첫 번째 정거장입니다.

SERP의 주요 특징은 실시간 데이터에 의해 구동된다는 것입니다. 알고리즘 업데이트, 새로운 SERP 기능, 키워드 트렌드, 웹사이트 콘텐츠의 변화 등이 검색 결과에 영향을 미칠 수 있습니다. 또한, 검색 엔진은 검색 기록과 위치에 따라 결과를 개인화하므로, 같은 시간에 다른 사람들이 다른 SERP를 볼 수 있습니다. 이는 비기술적인 사람들이 이러한 비구조화된 웹 페이지에서 데이터를 효율적으로 추출하는 데 어려움을 줍니다.

구글이 전 세계 검색 엔진 시장의 이상을 차지하고 있는 만큼, 구글 SERP 결과의 구조를 이해하고 이를 활용하는 것은 비즈니스 성공에 필수적입니다.

구글 SERP에는 어떤 데이터가 포함되어 있나요?

구글 SERP의 구조

검색 쿼리의 성격에 따라 구글 SERP의 구조는 다양할 수 있습니다. 일반적으로 세 가지 주요 부분으로 구성됩니다:

• 유료 결과: "광고" 또는 "스폰서"로 표시된 검색 결과입니다. 웹사이트는 구글에 비용을 지불하여 유기적 결과 위나 아래에 표시됩니다. 사용자의 쿼리에 따라 모든 SERP에 스폰서 광고가 나타나는 것은 아닙니다. 2023년 구글의 광고 수익은 에 따르면 2,645억 9천만 달러에 달했습니다.

• 유기적 결과: 관련성과 페이지 순위에 따라 표시되는 비유료 검색 결과입니다. 각 결과에는 제목, 메타 설명, URL이 포함됩니다.

• SERP 기능: 구글이 사용자 경험을 향상시키기 위해 통합한 기능으로, 지속적으로 발전하고 있습니다. 여기에는 추천 스니펫, AI 개요, 사람들이 함께 묻는 질문(PAA) 상자, 지식 패널, 로컬 팩(지리적으로 초점을 맞춘 검색), 비디오, 이미지, 쇼핑 결과 등이 포함됩니다.

데이터 유형

SERP의 구조를 이해하면 추출할 수 있는 정보의 유형을 알 수 있습니다. 여기에는 다음이 포함되지만 이에 국한되지 않습니다:

• 광고
• 제목
• URL
• 메타 설명
• PAA 상자
• 쇼핑 정보: 가격, 이미지
• 이메일
• 전화번호

SERP 데이터를 활용할 수 있는 방법

영업

정확한 검색 쿼리를 사용하여 영업 팀은 다른 사람들이 놓칠 수 있는 판매 기회를 효율적으로 생성할 수 있습니다. 구글은 소셜 플랫폼에서 잠재 고객 정보를 추출하는 데 도움을 줄 수 있으며, 여기에는 이메일과 전화번호가 포함됩니다. 아래에서 인스타그램에서 영업 리드를 추출하는 방법에 대한 자세한 가이드를 제공합니다.

시장 조사

SERP 결과는 마케터가 더 효율적으로 작업하는 데 도움을 줍니다. 예를 들어, 경쟁자 분석에서 경쟁자의 광고와 제품 정보를 스크래핑하여 그들의 전략을 이해하고 자신의 광고 및 마케팅 전술을 최적화할 수 있습니다.

SERP는 또한 시장 동향의 예측자입니다. SERP에서 키워드 트렌드를 분석하면 새로운 시장 기회를 발견할 수 있습니다. 특정 키워드의 검색량이 갑자기 증가하면 새로운 시장 기회를 나타낼 수 있습니다. 예를 들어, 의류 매장을 운영하고 있고 "지속 가능한 패션"에 대한 검색이 증가하는 것을 발견했다면, 이 트렌드에 맞는 제품을 재고에 추가할 때일 수 있습니다.

SEO 분석

SERP는 SEO 전문가의 기초입니다. SERP 데이터를 분석하여 키워드 전략을 조정하고 웹사이트 콘텐츠를 최적화하여 검색 엔진 순위를 개선할 수 있습니다.

PAA를 예로 들어보겠습니다. 이러한 관련 질문을 스크래핑하고 그 변화를 분석함으로써 사용자가 관심을 가질 수 있는 다른 질문을 식별할 수 있으며, 이를 통해 웹사이트 콘텐츠를 최적화할 수 있습니다.

콘텐츠 분석

기자들에게 구글 뉴스 결과를 스크래핑하는 것은 트렌드를 분석하고 대중의 관심 주제를 이해하는 데 도움을 줄 수 있으며, 이는 콘텐츠 제작을 안내합니다. 웹 스크래퍼를 사용하여 기사를 추출하는 방법에 대한 자세한 정보는 가이드에서 확인할 수 있습니다.

구글 검색 결과 페이지를 스크래핑하는 방법

이제 SERP 데이터의 활용 방법을 이해했으니, 다음 질문은: 어떻게 수집할 수 있을까요?

수동으로 복사-붙여넣기하는 방법도 있지만, 대량의 데이터를 처리하기에는 실용적이지 않습니다. 기술의 발전, 특히 AI의 발전으로 인해 웹 스크래퍼를 사용하여 대량의 데이터를 수집할 수 있습니다. 여기 세 가지 자동화된 방법이 있습니다:

Thunderbit AI 웹 스크래퍼 사용하기

는 웹사이트에서 원하는 모든 것을 추출할 수 있는 노코드 AI 웹 스크래퍼입니다. 을 사용하거나 직접 열을 커스터마이즈할 수 있습니다. 영업 사례인 리드 생성을 예로 들어 Thunderbit를 사용하여 적격 리드를 찾는 단계별 가이드를 제공합니다.

• 1단계: Thunderbit를 Chrome 확장 프로그램으로 추가하고 Google 계정이나 다른 이메일로 로그인합니다.

• 2단계: 검색 쿼리를 입력합니다.

  검색 결과를 좁히기 위해 를 사용할 수 있습니다.

  예를 들어, 가 생성한 검색 쿼리를 사용하여 인스타그램에서 LA의 체육관 관련 사람들의 이메일을 찾을 수 있습니다:

  site:instagram.com ("gym" OR "fitness" OR "trainer") AND ("email" OR "@" OR “@gmail.com“ or ”@yahoo.com“ ) AND ("Los Angeles" OR "LA" OR "California")
  

  검색 쿼리를 구글에 입력하고 Enter를 누르면 원하는 모든 정보를 반환된 결과에서 볼 수 있습니다.

• 3단계: Thunderbit를 실행하고 스크래핑합니다. 스크래핑하고자 하는 콘텐츠 유형을 자연어로 설명합니다(더 많은 설명을 추가하려면 "열 상세 설명 추가"를 클릭할 수도 있습니다). 테이블로 내보내거나 Notion, Airtable, Google Sheets로 직접 내보낼 수 있습니다.

  Thunderbit는 AI를 사용하여 스크래핑을 도와줍니다. 따라서 Google SERP 페이지의 스니펫에 다른 텍스트와 섞여 있는 이메일도 AI가 정확하게 추출할 수 있습니다.

  스크래핑 버튼을 클릭하고 결과를 기다리세요!

전통적인 웹 스크래퍼 사용하기

전통적인 웹 스크래퍼도 구글 SERP 데이터를 대량으로 추출하는 데 도움을 줄 수 있습니다. WebScraper.io를 사용하여 SERP를 스크래핑하는 방법은 다음과 같습니다:

• Web Scraper 확장 프로그램을 설치하고 Chrome 개발자 도구를 엽니다.
• “새 사이트맵 생성”을 클릭하고 시작 URL을 구글 검색 결과 페이지로 설정합니다.
• 특정 데이터를 선택하기 위해 선택기를 구성합니다.

• 스크래퍼를 실행하고 데이터를 내보냅니다.

• 프로필을 스크래핑한 후에는 Excel에서 정규식 공식을 사용하여 이메일을 추출해야 합니다:

  text=REGEXEXTRACT(A2,"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}")
  

  (A2에 프로필 텍스트가 포함되어 있다고 가정)

  이를 통해 원하는 이메일 주소를 추출할 수 있습니다.

이 방법의 단점은 웹 구조에 대한 지식이 필요하며, 웹사이트가 변경되면(하루 안에도 변경될 가능성이 높음) 선택기를 다시 구성해야 한다는 것입니다.

구글 공식 API 또는 서드파티 SERP API 사용하기

구글은 라는 공식 API를 제공하여 프로그래밍 방식으로 구글의 검색 결과 페이지에 접근할 수 있습니다. 을 생성하고 설정한 후 API 키를 얻고 Python의 requests 라이브러리를 사용하여 요청을 보낼 수 있습니다. 그러나 제공되는 것만 얻을 수 있으며, 접근할 수 있는 양이 엄격히 제한됩니다. 개인화된 커스터마이징을 원한다면 이 방법은 적합하지 않을 수 있습니다.

더 일반적인 선택은 Zen SERP, SerpApi, ScrapingBee와 같은 서드파티 SERP 스크래퍼 API를 사용하는 것입니다. 이 또한 복잡한 설정과 요청 과정을 포함합니다. 설치 후에는 관련 인스타그램 프로필 URL을 모두 가져오고 바이오 섹션에서 이메일을 추출하기 위해 코드를 작성해야 합니다. 이는 코딩 지식이 부족한 비즈니스 사람들에게는 상당히 복잡할 수 있습니다.

import requests
from bs4 import BeautifulSoup
import re

# SerpApi 자격 증명
SERP_API_KEY = "your_serpapi_key"
SEARCH_QUERY = "marketing consultant site:instagram.com"

# 1단계: SerpApi에서 인스타그램 프로필 URL 가져오기
def get_instagram_profiles(query):
    url = "https://serpapi.com/search"
    params = {
        "engine": "google",
        "q": query,
        "api_key": SERP_API_KEY
    }
    response = requests.get(url, params=params)
    data = response.json()

    profile_urls = []
    for result in data.get("organic_results", []):
        link = result.get("link")
        if "instagram.com" in link:
            profile_urls.append(link)

    return profile_urls

# 2단계: 인스타그램 바이오 섹션에서 이메일 추출하기
def extract_email_from_bio(profile_url):
    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(profile_url, headers=headers)
    if response.status_code != 200:
        return None

    soup = BeautifulSoup(response.text, "html.parser")
    bio_section = soup.find("meta", attrs={"name": "description"})

    if bio_section:
        bio_content = bio_section.get("content", "")
        emails = re.findall(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}", bio_content)
        return emails if emails else None
    return None

# 예제 사용
if __name__ == "__main__":
    profiles = get_instagram_profiles(SEARCH_QUERY)
    print("발견된 인스타그램 프로필:", profiles)

    for profile in profiles:
        emails = extract_email_from_bio(profile)
        if emails:
            print(f"{profile}에서 발견된 이메일: {emails}")
        else:
            print(f"{profile}에서 이메일을 찾을 수 없습니다")

3가지 방법 비교

기술 배경 없이 데이터를 빠르고 쉽게 얻고 싶으신가요? → 를 선택하세요

데이터 필드를 완전히 제어하고 HTML/CSS 지식이 있으신가요? → 전통적인 웹 스크래퍼를 선택하세요

저렴한 비용으로 수백만 개의 데이터 포인트에 접근하고 기술 전문가가 필요하신가요? → 서드파티 SERP API를 선택하세요

구글 스크래퍼는 합법인가요?

웹 스크래핑과 관련하여 합법성은 일반적인 우려 사항입니다. ? 짧은 대답은: 상황에 따라 다릅니다. 웹 스크래핑의 법적 상태는 관할권, 스크래핑 목적, 서비스 약관, 스크래핑되는 콘텐츠에 따라 다릅니다. 즉, 단일한 답변은 없습니다.

구글의 은 자동 스크래핑을 통해 그들의 서비스에 접근하는 것을 금지합니다. 그럼에도 불구하고 일반적인 법적 프레임워크는 . 스크래핑의 목적(상업적 또는 비영리)도 합법성에 크게 영향을 미칩니다.

스크래핑 활동이 윤리적이고 합법적이도록 보장하기 위해 서비스 약관을 철저히 읽고, 공개적으로 이용 가능한 데이터를 스크래핑하며, 스크래핑된 정보를 불법적인 목적으로 사용하지 않기를 권장합니다. 대규모 스크래핑의 경우 법률 전문가의 조언을 구하는 것이 좋습니다.

결론

데이터는 “이며, 구글 SERP는 미개척된 금광입니다. SERP 데이터를 신속하게 실행 가능한 전략으로 전환할 수 있는 사람들은 빠르게 변화하는 시장에서 경쟁 우위를 점할 것입니다. 리드 생성, 시장 조사, 검색 엔진 최적화는 SERP 데이터의 일반적인 응용 분야입니다.

기술적 배경, 예산, 데이터 크기, 응용 시나리오에 따라 최첨단 AI 웹 스크래퍼 Thunderbit, 전통적인 웹 스크래퍼, SERP API를 소개했습니다.

모든 결과를 한 번의 클릭으로 스크래핑하고자 하는 비즈니스 사람이라면 Thunderbit가 확실히 최고의 선택입니다. 무엇을 기다리고 계신가요? .

FAQ

1. 구글 검색 결과 페이지(SERP)에서 어떤 유형의 데이터를 추출할 수 있나요?
제목, URL, 메타 설명, 광고, 추천 스니펫, 쇼핑 정보(가격 및 이미지), 사람들이 함께 묻는 질문, 이메일, 전화번호 등을 포함한 다양한 데이터를 추출할 수 있습니다.

2. Thunderbit는 전통적인 웹 스크래퍼나 SERP API와 어떻게 다른가요?
는 노코드, AI 기반의 Chrome 확장 프로그램으로, 자연어를 사용하여 구조화된 데이터를 추출할 수 있습니다. 선택기를 구성하거나 코드를 작성할 필요가 없습니다. 전통적인 스크래퍼는 기술적 설정이 필요하고, API는 코딩이 필요하며 데이터 접근에 제한이 있습니다.

3. 구글 검색 결과를 스크래핑하기 위해 Thunderbit를 사용하려면 기술적 지식이 필요한가요?
아니요. Thunderbit는 비기술적인 사용자를 위해 설계되었습니다. 원하는 데이터를 평범한 언어로 설명하면 AI가 추출을 처리합니다.

4. 스크래핑된 데이터를 Google Sheets나 Notion과 같은 도구로 내보낼 수 있나요?
네. Thunderbit는 Google Sheets, Airtable, Notion으로 직접 내보내거나 다운로드 가능한 테이블로 내보낼 수 있어 데이터를 즉시 사용할 수 있습니다.

5. 구글 SERP 데이터를 스크래핑하는 실용적인 사용 사례는 무엇인가요?
일반적인 사용 사례로는 리드 생성, 경쟁자 연구, SEO 분석, 트렌드 발견, 콘텐츠 계획 등이 있습니다. 예를 들어, 영업 팀은 연락처 정보를 찾고, 마케터는 광고 배치를 분석하며, SEO는 키워드 성능 및 관련 쿼리를 추적할 수 있습니다.

더 알아보기