웹사이트 데이터를 엑셀로 가장 쉽게 스크래핑하는 방법

여러 웹사이트에서 제품 정보와 가격 데이터를 수집하여 엑셀 시트에 정리해야 하는 상황에 처한 적이 있나요? 수작업으로 이 정보를 탐색하고 정리하는 것은 시간 소모가 크고 번거로울 뿐만 아니라 오류가 발생하기 쉽습니다. 이 문제를 해결하기 위해 초보자와 고급 사용자 모두에게 맞춘 웹사이트 데이터를 엑셀로 직접 가져오는 가장 쉽고 효과적인 방법을 탐구해 보겠습니다.

코드 없는 웹 스크래핑 도구 사용하기

코딩을 선호하지 않는 사용자에게는 와 같은 코드 없는 웹 스크래핑 도구가 코딩 없이 웹사이트에서 데이터를 엑셀로 스크래핑하는 데 도움을 줄 수 있습니다. 이러한 도구는 프로그래밍 기술 없이도 사용자가 시각적으로 데이터 추출 규칙을 정의할 수 있도록 설계되어 있습니다.

Thunderbit 는 고정된 선택자에 의존하지 않고 웹사이트 레이아웃과 콘텐츠를 이해하기 위해 고급 자연어 모델을 사용합니다. 대부분의 도구는 드래그 앤 드롭 기능과 사용자 정의 가능한 템플릿을 사용하며, 사용자가 웹 스크래핑 작업을 설정하고 자동화하기 전에 몇 시간 동안 학습해야 합니다.

또한, 데이터를 엑셀뿐만 아니라 Google Sheets, Airtable, Notion으로 한 번의 클릭으로 내보낼 수 있습니다.

Thunderbit로 제품 데이터 수집하는 3단계

1단계: 웹사이트를 열고 사이드바에서 “AI 웹 스크래퍼”를 클릭합니다.

브라우저에 Thunderbit를 쉽게 설치한 후, 스크래핑하려는 웹사이트를 열고 Thunderbit 사이드바에서 “AI 웹 스크래퍼” 옵션을 찾습니다.

2단계: AI 지원으로 추출할 데이터 필드를 사용자 정의합니다.

“AI 열 제안” 기능을 사용할 때 스크래퍼 템플릿이 자동으로 생성됩니다. 그런 다음 AI 지원을 통해 이 템플릿을 필요에 맞게 편집할 수 있습니다. 데이터를 저장할 위치를 선택할 수 있으며, 테이블로 출력하여 복사하거나 다른 플랫폼에 저장할 수 있습니다.

3단계: 스크래핑한 데이터를 엑셀로 내보냅니다.

모든 데이터 필드를 검토한 후 스크래퍼를 실행합니다. 스크래핑한 데이터를 복사하거나 다운로드하여 엑셀로 가져올 수 있습니다.

엑셀 웹 쿼리 사용하기

엑셀에는 웹 페이지에서 직접 데이터를 추출할 수 있는 웹 쿼리라는 내장 기능이 있습니다. 이 방법은 특히 구조화된 표 형식의 데이터를 웹사이트에서 직접 가져오는 데 유용하며, 주기적인 업데이트를 통해 데이터의 관련성을 유지할 수 있습니다. 그러나 이 기능은 Windows 버전의 엑셀에서만 사용할 수 있습니다.

엑셀 웹 쿼리로 제품 데이터 수집하는 단계:

1. 엑셀 열기: 새 워크북을 시작하고 데이터 탭으로 이동합니다.
2. "웹에서" 선택: "외부 데이터 가져오기"를 클릭하고 "웹에서"를 선택합니다.
3. URL 입력: 스크래핑하려는 웹사이트 주소를 입력하고 확인을 클릭합니다.

4. 데이터 선택: 엑셀은 페이지에서 발견된 테이블을 표시합니다. 원하는 테이블을 선택하고 로드를 클릭합니다.

5. 출력 확인: 워크북에서 데이터를 로드할 위치를 지정하고 필요에 맞는지 확인할 수 있습니다.

Thunderbit가 데이터를 스크래핑하는 것 이상의 작업을 수행할 수 있는 방법을 탐색해 보세요. AI를 사용하여 웹 페이지를 스크래핑, 요약 및 자동 입력합니다. .

엑셀 VBA를 사용한 맞춤형 스크래핑

프로그래밍 지식이 있는 경우 VBA(Visual Basic for Applications)를 사용하여 더 복잡한 스크래핑 작업을 수행할 수 있습니다. VBA는 엑셀을 포함한 Microsoft Office 응용 프로그램에 통합된 프로그래밍 언어입니다. 이 기능은 Windows용 엑셀에서만 사용할 수 있습니다.

엑셀 VBA로 제품 데이터 수집하는 단계:

1. 개발자 탭 활성화:
   • 엑셀을 열고 "엑셀" > "환경 설정" > "보기"를 클릭합니다.
   • 하단 창에서 "개발자" 옵션을 선택합니다.
2. 참조 추가:
   • 개발자 탭에서 "Visual Basic"을 클릭하여 VBA 편집기를 엽니다.
   • "도구" > "참조"로 이동하여 다음을 선택합니다:
     • Microsoft Internet Controls
     • Microsoft HTML Object Library
3. 데이터 추출을 위한 VBA 코드 작성
   • "삽입" > "모듈"을 클릭합니다.
   • 편집기에 VBA 코드를 작성합니다.

Amazon 제품 페이지에서 제품 제목, 가격 및 가용성을 추출하는 기본 예제는 다음과 같습니다:

    Sub ScrapeAmazonPage()
        Dim IE As Object
        Dim html As Object
        Dim productTitle As String
        Dim productPrice As String
        Dim productRating As String
        
        ' Internet Explorer 객체 생성
        Set IE = CreateObject("InternetExplorer.Application")
        
        ' Amazon 제품 페이지로 이동
        IE.Visible = True
        IE.navigate "Put Your URL Here"
        
        ' 페이지 로드 대기
        Do While IE.Busy Or IE.readyState <> 4
            DoEvents
        Loop
        
        ' HTML 문서 가져오기
        Set html = IE.document
        
        ' 제품 제목 추출
        On Error Resume Next
        productTitle = html.getElementById("productTitle").innerText
        On Error GoTo 0
        
        ' 제품 가격 추출
        On Error Resume Next
        productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
        On Error GoTo 0
        
        ' 제품 평점 추출
        On Error Resume Next
        productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
        On Error GoTo 0
        
        ' 추출한 데이터를 엑셀에 출력
        With ThisWorkbook.Sheets(1)
            .Cells(1, 1).Value = "Product Title"
            .Cells(1, 2).Value = "Price"
            .Cells(1, 3).Value = "Rating"
            .Cells(2, 1).Value = productTitle
            .Cells(2, 2).Value = productPrice
            .Cells(2, 3).Value = productRating
        End With
        
        ' 정리
        IE.Quit
        Set IE = Nothing
        Set html = Nothing
    End Sub

4. VBA 스크립트 실행 및 테스트
   • Visual Basic Editor에서 스크립트를 실행하거나 엑셀 시트의 버튼에 스크립트를 할당합니다.
   • 엑셀 시트에서 데이터 출력이 예상대로 형식화되었는지 확인합니다.

AI가 코딩의 번거로움 없이 데이터 스크래핑을 처리하도록 하세요. 중요한 일에 집중할 수 있도록 시간을 절약하세요. 의 강력함을 발견해보세요!

자주 묻는 질문

1. 웹 스크래핑이란 무엇이며 왜 유용한가요?

   웹 스크래핑은 웹사이트에서 데이터를 수집하여 표와 같은 형식으로 정리하는 것입니다. 여러 출처에서 정보를 수집하여 제품 가격 비교와 같은 분석을 쉽게 할 수 있어 유용합니다.

2. Thunderbit는 어떻게 작동하나요?

   Thunderbit는 코딩 없이 데이터 추출을 가능하게 합니다. 시각적 인터페이스를 사용하여 사용자가 스크래핑할 데이터 필드를 선택할 수 있으며, 도구가 이를 자동화하여 데이터 수집을 간소화합니다.

3. Thunderbit로 엑셀 외의 다른 플랫폼으로 데이터를 내보낼 수 있나요?

   네, Thunderbit는 Google Sheets, Airtable, Notion과 같은 플랫폼으로 데이터를 내보내는 것을 지원하여 엑셀 외의 데이터 관리에 유연성을 제공합니다.

4. 웹 쿼리 데이터가 자동으로 새로 고쳐지지 않는 이유는 무엇인가요?

   엑셀의 데이터 탭에서 “모두 새로 고침” 옵션이 활성화되어 있는지 확인하세요. 쿼리 및 연결에서 “연결 속성”을 선택하여 자동 새로 고침 간격을 설정할 수 있습니다.

5. VBA 코드가 제대로 실행되지 않는 이유는 무엇인가요?

   개발자 탭을 활성화하고 필요한 참조(Microsoft Internet Controls 및 HTML Object Library)를 선택했는지 확인하세요.

더 알아보기: