웹사이트 데이터를 Excel로 가장 쉽게 스크래핑하는 방법

여러 웹사이트에서 제품 정보와 가격 데이터를 수집하여 Excel 시트에 정리해야 했던 적이 있나요? 수작업으로 이 정보를 탐색하고 정리하는 것은 시간도 많이 들고 힘들며 오류가 발생하기 쉽습니다. 이 문제를 해결하기 위해 초보자와 고급 사용자 모두에게 적합한 웹사이트 데이터를 직접 Excel로 가져오는 가장 쉽고 효과적인 방법을 알아보겠습니다.

코드 없는 웹 스크래핑 도구 사용하기

코딩을 선호하지 않는 사용자에게는 와 같은 코드 없는 웹 스크래핑 도구가 코딩 없이 웹사이트에서 Excel로 데이터를 스크래핑하는 데 도움을 줄 수 있습니다. 이러한 도구는 프로그래밍 기술 없이도 사용자가 시각적으로 데이터 추출 규칙을 정의할 수 있도록 설계되어 있습니다.

Thunderbit 는 고정된 선택자에 의존하지 않고 웹사이트 레이아웃과 콘텐츠를 이해하기 위해 고급 자연어 모델을 사용합니다. 대부분의 도구는 드래그 앤 드롭 기능과 사용자 정의 가능한 템플릿을 사용하며, 사용자가 웹 스크래핑 작업을 설정하고 자동화하기 전에 몇 시간 동안 학습해야 합니다.

또한, Excel뿐만 아니라 Google Sheets, Airtable, Notion으로도 데이터를 한 번의 클릭으로 내보낼 수 있습니다.

Thunderbit로 제품 데이터 수집하는 3단계

1단계: 웹사이트를 열고 사이드바에서 “AI 웹 스크래퍼”를 클릭합니다.

브라우저에 Thunderbit를 쉽게 설치한 후, 스크래핑하려는 웹사이트를 열고 Thunderbit 사이드바에서 “AI 웹 스크래퍼” 옵션을 찾습니다.

2단계: AI 지원으로 추출할 데이터 필드를 사용자 정의합니다.

“AI 열 제안” 기능을 사용하면 스크래퍼 템플릿이 자동으로 생성됩니다. 그런 다음 AI 지원을 통해 이 템플릿을 필요에 맞게 편집할 수 있습니다. 데이터를 저장할 위치를 선택할 수 있으며, 테이블로 출력하여 복사하거나 다른 플랫폼에 저장할 수 있습니다.

3단계: 스크래핑한 데이터를 Excel로 내보내기

모든 데이터 필드를 검토한 후 스크래퍼를 실행합니다. 스크래핑한 데이터를 복사하거나 다운로드하여 Excel로 가져올 수 있습니다.

AI를 사용한 웹 스크래핑 시도하기

시도해보세요! 클릭하고 탐색하며 워크플로를 실행할 수 있습니다.

Excel 웹 쿼리 사용하기

Excel에는 웹 페이지에서 직접 데이터를 추출할 수 있는 웹 쿼리라는 내장 기능이 있습니다. 이 방법은 특히 구조화된 표 형식의 데이터를 웹사이트에서 직접 가져오는 데 유용하며, 주기적인 업데이트를 통해 데이터의 관련성을 유지할 수 있습니다. 그러나 이 기능은 Windows 버전의 Excel에서만 사용할 수 있습니다.

Excel 웹 쿼리로 제품 데이터 수집하는 단계:

1. Excel 열기: 새 워크북을 시작하고 데이터 탭으로 이동합니다.
2. "웹에서" 선택: "외부 데이터 가져오기"를 클릭하고 "웹에서"를 선택합니다.
3. URL 입력: 스크래핑하려는 웹사이트 주소를 입력하고 확인을 클릭합니다.

4. 데이터 선택: Excel은 페이지에서 찾은 테이블을 표시합니다. 원하는 테이블을 선택하고 로드를 클릭합니다.

5. 출력 확인: 워크북에서 데이터를 로드할 위치를 지정하고 필요에 맞는지 확인할 수 있습니다.

Thunderbit가 데이터를 스크래핑하는 것 이상의 작업을 수행할 수 있는 방법을 탐색하세요. AI를 사용하여 웹 페이지를 스크래핑, 요약 및 자동 입력하세요. .

Excel VBA를 사용한 맞춤형 스크래핑

프로그래밍 지식이 있는 경우, VBA(Visual Basic for Applications)를 사용하여 더 복잡한 스크래핑 작업을 수행할 수 있습니다. VBA는 Microsoft Office 응용 프로그램, 특히 Excel에 통합된 프로그래밍 언어입니다. 이 기능은 Windows용 Excel에서만 사용할 수 있습니다.

Excel VBA로 제품 데이터 수집하는 단계:

1. 개발자 탭 활성화:
   • Excel을 열고 "Excel" > "환경 설정" > "보기"를 클릭합니다.
   • 하단 창에서 "개발자" 옵션을 선택합니다.
2. 참조 추가:
   • 개발자 탭에서 "Visual Basic"을 클릭하여 VBA 편집기를 엽니다.
   • "도구" > "참조"로 이동하여 다음을 선택합니다:
     • Microsoft Internet Controls
     • Microsoft HTML Object Library
3. 데이터 추출을 위한 VBA 코드 작성
   • "삽입" > "모듈"을 클릭합니다.
   • 편집기에 VBA 코드를 작성합니다.

Amazon 제품 페이지에서 제품 제목, 가격 및 가용성을 추출하는 기본 예제는 다음과 같습니다:

    Sub ScrapeAmazonPage()
        Dim IE As Object
        Dim html As Object
        Dim productTitle As String
        Dim productPrice As String
        Dim productRating As String
        
        ' Internet Explorer 객체 생성
        Set IE = CreateObject("InternetExplorer.Application")
        
        ' Amazon 제품 페이지로 이동
        IE.Visible = True
        IE.navigate "Put Your URL Here"
        
        ' 페이지 로드 대기
        Do While IE.Busy Or IE.readyState <> 4
            DoEvents
        Loop
        
        ' HTML 문서 가져오기
        Set html = IE.document
        
        ' 제품 제목 추출
        On Error Resume Next
        productTitle = html.getElementById("productTitle").innerText
        On Error GoTo 0
        
        ' 제품 가격 추출
        On Error Resume Next
        productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
        On Error GoTo 0
        
        ' 제품 평점 추출
        On Error Resume Next
        productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
        On Error GoTo 0
        
        ' 추출한 데이터를 Excel에 출력
        With ThisWorkbook.Sheets(1)
            .Cells(1, 1).Value = "Product Title"
            .Cells(1, 2).Value = "Price"
            .Cells(1, 3).Value = "Rating"
            .Cells(2, 1).Value = productTitle
            .Cells(2, 2).Value = productPrice
            .Cells(2, 3).Value = productRating
        End With
        
        ' 정리
        IE.Quit
        Set IE = Nothing
        Set html = Nothing
    End Sub

4. VBA 스크립트 실행 및 테스트
   • Visual Basic Editor에서 스크립트를 실행하거나 Excel 시트의 버튼에 스크립트를 할당합니다.
   • Excel 시트에서 데이터 출력이 예상대로 형식화되었는지 확인합니다.

AI가 코딩 없이 데이터 스크래핑을 처리하도록 하세요. 중요한 일에 집중할 수 있도록 시간을 절약하세요. 의 강력함을 발견하세요!

자주 묻는 질문

1. 웹 스크래핑이란 무엇이며 왜 유용한가요?

   웹 스크래핑은 웹사이트에서 데이터를 수집하여 표와 같은 형식으로 정리하는 것입니다. 여러 출처에서 정보를 수집하여 제품 가격 비교와 같은 분석을 쉽게 할 수 있습니다.

2. Thunderbit는 어떻게 작동하나요?

   Thunderbit는 코딩 없이 데이터 추출을 가능하게 합니다. 시각적 인터페이스를 사용하여 사용자가 스크래핑할 데이터 필드를 선택하면 도구가 이를 자동화하여 데이터 수집을 간소화합니다.

3. Thunderbit로 Excel 외의 다른 플랫폼으로 데이터를 내보낼 수 있나요?

   네, Thunderbit는 Google Sheets, Airtable, Notion과 같은 플랫폼으로 데이터 내보내기를 지원하여 Excel 외의 데이터 관리에 유연성을 제공합니다.

4. 웹 쿼리 데이터가 자동으로 새로 고쳐지지 않는 이유는 무엇인가요?

   Excel의 데이터 탭에서 “모두 새로 고침” 옵션이 활성화되어 있는지 확인하세요. 쿼리 및 연결에서 “연결 속성”을 선택하여 자동 새로 고침 간격을 설정할 수 있습니다.

5. VBA 코드가 제대로 실행되지 않는 이유는 무엇인가요?

   개발자 탭이 활성화되어 있고 필요한 참조(Microsoft Internet Controls 및 HTML Object Library)가 선택되어 있는지 확인하세요.

더 알아보기: