여러 웹사이트에서 제품 정보와 가격 데이터를 수집하여 엑셀 시트에 정리해야 하는 상황에 처한 적이 있나요? 수작업으로 이 정보를 정리하는 것은 시간도 많이 걸리고 힘들며 오류가 발생하기 쉽습니다. 이 문제를 해결하기 위해 초보자와 고급 사용자 모두에게 적합한 웹사이트 데이터를 엑셀로 직접 가져오는 가장 쉽고 효과적인 방법을 탐구해 보겠습니다.
코드 없이 웹 스크래핑 도구 사용하기
코딩을 선호하지 않는 사용자에게는 와 같은 코드 없는 웹 스크래핑 도구가 웹사이트에서 엑셀로 데이터를 스크래핑하는 데 도움을 줄 수 있습니다. 이러한 도구는 프로그래밍 기술 없이도 사용자가 시각적으로 데이터 추출 규칙을 정의할 수 있도록 설계되었습니다.
Thunderbit 는 고급 자연어 모델을 사용하여 고정 선택자에 의존하지 않고 웹사이트 레이아웃과 콘텐츠를 이해합니다. 대부분의 도구는 드래그 앤 드롭 기능과 사용자 정의 가능한 템플릿을 사용하지만, 사용자가 웹 스크래핑 작업을 설정하고 자동화하기 위해 몇 시간 동안 학습해야 합니다.
또한, 엑셀뿐만 아니라 Google Sheets, Airtable, Notion으로도 데이터를 한 번의 클릭으로 내보낼 수 있습니다.
Thunderbit로 제품 데이터를 수집하는 3단계
1단계: 웹사이트를 열고 사이드바에서 “AI 웹 스크래퍼”를 클릭하세요.
브라우저에 Thunderbit를 쉽게 설치한 후, 스크래핑하려는 웹사이트를 열고 Thunderbit 사이드바에서 “AI 웹 스크래퍼” 옵션을 찾으세요.
2단계: AI 지원으로 추출할 데이터 필드를 사용자 정의하세요.
“AI 열 제안” 기능을 사용하면 스크래퍼 템플릿이 자동으로 생성됩니다. 그런 다음 AI 지원을 통해 이 템플릿을 필요에 맞게 편집할 수 있습니다. 데이터를 저장할 위치를 선택할 수 있으며, 테이블로 출력하여 복사하거나 다른 플랫폼에 저장할 수 있습니다.
3단계: 스크래핑한 데이터를 엑셀로 내보내기
모든 데이터 필드를 검토한 후 스크래퍼를 실행하세요. 스크래핑한 데이터를 복사하거나 다운로드하여 엑셀로 가져올 수 있습니다.
엑셀 웹 쿼리 사용하기
엑셀에는 웹 페이지에서 직접 데이터를 추출할 수 있는 웹 쿼리라는 내장 기능이 있습니다. 이 방법은 특히 구조화된 표 형식의 데이터를 웹사이트에서 직접 가져오는 데 유용하며, 주기적인 업데이트를 통해 데이터의 최신성을 유지할 수 있습니다. 그러나 이 기능은 Windows 버전의 엑셀에서만 사용할 수 있습니다.
엑셀 웹 쿼리로 제품 데이터 수집하는 단계:
- 엑셀 열기: 새 워크북을 시작하고 데이터 탭으로 이동합니다.
- "웹에서" 선택: "외부 데이터 가져오기"를 클릭하고 "웹에서"를 선택합니다.
- URL 입력: 스크래핑하려는 웹사이트 주소를 입력하고 확인을 클릭합니다.
- 데이터 선택: 엑셀은 페이지에서 발견된 테이블을 표시합니다. 원하는 테이블을 선택하고 로드를 클릭합니다.
- 출력 확인: 워크북에서 데이터를 로드할 위치를 지정하고 필요에 맞는지 확인할 수 있습니다.
Thunderbit가 단순히 데이터를 스크래핑하는 것 이상의 기능을 제공하는 방법을 탐색하세요. AI를 사용하여 웹 페이지를 스크래핑, 요약 및 자동 입력하세요. .
엑셀 VBA를 사용한 맞춤형 스크래핑
프로그래밍 지식이 있는 경우 VBA(Visual Basic for Applications)를 사용하여 더 복잡한 스크래핑 작업을 수행할 수 있습니다. VBA는 Microsoft Office 응용 프로그램, 특히 엑셀에 통합된 프로그래밍 언어입니다. 이 기능은 Windows용 엑셀에서만 사용할 수 있습니다.
엑셀 VBA로 제품 데이터 수집하는 단계:
- 개발자 탭 활성화:
- 엑셀을 열고 "엑셀" > "환경 설정" > "보기"를 클릭합니다.
- 하단 창에서 "개발자" 옵션을 선택합니다.
- 참조 추가:
- 개발자 탭에서 "Visual Basic"을 클릭하여 VBA 편집기를 엽니다.
- "도구" > "참조"로 이동하여 다음을 선택합니다:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- 데이터 추출을 위한 VBA 코드 작성
- "삽입" > "모듈"을 클릭합니다.
- 편집기에 VBA 코드를 작성합니다.
다음은 Amazon 제품 페이지에서 제품 제목, 가격 및 가용성을 추출하는 기본 예제입니다:
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorer 객체 생성
Set IE = CreateObject("InternetExplorer.Application")
' Amazon 제품 페이지로 이동
IE.Visible = True
IE.navigate "Put Your URL Here"
' 페이지 로드 대기
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTML 문서 가져오기
Set html = IE.document
' 제품 제목 추출
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 제품 가격 추출
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 제품 평점 추출
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 추출한 데이터를 엑셀에 출력
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "Product Title"
.Cells(1, 2).Value = "Price"
.Cells(1, 3).Value = "Rating"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' 정리
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBA 스크립트 실행 및 테스트
- Visual Basic Editor에서 스크립트를 실행하거나 엑셀 시트의 버튼에 스크립트를 할당합니다.
- 엑셀 시트에서 데이터 출력이 예상대로 형식화되었는지 확인합니다.
코딩의 번거로움 없이 AI가 데이터 스크래핑을 처리하도록 하세요. 중요한 일에 집중할 수 있도록 시간을 절약하세요. 의 강력함을 발견하세요!
자주 묻는 질문
-
웹 스크래핑이란 무엇이며 왜 유용한가요?
웹 스크래핑은 웹사이트에서 데이터를 수집하여 표와 같은 형식으로 정리하는 것입니다. 여러 출처에서 정보를 수집하여 제품 가격 비교와 같은 분석을 쉽게 할 수 있습니다.
-
Thunderbit는 어떻게 작동하나요?
Thunderbit는 코딩 없이 데이터 추출을 가능하게 합니다. 시각적 인터페이스를 사용하여 사용자가 스크래핑할 데이터 필드를 선택하면 도구가 이를 자동화하여 데이터 수집을 간소화합니다.
-
Thunderbit로 엑셀 외의 다른 플랫폼으로 데이터를 내보낼 수 있나요?
네, Thunderbit는 Google Sheets, Airtable, Notion과 같은 플랫폼으로 데이터를 내보낼 수 있어 엑셀 외의 데이터 관리에 유연성을 제공합니다.
-
웹 쿼리 데이터가 자동으로 새로 고쳐지지 않는 이유는 무엇인가요?
엑셀의 데이터 탭에서 "모두 새로 고침" 옵션이 활성화되어 있는지 확인하세요. 쿼리 및 연결에서 "연결 속성"을 선택하여 자동 새로 고침 간격을 설정할 수 있습니다.
-
VBA 코드가 제대로 실행되지 않는 이유는 무엇인가요?
개발자 탭을 활성화하고 필요한 참조(Microsoft Internet Controls 및 HTML Object Library)를 선택했는지 확인하세요.
더 알아보기: