여러 웹사이트에서 상품 정보나 가격 데이터를 모아 Excel로 정리해본 적 있으신가요? 이런 작업을 직접 하나하나 하다 보면 시간도 엄청 오래 걸리고, 실수도 쉽게 생기죠. 오늘은 초보자부터 숙련자까지 누구나 활용할 수 있는, 웹사이트 데이터를 Excel로 손쉽게 가져오는 다양한 방법을 소개해드릴게요.
노코드 웹 스크래핑 툴로 간편하게 시작하기
코딩이 어렵게 느껴진다면 같은 노코드 웹 스크래핑 툴을 활용해보세요. 복잡한 프로그래밍 없이도 시각적으로 추출 규칙을 설정할 수 있어서 누구나 쉽게 웹사이트 데이터를 Excel로 뽑아낼 수 있습니다.
Thunderbit 는 최신 자연어 모델을 활용해 웹사이트 구조와 내용을 파악하고, 고정된 셀렉터 없이도 데이터를 똑똑하게 추출해줍니다. 기존 툴들은 드래그 앤 드롭이나 템플릿 방식이 많지만, 익숙해지기까지 시간이 꽤 걸리기도 하죠.
Thunderbit는 Excel뿐 아니라 Google Sheets, Airtable, Notion 등 다양한 플랫폼으로도 원클릭 내보내기가 가능합니다.
Thunderbit로 상품 데이터 수집하는 3단계
1단계: 웹사이트 열고 Thunderbit 사이드바에서 “AI 웹 스크래퍼” 클릭
브라우저에 Thunderbit를 설치한 뒤, 데이터를 추출하고 싶은 웹사이트를 열고 Thunderbit 사이드바에서 “AI 웹 스크래퍼”를 선택하세요.
2단계: AI 추천으로 추출할 데이터 필드 설정
“AI 컬럼 추천” 기능을 사용하면 스크래퍼 템플릿이 자동으로 만들어집니다. 필요에 따라 AI의 도움을 받아 템플릿을 수정할 수도 있고, 데이터를 표로 복사하거나 다양한 플랫폼에 저장할 수 있어요.
3단계: 추출한 데이터를 Excel로 내보내기
모든 데이터 필드를 확인한 뒤 스크래퍼를 실행하세요. 추출된 데이터를 복사하거나 다운로드해서 Excel에 바로 불러올 수 있습니다.
AI로 웹 스크래핑 직접 체험해보세요
직접 클릭하고, 탐색하며, 워크플로우를 실행해볼 수 있습니다.
Excel 웹 쿼리 기능으로 데이터 불러오기
Excel에는 웹 쿼리(Web Query)라는 내장 기능이 있어서, 웹페이지의 표 데이터를 바로 불러올 수 있습니다. 특히 표 형태로 잘 정리된 데이터를 주기적으로 업데이트하며 관리할 때 정말 유용하죠. 단, 이 기능은 Windows용 Excel에서만 쓸 수 있습니다.
Excel 웹 쿼리로 상품 데이터 수집하는 방법
- Excel 실행: 새 워크북을 열고 데이터 탭으로 이동하세요.
- "웹에서" 선택: "외부 데이터 가져오기"에서 "웹에서"를 클릭합니다.
- URL 입력: 추출할 웹사이트 주소를 입력하고 확인을 누르세요.
- 데이터 선택: Excel이 페이지 내 표를 자동으로 표시해줍니다. 원하는 표를 선택하고 불러오기를 클릭하세요.
- 결과 확인: 데이터를 불러올 위치를 지정하고, 원하는 형태로 잘 들어왔는지 확인하세요.
Thunderbit는 단순 데이터 추출을 넘어, AI로 웹페이지 요약 및 자동 입력까지 지원합니다. .
Excel VBA로 직접 스크래핑 자동화하기
프로그래밍에 익숙하다면, Excel의 VBA(Visual Basic for Applications)를 활용해 더 복잡한 데이터 추출도 가능합니다. VBA는 Microsoft Office에 내장된 언어로, Windows용 Excel에서만 사용할 수 있어요.
Excel VBA로 상품 데이터 수집하는 방법
- 개발자 탭 활성화:
- Excel을 열고 "Excel" > "환경설정" > "보기"로 이동합니다.
- 하단에서 "개발자" 옵션을 체크하세요.
- 참조 추가:
- 개발자 탭에서 "Visual Basic"을 클릭해 VBA 편집기를 엽니다.
- "도구" > "참조"에서 아래 항목을 체크하세요:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- 데이터 추출용 VBA 코드 작성
- "삽입" > "모듈"을 클릭합니다.
- 아래와 같이 코드를 입력하세요.
아래는 Amazon 상품 페이지에서 상품명, 가격, 평점을 추출하는 기본 예시입니다:
1 Sub ScrapeAmazonPage()
2 Dim IE As Object
3 Dim html As Object
4 Dim productTitle As String
5 Dim productPrice As String
6 Dim productRating As String
7 ' Create Internet Explorer object
8 Set IE = CreateObject("InternetExplorer.Application")
9 ' Navigate to the Amazon product page
10 IE.Visible = True
11 IE.navigate "Put Your URL Here"
12 ' Wait for the page to load
13 Do While IE.Busy Or IE.readyState <> 4
14 DoEvents
15 Loop
16 ' Get the HTML document
17 Set html = IE.document
18 ' Extract product title
19 On Error Resume Next
20 productTitle = html.getElementById("productTitle").innerText
21 On Error GoTo 0
22 ' Extract product price
23 On Error Resume Next
24 productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
25 On Error GoTo 0
26 ' Extract product rating
27 On Error Resume Next
28 productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
29 On Error GoTo 0
30 ' Output the extracted data to Excel
31 With ThisWorkbook.Sheets(1)
32 .Cells(1, 1).Value = "Product Title"
33 .Cells(1, 2).Value = "Price"
34 .Cells(1, 3).Value = "Rating"
35 .Cells(2, 1).Value = productTitle
36 .Cells(2, 2).Value = productPrice
37 .Cells(2, 3).Value = productRating
38 End With
39 ' Clean up
40 IE.Quit
41 Set IE = Nothing
42 Set html = Nothing
43 End Sub- VBA 스크립트 실행 및 결과 확인
- Visual Basic Editor에서 스크립트를 실행하거나, Excel 시트에 버튼을 만들어 연결할 수 있습니다.
- 추출된 데이터가 원하는 형태로 잘 들어왔는지 확인하세요.
복잡한 코딩 없이도 AI가 데이터 추출을 대신해줍니다. 반복 작업에서 벗어나 중요한 일에 집중하세요. 의 강력함을 직접 경험해보세요!
자주 묻는 질문(FAQ)
-
웹 스크래핑이란 무엇이고, 왜 필요한가요?
웹 스크래핑은 웹사이트에서 데이터를 모아 표 등으로 정리하는 기술이에요. 여러 사이트의 상품 가격이나 정보를 한 번에 모아 비교·분석할 때 정말 유용하죠.
-
Thunderbit는 어떻게 작동하나요?
Thunderbit는 코딩 없이 시각적으로 추출할 데이터 필드를 선택하면, 나머지 과정을 자동으로 처리해 데이터 수집을 쉽게 만들어줍니다.
-
Thunderbit로 Excel 외 다른 플랫폼에도 데이터 내보내기가 가능한가요?
네, Thunderbit는 Google Sheets, Airtable, Notion 등 다양한 플랫폼으로 데이터 내보내기를 지원합니다.
-
웹 쿼리 데이터가 자동으로 새로고침되지 않아요.
Excel의 데이터 탭에서 “모두 새로 고침” 옵션이 켜져 있는지 확인하세요. 쿼리 및 연결에서 “연결 속성”을 통해 자동 새로고침 주기도 설정할 수 있습니다.
-
VBA 코드가 제대로 실행되지 않아요.
개발자 탭이 활성화되어 있고, Microsoft Internet Controls와 HTML Object Library가 참조에 추가되어 있는지 꼭 확인하세요.
더 알아보기: