웹 스크래핑의 세계로 한번 들어가 볼까요? 이름만 들으면 조금 기술적으로 느껴질 수 있지만, 실제로는 꽤 실용적인 작업입니다. 쉽게 말해 웹 스크래핑은 부동산 매물, 제품 가격, 소셜 미디어 댓글처럼 웹사이트에 있는 원하는 정보를 가져와 Excel에서 보기 좋게 정리하고 분석할 수 있도록 만드는 과정입니다.
물론 수동으로 복사해서 붙여넣을 수도 있습니다. 하지만 수백, 수천 건의 데이터를 그렇게 처리한다고 생각해 보세요. 효율이 뚝 떨어질 수밖에 없습니다. 대신 AI 도구에 반복 작업을 맡겨 보는 건 어떨까요? 오늘은 이 작업을 훨씬 쉽게 만들어 주는 AI 도구, 를 소개합니다.
웹 스크래핑이란?
웹 스크래핑은 웹사이트에서 데이터를 추출하는 기술입니다. 이커머스 사이트에서 상품 정보를 모으거나 부동산 플랫폼에서 임대 데이터를 가져오고 싶을 때, 웹 스크래핑을 활용하면 이런 작업을 자동화할 수 있고, Excel로 바로 가져가기 쉬운 스프레드시트 형태로 정리할 수 있습니다.
기존에는 웹 스크래핑을 하는 대표적인 방법이 두 가지였습니다. 하나는 코딩 기반 방식인데, 개발자가 아니라면 진입장벽이 높습니다. 다른 하나는 같은 노코드 웹 스크래퍼를 사용하는 방식인데, 설정이 생각보다 까다로운 경우가 많습니다. 이런 도구들은 같은 유명 사이트용 템플릿을 제공하곤 하지만, 실제 업무에서는 디렉터리 사이트나 Shopify 스토어처럼 형태가 제각각인 사이트에서 데이터를 뽑아야 하는 경우가 더 많습니다. 이렇게 복잡하고 다양한 웹사이트를 다뤄야 한다면, 웹 스크래핑에는 AI를 활용하는 편이 훨씬 더 현명합니다.
왜 AI로 웹사이트 데이터를 스크래핑해야 할까?
AI를 활용한 웹 스크래핑은 더 똑똑하고 효율적인 방법입니다. AI 도구는 웹페이지의 데이터 구조와 패턴을 자동으로 파악할 수 있습니다. 사이트를 읽어 구조화된 데이터를 바로 뽑아내기 때문에, 동적으로 바뀌는 콘텐츠도 처리할 수 있고 웹 레이아웃이 달라져도 유연하게 대응합니다. 덕분에 정확한 결과를 빠르게 얻을 수 있습니다. 게다가 이런 도구는 기술적인 배경지식이 전혀 없어도 됩니다. 몇 번만 클릭하면 스크래핑한 데이터를 Excel, Notion, Airtable로 바로 가져와 추가 분석과 활용까지 이어갈 수 있습니다. 는 이런 AI 웹 스크래퍼 중 하나이며, 지금부터 기능과 사용법을 함께 살펴보겠습니다.
AI 웹 스크래핑 직접 사용해 보기
직접 클릭해 보고, 둘러보고, 실행하면서 따라 해보세요.
Thunderbit 소개 - AI 웹 스크래퍼
오늘의 주인공을 소개합니다: . Thunderbit은 인기 사이트용 사전 제작 스크래퍼와 더 복잡한 사이트용 Custom Instructions를 모두 지원하는 똑똑한 AI 웹 스크래퍼로, 다양한 사용 환경에 맞춰 활용할 수 있습니다.
- 사전 제작 웹 스크래퍼 에는 , , 처럼 널리 쓰이는 사이트에서 데이터를 추출하도록 설계된 사전 제작 웹 스크래퍼가 준비되어 있습니다. 템플릿만 선택하면 몇 번의 클릭으로 웹사이트 데이터를 Excel로 가져올 수 있습니다.
- Custom Instructions
더 복잡한 웹사이트라면 Thunderbit의 Column Detailed Instructions 기능을 사용해 원하는 항목을 정확히 지정할 수 있습니다. 예를 들어 주소에서 도시와 주만 필요하다면, “I just need the City and State. For example, San Francisco, CA,”처럼 상세 지시를 입력하면 내보내는 데이터가 그 요구사항에 맞게 정리됩니다.
웹사이트 데이터를 Excel로 추출하는 단계별 가이드
인기 사이트 스크래핑하기(Amazon, Zillow, Twitter, Instagram 등)
를 사용해 웹사이트 데이터를 추출하고 Excel로 내보내는 방법은 다음과 같습니다.
- Thunderbit 설정하기
웹사이트에 접속해 Chrome 확장 프로그램으로 추가하세요.
- 스크래핑 실행하기
이나 처럼 데이터를 추출할 웹사이트를 엽니다. 사전 제작 템플릿이 자동으로 나타나며, 여기서 "Scrape"만 클릭하면 됩니다. AI가 상품명, 가격처럼 페이지에서 유용한 정보를 알아서 찾아냅니다.
- 출력 형식 선택하기
스크래핑이 끝나면 Excel처럼 원하는 내보내기 형식을 선택해 데이터를 정리하세요. Google Sheets에 복사해 붙여넣을 수도 있습니다.
모든 웹사이트 스크래핑하기
템플릿 목록에 원하는 사이트가 없다면 어떻게 해야 할까요? 걱정하지 마세요. 의 Custom Instructions 기능을 사용하면 유연하게 조정할 수 있습니다.
- AI 스크래퍼 템플릿 설정하기
"AI Suggest Columns"를 클릭하면 AI가 전체 사이트를 읽고 상품 가격, 설명, 리뷰 같은 열을 자동으로 추출합니다.
AI가 생성한 열 이름이 마음에 들지 않으면 숫자, 날짜, 텍스트, 단일 선택, 다중 선택 등 각 열의 데이터 형식을 직접 바꿀 수 있습니다.
또한 "Add column detailed instruction"를 눌러 더 구체적인 설명을 추가하면 AI가 사용자의 요구를 더 정확하게 반영합니다. 예를 들어 "I just need the City and State. For example, San Francisco, CA,"라고 입력하면 원하는 형식으로 데이터를 추출할 수 있습니다.
- 테이블에 연결하기
데이터 추출이 끝나면 "Download CSV"를 클릭해 Excel로 바로 가져오세요. 또는 "Save to…"를 선택해 Notion, Airtable, Google Sheets 등과 동기화하여 더 편리하게 활용할 수 있습니다.
Thunderbit 활용 사례
리드 생성
교육 소프트웨어 회사에서 일하며 자사 제품을 홍보하기 위해 대학 교수의 연락처를 찾아야 한다고 가정해 보겠습니다. 대학 사이트는 템플릿이 없는 경우가 많기 때문에 Thunderbit의 자동 스크래핑 기능이 특히 유용합니다. 단 두 단계만으로 웹사이트 데이터를 Excel로 추출해 리드 생성에 활용할 수 있습니다. 교수 정보를 가져오는 예시는 다음과 같습니다.
- Thunderbit로 UC Berkeley 교수 명단 스크래핑: 스크래핑할 페이지를 열고 Thunderbit을 실행합니다. "AI Suggest Column"를 클릭하면 AI가 웹페이지를 읽고 교수 이름, 이메일, 연구 분야처럼 필요한 열을 자동으로 찾아냅니다.
- 데이터 내보내기: "Scrape"를 클릭하면 Thunderbit이 설정된 열 이름을 기준으로 데이터를 추출합니다. "Download CSV"를 클릭해 Excel로 바로 가져오거나, Google Sheet에 복사해 붙여넣을 수도 있습니다.
이커머스
이커머스 판매자는 경쟁사의 가격과 상품 정보를 실시간으로 모니터링해야 합니다. 이나 스토어에서 가격, 재고, 평점 같은 상품 정보를 추출해 시장 동향을 빠르게 분석할 수 있습니다. 이커머스에서는 크게 두 가지 활용 방식이 있습니다. Amazon처럼 대형 쇼핑 플랫폼은 원클릭 추출용 사전 제작 템플릿을 쓰면 되고, 다양한 Shopify 스토어는 Custom Instructions를 활용하면 됩니다.
- Amazon
웹사이트를 열고 추출하려는 상품 페이지로 이동하면 사전 제작 템플릿 아이콘이 자동으로 나타납니다. Amazon SKU 상세 정보 스크래퍼와 Amazon SKU 리뷰 스크래퍼가 포함되어 있으니, 원하는 유형을 선택한 뒤 "Scrape"를 클릭하세요.
- Shopify 스토어
웹 구조가 제각각인 Shopify 스토어는 AI 기반 Custom Instructions 기능을 사용하면 편리합니다. 관심 있는 Shopify 스토어 페이지를 열고 오른쪽 상단의 Thunderbit 플러그인 아이콘을 클릭해 Thunderbit을 실행한 다음 "AI Suggest Column"를 누르세요. AI가 제품명, 가격, 리뷰 등 필요한 데이터를 자동으로 찾아냅니다.
그다음 "Scrape"를 클릭해 데이터를 Excel로 가져오세요. "Copy with headers" 또는 "Copy without headers"를 선택해 Excel에 바로 붙여넣을 수도 있습니다.
부동산
부동산 중개인이나 투자자라면 여러 지역의 매물 정보를 정리해야 할 때가 많습니다. Zillow 같은 유명 부동산 사이트는 사전 제작 템플릿으로 한 번에 데이터를 추출할 수 있습니다. 같은 부동산 회사 웹사이트는 Custom Instructions 기능을 사용하면 됩니다.
- Zillow
Thunderbit은 주요 인기 사이트를 위해 City, State, Pricing, Address 등 풍부한 열 이름을 포함한 사전 제작 템플릿을 제공합니다. 데이터 테이블도 상세하게 구성되어 있습니다. Thunderbit의 사전 제작 템플릿을 사용해 Zillow의 부동산 데이터를 추출하면 Excel 스프레드시트로 깔끔하고 효율적으로 정리할 수 있습니다. 아래 그림처럼 를 열고 추출할 정보를 검색하면 Thunderbit이 "Use Pre-built template" 안내창을 자동으로 띄웁니다. 확인을 누르면 풍부한 데이터가 생성됩니다.
- Equity Apartments
부동산 회사 웹사이트는 보통 최신 매물을 계속 업데이트하지만, 회사마다 사이트 구성이 다르고 매물 수도 수십 건 정도인 경우가 많습니다. 이런 경우 웹 스크래퍼를 새로 세팅하는 데 걸리는 시간이 단순히 복사해서 Excel에 붙여넣는 것보다 더 오래 걸릴 수 있어 기존 방식은 비효율적입니다. 그래서 AI 웹 스크래퍼가 가장 적합한 도구입니다. 클릭 두 번만으로 웹사이트에서 매물 정보를 추출할 수 있습니다.
-
AI가 추출할 데이터 이름 선택하기: 스크래핑할 웹사이트를 열고 AI Web Scraper를 클릭한 다음 AI Suggest Columns를 누르세요. AI가 전체 페이지를 읽고 Apartment Name, Address, Phone Number 같은 추천 열 이름을 생성합니다.
-
Scrape 클릭하기: 열 설정이 끝나면 "Scrape"를 클릭하세요. 데이터가 생성되면 "Download CSV"를 눌러 Excel에서 열 수 있습니다. "Copy with headers" 또는 "Copy without headers"를 선택해 Excel에 직접 붙여넣을 수도 있습니다.
Thunderbit 활용 팁
를 더 효율적으로 쓰는 데 도움이 되는 몇 가지 팁을 소개합니다.
- AI Suggest Columns
템플릿이 없는 웹페이지를 스크래핑하고 싶은데 데이터를 어떻게 분류해야 할지 모르겠다면, AI Suggest Columns에 맡기세요. 스크래핑할 페이지를 열고 AI Web Scraper를 클릭한 뒤 AI Suggest Columns를 누르면 Thunderbit이 전체 페이지를 읽고 가격, 날짜, 주소 같은 가능한 데이터 열을 자동으로 추천합니다. 수동 설정에 드는 번거로움을 크게 줄일 수 있습니다.
AI Suggest Columns 결과가 만족스럽지 않다면 열 이름을 바꾸거나 읽기 형식을 조정하는 등 데이터 열을 직접 수정할 수 있습니다. 데이터 형식은 숫자, 텍스트, 단일 선택, 다중 선택, 이미지 등으로 설정 가능합니다. 또한 열 상세 지시문을 추가해 AI에게 구체적인 요구사항을 전달할 수도 있습니다. 그러면 AI가 조건에 맞는 데이터를 추출합니다.
- Notion, Airtable, Google Sheets와 연동
추출한 데이터는 헤더 포함 또는 헤더 없이 복사할 수 있어 Excel에 붙여넣기 좋습니다. 또한 Thunderbit은 Notion, Airtable 같은 생산성 도구와도 매끄럽게 연동되어 스크래핑한 데이터를 동기화할 수 있어 장기 프로젝트나 팀 협업에 특히 적합합니다.
추출한 데이터는 개인용으로 Google Sheets에서 바로 열 수도 있습니다.
- PDF 스크래핑
일반 웹 데이터뿐 아니라 는 웹상의 PDF 파일도 인식할 수 있습니다. PDF는 겉보기에는 깔끔해 보여도 실제로는 텍스트, 표, 이미지 등 다양한 형태의 데이터를 담고 있습니다. 기존 PDF 스크래퍼는 설정이 복잡할 수 있지만, Thunderbit을 사용하면 PDF에서 데이터를 쉽게 추출할 수 있습니다. 제 글 에서 설명했듯이, Thunderbit로 웹상의 PDF 데이터를 Excel로 옮길 수도 있습니다.
이제 번거로운 수동 데이터 정리에 더 이상 스트레스받지 마세요. Amazon과 Zillow 같은 인기 사이트든, 아니면 어떤 틈새 사이트든, 에 맡기면 됩니다. 이 AI 도구는 웹사이트 데이터를 Excel로 추출하는 모든 작업을 손쉽게 처리할 수 있게 도와줍니다. 직접 써보면 데이터 추출이 이렇게 간단하고 효율적일 수 있다는 걸 바로 느끼게 될 것입니다.
자주 묻는 질문
- Thunderbit로 어떤 웹사이트든 데이터를 추출할 수 있나요?
네, Thunderbit는 Custom Instructions 기능을 활용해 어떤 웹사이트에서든 데이터를 추출할 수 있습니다. 사용자가 원하는 데이터를 정확히 지정하면 AI가 그에 맞는 결과를 생성합니다.
- Thunderbit로 어떤 종류의 데이터를 추출할 수 있나요?
상품명, 가격, 설명, 연락처 등 다양한 데이터를 추출할 수 있습니다. Thunderbit의 AI는 스크래핑 중인 웹사이트 콘텐츠를 바탕으로 관련 열을 추천합니다.
- 추출한 데이터는 어떻게 내보내나요?
스크래핑 후 CSV 형식이나 Excel로 바로 손쉽게 내보낼 수 있습니다. 또한 Thunderbit는 Notion이나 Airtable 같은 도구와도 동기화할 수 있어 추가 분석이 가능합니다.
- 웹 스크래핑 도구를 사용하려면 프로그래밍 지식이 필요한가요?
여기에 소개된 대부분의 도구는 프로그래밍 지식이 없어도 사용할 수 있습니다. 다만 Octoparse나 Web Scraper 같은 도구는 웹 구조에 대한 기본 이해와 약간의 개발 감각이 있으면 더 잘 활용할 수 있습니다.
- Thunderbit를 활용한 웹 스크래핑의 대표적인 사용 사례는 무엇인가요?
대표적인 활용 사례로는 리드 생성(예: 대학 웹사이트에서 교수 정보 추출), 이커머스 가격 모니터링(예: Amazon 경쟁사 추적), 부동산 데이터 수집(예: Zillow 매물 정보 수집) 등이 있습니다.
더 알아보기