웹 스크래핑의 세계로 들어가 봅시다. 이 용어는 다소 기술적으로 들릴 수 있지만, 실제로는 매우 실용적입니다. 간단히 말해, 웹 스크래핑은 부동산 목록, 제품 가격, 소셜 미디어 댓글과 같은 웹사이트에서 필요한 정보를 가져와 Excel에 정리하여 쉽게 볼 수 있도록 하는 것입니다.
물론 데이터를 수동으로 복사하고 붙여넣을 수도 있지만, 수백 또는 수천 개의 항목을 그렇게 한다고 상상해 보세요. 효율성이 급격히 떨어질 것입니다. 대신 AI 도구가 이 작업을 처리하도록 해보세요. 오늘은 이 작업을 쉽게 만들어주는 AI 도구인 을 소개합니다.
웹 스크래핑이란 무엇인가요?
웹 스크래핑은 웹사이트에서 데이터를 가져오는 기술입니다. 전자 상거래 사이트에서 제품 정보를 수집하거나 부동산 플랫폼에서 임대 데이터를 수집하려는 경우, 웹 스크래핑은 이러한 작업을 자동화하여 데이터를 Excel로 쉽게 가져올 수 있는 스프레드시트로 정리할 수 있습니다.
전통적으로 웹 스크래핑에는 두 가지 주요 접근 방식이 있습니다. 첫 번째는 코딩 기반으로, 프로그래머가 아니라면 어려울 수 있습니다. 두 번째는 과 같은 코드 없는 웹 스크래퍼를 사용하는 것으로, 설정이 까다로울 수 있습니다. 이러한 도구는 과 같은 인기 있는 사이트에 대한 템플릿을 제공하지만, 실제 시나리오에서는 디렉토리나 Shopify 스토어와 같은 다양한 고유 사이트에서 데이터를 스크래핑해야 할 수도 있습니다. 이러한 복잡하고 다양한 웹사이트의 경우 AI를 사용한 웹 스크래핑이 더 현명한 선택입니다.
왜 AI를 사용하여 웹사이트 데이터를 스크래핑해야 하나요?
AI를 사용하여 웹사이트 데이터를 스크래핑하는 것은 더 스마트하고 효율적인 방법입니다. AI 도구는 웹 페이지의 데이터 구조와 패턴을 자동으로 인식할 수 있습니다. 이들은 사이트를 읽고 구조화된 데이터를 직접 출력하여 동적 콘텐츠를 처리하고 웹 레이아웃의 변경에 적응하여 빠르게 정확한 결과를 제공합니다. 또한 이러한 도구는 기술적 배경이 필요 없으며 몇 번의 클릭만으로 스크래핑된 데이터를 Excel, Notion 또는 Airtable로 직접 가져와 추가 분석 및 사용이 가능합니다. 은 이러한 AI 웹 스크래퍼 중 하나이며, 그 기능과 사용 방법을 살펴보겠습니다.
Thunderbit 소개 - AI 웹 스크래퍼
오늘의 주인공을 만나보세요: . 이는 인기 있는 사이트에 대한 사전 구축된 스크래퍼와 다양한 요구에 맞춘 사용자 정의 지침을 통해 더 복잡한 사이트를 처리할 수 있는 스마트한 AI 웹 스크래퍼입니다.
- 사전 구축된 웹 스크래퍼 은 , , 와 같은 인기 있는 사이트에서 데이터를 추출하도록 설계된 사전 구축된 웹 스크래퍼를 제공합니다. 템플릿을 선택하고 몇 번의 클릭만으로 웹사이트 데이터를 Excel로 스크래핑할 수 있습니다.
- 사용자 정의 지침
더 복잡한 웹사이트의 경우, Thunderbit의 세부 지침 기능을 사용하여 스크래핑하고자 하는 내용을 정확히 지정할 수 있습니다. 예를 들어, 주소에서 도시와 주만 필요하다면 "도시와 주만 필요합니다. 예: San Francisco, CA"와 같은 세부 지침을 추가하면 내보낸 데이터가 요구 사항에 맞게 조정됩니다.
웹사이트에서 Excel로 데이터를 스크래핑하는 단계별 가이드
인기 사이트 스크래핑 (Amazon, Zillow, Twitter, Instagram 등)
을 사용하여 웹사이트에서 데이터를 스크래핑하고 Excel로 내보내는 방법은 다음과 같습니다.
- Thunderbit 설정 방법
웹사이트를 방문하여 Chrome 확장 프로그램으로 추가하세요.
- 스크래핑
스크래핑하려는 웹사이트를 열고, 이나 와 같은 사이트를 선택하세요. 사전 구축된 템플릿이 자동으로 나타나며, "스크래핑"을 클릭하기만 하면 됩니다. AI가 페이지의 유용한 정보를 식별합니다.
- 출력 형식 선택
스크래핑 후, 데이터를 쉽게 정리할 수 있도록 Excel과 같은 내보내기 형식을 선택하세요. Google Sheets에 복사하여 붙여넣을 수도 있습니다.
모든 웹사이트 스크래핑
스크래핑하려는 사이트가 템플릿 목록에 없을 경우, 의 사용자 정의 지침 기능을 사용하여 유연하게 조정하세요:
- AI 스크래퍼 템플릿 설정
"AI 열 제안"을 클릭하면 AI가 전체 사이트를 읽고 제품 가격, 설명, 리뷰와 같은 열을 자동으로 추출합니다.
AI가 생성한 열 이름에 만족하지 않으면 각 열의 데이터 형식을 사용자 정의할 수 있습니다. 예를 들어 숫자, 날짜, 텍스트, 단일 또는 다중 선택으로 설정할 수 있습니다.
또한 "열 세부 지침 추가"를 클릭하여 더 많은 설명을 제공하여 AI가 정확하게 요구 사항을 캡처하도록 할 수 있습니다. 예를 들어 "도시와 주만 필요합니다. 예: San Francisco, CA"를 입력하면 내보낸 데이터가 원하는 형식으로 조정됩니다.
- 테이블에 연결
데이터가 스크래핑되면 "CSV 다운로드"를 클릭하여 Excel로 직접 가져옵니다. 또는 "저장…"을 선택하여 결과를 Notion, Airtable, Google Sheets 및 기타 도구와 동기화하여 쉽게 액세스할 수 있습니다.
Thunderbit의 사용 사례
리드 생성
교육 소프트웨어 회사에서 일하며 제품을 홍보하기 위해 대학 교수의 연락처 정보를 찾아야 한다고 가정해 보세요. 교수 웹사이트는 종종 템플릿이 없기 때문에 Thunderbit의 자동 스크래핑 기능이 이상적입니다. 두 단계만으로 웹사이트에서 데이터를 스크래핑하여 Excel로 가져와 리드 생성에 도움을 줄 수 있습니다. 교수 정보를 추출하는 예는 다음과 같습니다:
- Thunderbit로 UC Berkeley 교수 목록 스크래핑: 스크래핑하려는 페이지를 열고 Thunderbit를 실행하세요. "AI 열 제안"을 클릭하면 AI가 웹페이지를 읽고 교수 이름, 이메일, 연구 분야와 같은 필요한 열을 자동으로 식별합니다.
- 데이터 내보내기: "스크래핑"을 클릭하면 Thunderbit가 설정된 열 이름에 따라 데이터를 추출합니다. "CSV 다운로드"를 클릭하여 데이터를 Excel로 직접 가져오거나 Google Sheet에 복사하여 붙여넣을 수 있습니다.
전자 상거래
전자 상거래 판매자는 경쟁업체의 가격과 제품 세부 정보를 실시간으로 모니터링해야 합니다. 이나 스토어에서 제품 정보를 스크래핑하여 가격, 재고, 평점을 포함한 시장 동향을 빠르게 분석할 수 있습니다. 전자 상거래에는 두 가지 사용 사례가 있습니다: Amazon과 같은 대형 쇼핑 플랫폼에서는 사전 구축된 템플릿을 사용하여 한 번의 클릭으로 추출할 수 있으며, 다양한 Shopify 스토어에서는 사용자 정의 지침을 사용할 수 있습니다.
- Amazon
웹사이트를 열고 스크래핑하려는 제품 페이지를 클릭하면 Amazon SKU 세부 정보 스크래퍼와 Amazon SKU 리뷰 스크래퍼를 포함한 사전 구축된 템플릿 아이콘이 자동으로 나타납니다. 스크래핑하려는 유형을 선택하고 "스크래핑"을 클릭하세요.
- Shopify 스토어
다양한 웹 인터페이스를 가진 Shopify 스토어의 경우 AI 기반 사용자 정의 지침 기능을 사용하세요. 관심 있는 Shopify 스토어 페이지를 열고 오른쪽 상단의 Thunderbit 플러그인 아이콘을 클릭하여 Thunderbit를 실행한 후 "AI 열 제안"을 클릭하세요. AI가 자동으로 필요한 데이터를 식별합니다: 제품 이름, 가격, 리뷰 등.
그런 다음 "스크래핑"을 클릭하여 데이터를 Excel로 가져옵니다. "헤더 포함 복사" 또는 "헤더 없이 복사"를 선택하여 데이터를 Excel에 직접 붙여넣을 수도 있습니다.
부동산
부동산 중개인이나 투자자라면 다양한 지역의 부동산 목록을 정리해야 합니다. Zillow와 같은 인기 부동산 사이트의 경우, 사전 구축된 템플릿을 사용하여 한 번의 클릭으로 데이터를 추출할 수 있습니다. 와 같은 부동산 회사 웹사이트의 경우 사용자 정의 지침 기능을 선택할 수 있습니다.
- Zillow
Thunderbit는 주요 인기 사이트에 대한 사전 구축된 템플릿을 제공하며, 도시, 주, 가격, 주소 등과 같은 풍부한 열 이름을 포함하고 있습니다. 데이터 테이블은 상세합니다. Thunderbit의 사전 구축된 템플릿을 사용하여 Zillow의 부동산 데이터를 스크래핑하고 Excel 스프레드시트로 정리하여 명확하고 효율적으로 관리할 수 있습니다. 그림과 같이 를 열고 스크래핑하려는 정보를 검색하면 Thunderbit가 자동으로 "사전 구축된 템플릿 사용" 지식 상자를 팝업합니다. 확인을 클릭하면 풍부한 데이터를 생성할 수 있습니다.
- Equity Apartments
부동산 회사 웹사이트는 종종 최신 목록을 업데이트하지만 각 회사의 웹사이트는 다르며 목록이 수십 개에 불과할 수 있습니다. 이 경우, 전통적인 웹 스크래퍼를 사용하여 이 데이터를 스크래핑할 수 없습니다. 웹 스크래퍼를 설정하는 데 걸리는 시간이 데이터를 Excel에 복사하여 붙여넣는 것보다 더 오래 걸리기 때문입니다. 따라서 AI 웹 스크래퍼가 최고의 도구이며, 두 번의 클릭만으로 웹사이트에서 목록을 스크래핑할 수 있습니다.
-
AI가 스크래핑할 데이터 이름 선택: 스크래핑이 필요한 웹사이트를 열고 AI 웹 스크래퍼를 클릭한 다음 AI 열 제안을 클릭하세요. AI가 전체 페이지를 읽고 아파트 이름, 주소, 전화번호 등과 같은 제안된 열 이름을 생성합니다.
-
스크래핑 클릭: 열이 설정되면 "스크래핑"을 클릭하세요. 데이터가 생성되면 "CSV 다운로드"를 클릭하여 Excel에서 데이터를 엽니다. "헤더 포함 복사" 또는 "헤더 없이 복사"를 선택하여 데이터를 Excel에 직접 붙여넣을 수도 있습니다.
Thunderbit 사용 팁
을 더 효율적으로 사용하는 몇 가지 팁을 소개합니다:
- AI 열 제안
템플릿 없이 웹페이지를 스크래핑하고 싶지만 데이터를 어떻게 분류해야 할지 모를 때? 문제 없습니다, AI 열 제안에 맡기세요. 스크래핑하려는 웹페이지를 열고 AI 웹 스크래퍼를 클릭한 다음 AI 열 제안을 클릭하세요. Thunderbit가 전체 페이지를 읽고 가격, 날짜, 주소와 같은 가능한 데이터 열을 자동으로 추천하여 수동 설정의 번거로움을 줄여줍니다.
AI 열 제안 출력에 만족하지 않으면 데이터 열을 수동으로 수정할 수 있습니다. 예를 들어 열 이름을 변경하고 읽기 형식을 조정할 수 있습니다. 데이터 형식은 숫자, 텍스트, 단일 또는 다중 선택, 이미지일 수 있습니다. 또한 열 세부 지침을 추가하여 명령을 입력하고 AI에게 특정 요구 사항을 알려줄 수 있습니다. AI는 요구 사항에 따라 원하는 데이터를 추출합니다.
- Notion, Airtable, Google Sheet와 통합
내보낸 데이터는 헤더 포함 또는 헤더 없이 복사할 수 있어 데이터를 Excel에 붙여넣을 수 있습니다. 또한 Thunderbit는 다른 도구와 협력하여 생산성 도구인 Notion 및 Airtable과 스크래핑된 데이터를 원활하게 동기화하여 장기 프로젝트나 팀 협업에 이상적입니다.
내보낸 데이터는 개인 용도로 Google Sheets에서 직접 열 수도 있습니다.
- PDF 스크래핑
일반 웹 데이터 외에도 는 웹상의 PDF 파일도 인식할 수 있습니다. PDF 파일은 깔끔해 보이지만 실제로는 텍스트, 표, 이미지와 같은 다양한 형태의 데이터를 포함하고 있습니다. 전통적인 PDF 스크래퍼를 사용하는 것은 복잡할 수 있습니다. 하지만 Thunderbit를 사용하면 PDF에서 데이터를 추출하는 것이 쉬워집니다. 제 기사 에서 언급했듯이, Thunderbit를 사용하여 웹상의 PDF에서 데이터를 Excel로 스크래핑할 수도 있습니다.
지루한 수동 데이터 정리에 스트레스 받지 마세요. Amazon과 Zillow와 같은 인기 사이트든 스크래핑하고자 하는 모든 틈새 사이트든, 에 맡기세요. 이 AI 도구는 모든 "웹사이트 데이터를 Excel로 스크래핑" 요구를 손쉽게 완료할 수 있도록 도와줍니다. 한 번 시도해 보세요, 데이터 스크래핑이 이렇게 간단하고 효율적일 줄은 몰랐을 것입니다.
자주 묻는 질문
- Thunderbit를 사용하여 모든 웹사이트에서 데이터를 스크래핑할 수 있나요?
네, Thunderbit는 사용자 정의 지침 기능을 사용하여 사용자가 원하는 데이터를 정확히 지정할 수 있도록 하여 모든 웹사이트에서 데이터를 스크래핑할 수 있습니다. AI가 필요한 출력을 생성합니다.
- Thunderbit를 사용하여 어떤 유형의 데이터를 스크래핑할 수 있나요?
제품 이름, 가격, 설명, 연락처 정보 등 다양한 유형의 데이터를 스크래핑할 수 있습니다. Thunderbit의 AI는 스크래핑 중인 웹사이트의 콘텐츠를 기반으로 관련 열을 제안할 수 있습니다.
- 스크래핑된 데이터를 어떻게 내보낼 수 있나요?
스크래핑 후, CSV 형식으로 데이터를 쉽게 내보내거나 Excel로 직접 가져올 수 있습니다. Thunderbit는 또한 Notion이나 Airtable과 같은 도구와 스크래핑된 데이터를 동기화하여 추가 분석을 할 수 있도록 합니다.
- 웹 스크래핑 도구를 사용하려면 프로그래밍 기술이 필요한가요?
여기 소개된 대부분의 도구는 프로그래밍 기술이 필요하지 않지만, Octoparse 및 Web Scraper와 같은 도구는 웹 구조에 대한 기본 지식과 프로그래밍 사고방식을 가진 사용자가 최적의 사용을 위해 유리할 수 있습니다.
- Thunderbit를 사용한 웹 스크래핑의 사용 사례는 무엇인가요?
일반적인 사용 사례로는 리드 생성(예: 대학 웹사이트에서 교수 정보 추출), 전자 상거래 가격 모니터링(예: Amazon에서 경쟁업체 추적), 부동산 데이터 수집(예: Zillow에서 부동산 목록 수집)이 있습니다.
더 알아보기