Scrapy Python 튜토리얼: 웹 스크래핑을 위한 실용 가이드

처음으로 이커머스 사이트에서 상품 데이터를 긁어보려던 그날을 떠올려 보세요. 그때 제 손엔 Python과 커피 한 잔, 그리고 아마존 가격 추적기를 만들겠다는 야심이 있었어요. 그런데 몇 시간 뒤, 「금방 끝낼 프로젝트」는 XPath 선택자와 페이지네이션 문제, 입에 담기 민망한 수준의 디버깅이 뒤엉킨 난장판이 되어 있었죠. 코드로 웹 데이터를 만져본 사람이라면 이 감정을 잘 아실 거예요. 설렘 반, 「이게 왜 이렇게 어렵지?」 반인 그 느낌요.

이제 웹 스크래핑은 데이터 과학자나 엔지니어만의 영역이 아니에요. 영업팀, 이커머스 관리자, 마케터, 그리고 웹의 혼돈을 비즈니스 인사이트로 바꾸고 싶은 사람이라면 누구에게나 필요한 기술이 됐죠. 실제로 웹 스크래핑 소프트웨어 시장은 2024년 10억 1천만 달러를 찍었고 2032년엔 24억 9천만 달러에 이를 전망이며, 성장세도 아직 꺾이지 않았어요. 다만 Python과 Scrapy 같은 프레임워크가 대규모 맞춤형 스크래핑의 표준이긴 해도, 초보자에게 친절하다고는 못 하죠. 그래서 이 튜토리얼에서는 실제 아마존 사례로 Scrapy를 단계별로 풀고, 코딩이 낯선 분들을 위한 훨씬 쉬운 AI 기반 대안인 Thunderbit도 함께 소개할게요.

Scrapy Python이란? 웹 스크래핑을 위한 강력한 도구

기본부터 짚어볼게요. Scrapy는 웹 크롤링과 스크래핑을 위해 특별히 설계된 오픈소스 Python 프레임워크예요. Scrapy 용어로 「스파이더」라 부르는 맞춤형 크롤러를 만들어, 웹사이트를 누비고 링크를 따라가며 페이지네이션을 처리하고 구조화 데이터를 대규모로 뽑아내는 올인원 도구라고 보면 돼요.

그렇다면 Scrapy는 Python의 requests와 BeautifulSoup만 쓰는 것과 뭐가 다를까요? 이 라이브러리들도 간단한 일회성 스크래핑엔 훌륭하지만, Scrapy는 크고 복잡한 프로젝트를 겨냥했어요. 예를 들면 이런 작업이죠.

수천 개 페이지 크롤링하기
링크를 자동으로 따라가며 페이지네이션 처리하기
속도를 위해 비동기로 데이터 처리하기
데이터를 반복 가능한 방식으로 구조화·정제·내보내기하기

한마디로 Scrapy는 웹 스크래핑용 만능 도구예요. 강력하고 유연하지만, 초보자에겐 다소 버겁게 느껴질 수 있죠.

웹 스크래핑에 Scrapy Python을 쓰는 이유는?

그렇다면 개발자와 데이터 팀은 왜 계속 Scrapy를 찾을까요? 돋보이는 이유를 간단히 정리할게요.

사용 사례	Scrapy의 강점	비즈니스 가치
가격 모니터링	페이지네이션, 비동기 요청, 스케줄링 처리	경쟁사보다 앞서가기, 동적 가격 책정
상품 카탈로그 추출	링크 추적, 구조화된 데이터 추출	상품 데이터베이스 구축, 분석에 활용
경쟁사 분석	확장성이 높고 사이트 변경에도 강함	트렌드, 신제품 출시, 재고 수준 추적
시장 조사	데이터 정제·변환을 위한 모듈형 파이프라인	리뷰 집계, 감성 분석 실행

Scrapy의 비동기 엔진(Twisted 기반)은 여러 페이지를 동시에 가져와서 빠르고 확장성이 좋아요. 모듈형 설계 덕에 프록시, 사용자 에이전트, 데이터 정제 단계 같은 맞춤 로직을 쉽게 끼워 넣을 수 있고요. 그리고 파이프라인을 쓰면 CSV, JSON, 데이터베이스 등 원하는 방식으로 데이터를 처리하고, 검증하고, 내보낼 수 있어요.

Python을 다루는 팀이라면 Scrapy는 정말 든든한 도구예요. 다만 일반 비즈니스 사용자에게 곧바로 쓰기 쉬운 도구는 아니에요.

Scrapy 1.jpeg

Scrapy Python 환경 설정하기

직접 해볼까요? Scrapy를 처음부터 세팅하는 법이에요.

1. Scrapy 설치하기

먼저 Python 3.10 이상이 깔려 있는지 확인하세요(Scrapy 2.15.x는 2026년에 3.9 지원을 끊었어요). 그런 다음 터미널을 열고 아래 명령어를 실행하세요.

pip install scrapy

제대로 깔렸는지 확인하려면 이걸 돌리면 돼요.

scrapy version

Windows를 쓰거나 Anaconda 환경이라면, 충돌을 막기 위해 가상 환경을 잡아두는 게 좋아요. Scrapy는 Windows, macOS, Linux에서 모두 도와요.

2. 새 Scrapy 프로젝트 만들기

amazonscraper라는 새 프로젝트로 시작해볼게요.

scrapy startproject amazonscraper

그러면 아래 같은 폴더 구조가 생겨요.

amazonscraper/
├── scrapy.cfg
├── amazonscraper/
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── middlewares.py
│   ├── settings.py
│   └── spiders/

이 파일들은 각각 무슨 일을 할까요?

scrapy.cfg: 프로젝트 설정 파일(거의 건드릴 일 없음)
items.py: 데이터 모델 정의(예: 이름, 가격 등이 든 Product)
pipelines.py: 데이터를 정제·검증·내보내기하는 곳
middlewares.py: 고급 기능(프록시, 커스텀 헤더)
settings.py: Scrapy 동작 조정(동시성, 지연 시간 등)
spiders/: 실제 스크래핑 로직이 들어가는 곳

벌써 좀 벅차다면, 당신만 그런 게 아니에요. 많은 비개발자가 바로 여기서 긴장하기 시작하거든요.

Python 스크래퍼 만들기: Scrapy로 아마존 상품 데이터 스크래핑하기

실제 사례를 하나 볼게요. 아마존 검색 결과에서 상품 데이터를 긁는 방법이에요. (참고로 아마존 서비스 약관은 스크래핑을 허용하지 않고, 봇 차단도 아주 세요. 아래 예시는 교육용이에요!)

1. 스파이더 만들기

spiders/ 폴더 안에 amazon_spider.py 파일을 만드세요.

import scrapy

class AmazonSpider(scrapy.Spider):
    name = "amazon_example"
    allowed_domains = ["amazon.com"]
    start_urls = ["https://www.amazon.com/s?k=smartphones"]

    def parse(self, response):
        products = response.xpath("//div[@data-component-type='s-search-result']")
        for product in products:
            yield {
                'name': product.xpath(".//span[@class='a-size-medium a-color-base a-text-normal']/text()").get(),
                'price': product.xpath(".//span[@class='a-price-whole']/text()").get(),
                'rating': product.xpath(".//span[@aria-label]/text()").get()
            }
        next_page = response.xpath("//li[@class='a-last']/a/@href").get()
        if next_page:
            yield scrapy.Request(url=response.urljoin(next_page), callback=self.parse)

여기서 무슨 일이 벌어지고 있을까요?

아마존 검색 결과 페이지의 「스마트폰」 카테고리에서 출발해요.
각 상품마다 XPath 선택자로 이름, 가격, 평점을 뽑아내요.
「다음 페이지」 링크를 찾아, Scrapy가 그 페이지를 따라가며 더 많은 상품을 긁도록 해요.

2. 스파이더 실행하기

프로젝트 루트에서 아래 명령어를 실행하세요.

scrapy crawl amazon_example -o products.json

이제 Scrapy가 검색 결과를 크롤링하고, 페이지네이션을 따라가며, 데이터를 JSON 파일로 저장해줘요.

페이지네이션과 동적 콘텐츠 처리하기

Scrapy의 강점 하나가 링크를 따라가고 페이지네이션을 처리하는 능력이에요. 그런데 JavaScript로 데이터를 불러오는 동적 콘텐츠는 어떨까요? 기본 상태의 Scrapy는 정적 HTML만 봐요. 무한 스크롤이나 팝업 리뷰처럼 JavaScript로 로드되는 콘텐츠를 긁으려면 Selenium이나 Splash 같은 도구를 붙여야 해요. 이건 또 다른 긴 이야기죠.

Scrapy Python으로 데이터 처리 및 내보내기

데이터를 긁었다면, 이제 정리해서 쓸모 있는 곳으로 내보내고 싶을 거예요.

파이프라인: pipelines.py에서 Python 클래스를 짜면 가격을 숫자로 바꾸거나, 누락된 행을 걸러내거나, 번역 API를 호출하는 식으로 데이터를 정제·검증·보강할 수 있어요.
내보내기: Scrapy는 o 플래그로 CSV, JSON, XML로 바로 내보내요. Google Sheets로 보내는 것처럼 더 고급 기능이 필요하면 코드를 추가하거나 서드파티 라이브러리를 써야 해요.

감성 분석이나 상품 설명 번역을 하고 싶나요? 외부 API나 Python 라이브러리를 붙여야 해요. 기본 내장 기능은 없거든요.

숨은 비용: 비즈니스 사용자에게 Scrapy Python이 어려운 이유

Scrapy는 강력하지만 비개발자에게 친절한 도구는 아니에요. 대부분의 비즈니스 사용자가 막히는 지점은 이래요.

익히는 데 시간이 많이 듦: Python, HTML, XPath/CSS 선택자, 거기에 Scrapy 프로젝트 구조까지 알아야 해요. 익숙해지는 데 며칠에서 몇 주가 걸릴 수 있죠.
설치의 번거로움: Python 설치, 의존성 관리, 오류 해결은 꽤 골치 아파요. 특히 Windows에서는요.
시각적 인터페이스 없음: 전부 코드로 해야 해요. 페이지에서 그냥 클릭해 데이터를 고를 순 없어요.
유지보수: 웹사이트가 바뀌면 스파이더가 깨져요. 고치는 건 온전히 당신 몫이고요.
내장 AI 없음: 번역, 요약, 감성 분석이 필요하면 전부 추가 코딩이 필요해요.

Scrapy 2.jpeg

간단히 비교하면 이래요.

문제	Scrapy(Python)	비즈니스 사용자의 필요
코딩 필요 여부	예	코드 없이 사용하고 싶음
설정 시간	몇 시간(또는 며칠)	몇 분
유지보수	지속적 필요(사이트 변경 대응)	최소화
데이터 내보내기	CSV/JSON(수동 연동)	Excel/Sheets/Notion으로 바로
AI 기능	없음(직접 연동 필요)	번역/감성 분석 내장

혼자 일하는 마케터, 영업 담당자, 운영 관리자라면 Scrapy는 필요 이상으로 과한 도구처럼 느껴질 수 있어요.

Thunderbit 소개: Scrapy Python을 대체하는 노코드 옵션

바로 이 지점에서 Thunderbit가 등장해요. 자동화 도구를 수년간 만들어온 사람으로서 말하자면, 대부분의 비즈니스 사용자는 코딩을 원치 않아요. 그냥 데이터를 빨리 손에 쥐고 싶을 뿐이죠.

Thunderbit는 Chrome 확장 프로그램 형태의 AI 기반 웹 스크래퍼예요. 기술 지식이 없는 사용자도 다음을 할 수 있게 설계됐어요.

클릭 몇 번으로 어떤 웹사이트든 데이터 긁기
자연어로 원하는 항목 설명하기(예: 「상품명, 가격, 평점」)
페이지네이션과 하위 페이지를 자동으로 처리하기
데이터를 Excel, Google Sheets, Airtable, Notion으로 바로 내보내기
번역, 요약, 감성 분석을 즉석에서 수행하기

Python도, 선택자도, 유지보수 골칫거리도 없어요.

AI로 어떤 웹사이트든 스크래핑하는 방법 Get Started Free

Thunderbit는 빠르게 움직이고, 무거운 일은 AI에 떠넘기고 싶은 비즈니스 사용자를 위해 만들어졌어요.

Thunderbit vs. Scrapy Python: 나란히 비교하기

직접 붙여볼게요.

항목	Scrapy(Python)	Thunderbit(AI 도구)
필요 기술	Python, HTML, 선택자	없음 — 클릭만 하면 됨, 자연어 지원
설정 시간	몇 시간(설치, 코딩, 디버깅)	몇 분(Chrome 확장 설치, 로그인)
데이터 구조화	수동(아이템, 파이프라인 정의)	AI가 열을 자동 감지하고 필드를 제안
페이지네이션/하위 페이지	코드 필요	1클릭(AI가 처리)
번역	커스텀 코드 또는 API 연동	내장 — “번역”만 켜면 됨
감성 분석	외부 라이브러리/API	내장 — “감성” 열 추가
내보내기 옵션	CSV/JSON( Sheets/Excel로 수동 가져오기)	Excel, Google Sheets, Airtable, Notion으로 1클릭 내보내기
유지보수	수동(사이트가 바뀌면 코드 수정)	AI가 작은 사이트 변경에는 자동으로 적응
규모	대규모, 지속적 프로젝트에 적합	빠른 작업과 중간 규모(수백~수천 행)에 적합
비용	무료(하지만 시간과 개발 리소스가 듦)	무료 플랜 + 유료 플랜(월 $9부터, 대신 시간과 번거로움을 크게 절약)

웹 스크래핑에서 Scrapy Python과 Thunderbit 중 무엇을 고를까?

제가 보는 기준은 이래요.

이럴 땐 Scrapy를 쓰세요.
- 개발자이거나 팀에 개발자가 있는 경우
- 수만 개 페이지를 긁거나, 맞춤형의 지속적인 파이프라인을 구축해야 하는 경우
- 사이트가 아주 복잡하거나 고급 로직이 필요한 경우
- 완전한 제어가 필요하고 유지보수도 감수할 수 있는 경우
이럴 땐 Thunderbit를 쓰세요.
- 코딩을 하지 않거나 하고 싶지 않은 경우
- 일회성이든 반복 업무든, 빠르게 데이터를 얻어야 하는 경우
- 내장 번역, 감성 분석, 데이터 보강이 필요한 경우
- 원시적인 커스터마이징보다 속도와 유연성이 더 중요한 경우

Scrapy 3.jpeg

간단한 의사결정 흐름은 이래요.

Python 코딩을 할 줄 아나요?
- 예 → Scrapy 또는 Thunderbit(빠른 성과용)
- 아니요 → Thunderbit
프로젝트가 크고 계속 굴러가는 성격인가요?
- 예 → Scrapy
- 아니요 → Thunderbit
번역이나 감성 분석이 필요한가요?
- 예 → Thunderbit
- 아니요 → 둘 다 가능

단계별: Thunderbit로 아마존 상품 데이터 스크래핑하기(코드 필요 없음)

이번에는 아마존 예제를 더 쉬운 방식으로 다시 해볼게요.

1. Thunderbit 설치하기

Thunderbit Chrome 확장 프로그램 다운로드
회원가입하기(무료 플랜 제공)

Thunderbit Chrome 확장 프로그램을 무료로 체험하기

2. 아마존에 접속해 상품 검색하기

Amazon.com을 열고 「노트북」을 검색하세요(원하는 상품을 검색해도 돼요)

3. 페이지에서 Thunderbit 실행하기

브라우저에서 Thunderbit 아이콘을 누르세요
사이드 패널이 열리며 아마존 페이지를 인식해요

4. AI 제안 필드 사용하기

**「AI 제안 필드」**를 누르세요
Thunderbit AI가 페이지를 훑어 「상품명」, 「가격」, 「평점」, 「리뷰 수」 같은 열을 제안해요
필요에 따라 열을 더하거나 빼세요(「상품 URL」이나 「Prime 자격 여부」가 필요하면 그냥 입력하면 돼요)

5. 페이지네이션과 하위 페이지 스크래핑 활성화하기

페이지네이션을 켜세요: Thunderbit가 「다음」을 자동으로 누르며 모든 페이지를 긁어요
하위 페이지 스크래핑을 켜세요: Thunderbit가 각 상품 상세 페이지를 방문해 설명이나 ASIN 번호 같은 추가 정보를 가져와요

6. 스크래핑 실행하기

스크래핑을 누르세요
Thunderbit가 페이지별로 실시간 데이터를 모으는 모습을 볼 수 있어요

7. 번역 및 감성 분석 추가하기(선택 사항)

상품 설명을 번역하고 싶나요? 해당 열에서 「번역」을 켜세요
리뷰 감성을 분석하고 싶나요? 「감성」 열을 더하면 Thunderbit AI가 값을 채워줘요

8. 데이터 내보내기

내보내기를 누르세요
Excel, Google Sheets, Airtable, Notion 중에서 고르세요
데이터는 바로 쓸 수 있어요. 수동 가져오기나 CSV 정리 작업은 필요 없어요

9. 반복 스크래핑 예약하기(선택 사항)

일정(예: 매일 오전 8시)을 잡으세요
Thunderbit가 자동으로 스크래핑을 돌리고 원하는 대상에 업데이트해줘요

이걸로 끝이에요. 코드도, 선택자도, 유지보수도 없어요. 비즈니스에 바로 쓸 데이터만 남죠.

보너스 팁: 웹 스크래핑 프로젝트에서 더 많은 성과 얻기

Scrapy든, Thunderbit든, 다른 어떤 도구든, 제가 직접 시행착오를 겪으며 배운 모범 사례 몇 가지를 나눌게요.

데이터를 검증하세요: 누락값이나 이상한 값(예: $0 가격, 빈 이름)은 항상 점검하세요
규정을 지키세요: 사이트 서비스 약관을 확인하고, robots.txt를 존중하며, 서버에 과부하를 주지 마세요
현명하게 자동화하세요: 스케줄링으로 데이터를 최신으로 유지하되, 필요 이상으로 자주 긁진 마세요
무료 도구를 활용하세요: Thunderbit에는 무료 이메일, 전화번호, 이미지 추출기가 들어 있어 리드 생성이나 콘텐츠 큐레이션에 아주 쓸모 있어요
분석을 위해 정리하세요: Sheets/Excel로 바로 내보내 필터링, 피벗, 시각화를 빠르게 하세요

팁이 더 필요하면 Thunderbit 블로그나 AI로 어떤 웹사이트든 스크래핑하는 가이드를 확인해보세요.

AI로 웹사이트 데이터를 Excel로 스크래핑하는 방법 Get Started Free

팁이 더 필요하면 Thunderbit 블로그나 AI로 어떤 웹사이트든 스크래핑하는 가이드를 확인해보세요.

결론: 웹 스크래핑을 더 쉽게 — 팀에 맞는 도구를 고르세요

핵심만 짚으면 이래요. Scrapy는 개발자에게는 강력한 도구지만, 대부분의 비즈니스 사용자에겐 과한 선택이에요. Python에 익숙하고 대규모 맞춤형 스크래퍼를 만들어야 한다면 Scrapy는 훌륭한 답이죠. 하지만 빠르게 움직이고, 코드는 건너뛰고, 번역과 감성 분석이 기본으로 들어간 데이터를 원한다면 Thunderbit가 더 잘 맞아요.

Thunderbit가 비기술 팀의 시간과 스트레스를 얼마나 덜어주는지 저는 직접 봐왔어요. 「이 데이터만 있으면 좋겠다」에서 「이미 스프레드시트에 들어 있다」까지, 몇 시간이 아니라 몇 분이면 돼요. 게다가 AI 제안 필드, 하위 페이지 스크래핑, 원클릭 내보내기 덕분에 웹을 비즈니스 인사이트로 바꾸는 일이 그 어느 때보다 쉬워졌어요.

그러니 다음에 상품 데이터를 긁거나, 가격을 모니터링하거나, 리드 리스트를 만들 일이 생기면 스스로 물어보세요. Python 코드를 짜고 싶나요, 아니면 결과가 필요하신가요? Thunderbit 무료 플랜을 한번 써보고 웹 스크래핑이 얼마나 쉬워질 수 있는지 직접 확인해보세요.

Thunderbit를 무료로 체험하기

더 알고 싶으신가요? Thunderbit 공식 사이트, Chrome 확장 프로그램 다운로드, 또는 Thunderbit 블로그에서 웹 스크래핑 모범 사례를 더 깊이 살펴보세요.

추가 읽을거리:

면책 조항: 웹 스크래핑 활동이 웹사이트 약관과 현지 법률을 지키는지 항상 확인하세요. 애매할 땐 법률 자문을 받는 게 좋아요. 스프레드시트 하나 때문에 중지 요청서를 받는 「스크래퍼」가 되고 싶은 사람은 없으니까요.

Thunderbit의 공동 창업자이자 CEO인 Shuai Guan이 작성했어요. 저는 SaaS, 자동화, AI 분야에서 오랜 경험을 쌓아 왔으니, 여러분이 직접 그 모든 시행착오를 겪지 않아도 되도록요.

AI 웹 스크래퍼 체험하기 Get Started Free

AI로 데이터 추출하기

Google Sheets, Airtable, Notion으로 데이터를 손쉽게 옮겨보세요

Chrome Store Rating

PRODUCT HUNT#1 Product of the Week