Веб-скрапинг незаконен? Полное руководство по законам, рискам и compliance

웹 스크래핑, 이거 불법일까? 이 질문은 매주 창업자, 마케터, 데이터 좋아하는 사람들한테 꼭 받는 얘기예요.

지금 는 점, 그리고 자동화 트래픽이 처음으로 사람 트래픽을 앞질렀다는 점을 보면, 그 상당 부분이 비즈니스 분석, 세일즈, AI 학습을 위한 웹 스크래핑과 연결돼 있다는 걸 알 수 있어요. 그러니 다들 어디까지가 합법인지 헷갈려 하는 것도 전혀 이상하지 않죠.

어느 날은 법원이 공개 데이터 수집은 괜찮다고 판결했다는 기사가 보이고, 다음 날에는 규제 당국이 소셜미디어 데이터의 ‘불법’ 수집을 경고합니다. 이런 혼란은 저처럼 매일 Thunderbit에서 AI Web Scraper를 만드는 사람한테도 마찬가지예요.

그래서 결론적으로, 웹 스크래핑은 불법일까요? 답은 단순한 “예”나 “아니오”로 끝나지 않아요. 무엇을 수집하는지, 어디서 가져오는지, 그 데이터를 어떻게 쓰는지, 그리고 당신 나라의 법이 뭐라고 하는지에 따라 달라집니다.

이 글에서는 법적 그림을 차근차근 풀어보고, 흔한 오해도 정리하고, 실무에서 바로 쓸 수 있는 팁과 제 경험담도 조금 섞어서, 솔로 창업자든 Fortune 500 회사의 data 팀이든 법 테두리 안에서 일하는 방법을 이야기해볼게요.

웹 스크래핑과 법: 명확한 선이 있을까?

한 문장으로 답을 원하신다면, 먼저 시간을 아껴드릴게요. 웹 스크래핑에 대해 법이 딱 잘라 그어놓은 빨간 선은 아직 없습니다.

대신 데이터 권리, 개인정보, 지적재산권, 해킹 방지법, 그리고 유명한 Terms of Service(ToS)가 서로 얽힌 복잡한 조각보 같은 구조가 있어요. 이 요소들이 상황에 따라 다 같이 작동할 수 있고, 결과는 결국 케이스별로 달라집니다 ().

핵심 법적 축 세 가지를 보죠:

• 데이터 권리: 보통 사실 정보나 공개 정보, 예를 들면 가격이나 전화번호 같은 건 저작권 보호 대상이 아닙니다. 하지만 기사, 이미지 같은 창작물이나 자체 데이터베이스는 보호될 수 있어요. 특히 EU에서는 ‘database rights’가 중요합니다 ().
• 개인정보: GDPR(유럽), PIPL(중국) 같은 최신 프라이버시 법은 공개된 정보라도 개인 데이터를 규제 대상 자산으로 봅니다. 이름, 이메일, 소셜 프로필을 법적 근거 없이 수집하면 큰 문제로 이어질 수 있어요 ().
• 계약(Terms of Service): 많은 사이트가 ToS에서 스크래핑을 명시적으로 금지합니다. ToS는 법 자체는 아니지만, 법원은 이를 구속력 있는 계약으로 볼 수 있어요. 이를 어기면 소송이 들어올 수 있고, 기술적 제한을 우회하면 안티해킹 규정까지 적용될 수 있습니다 ().

그럼 웹 스크래핑은 불법이냐고요? 경우에 따라 달라요. 어떤 때는 합법, 어떤 때는 불법, 그리고 대부분은 “어떻게 하느냐에 달렸다”가 정답입니다. 디테일이 전부예요.

법적 접근 비교: 미국, EU, 영국, 중국

아래 표는 주요 지역이 웹 스크래핑을 어떻게 보는지 간단히 정리한 거예요:

(, )

웹 스크래핑은 불법일까? 핵심 법적 요소

그럼 실제로 내 데이터 수집 프로젝트가 합법인지, 아니면 위험한지 뭐가 가르냐고요? 핵심은 아래 요소들입니다:

• 공개 데이터 vs. 비공개 데이터: 누구나 볼 수 있는 인터넷 공개 정보는 보통 더 안전합니다. 반대로 로그인, paywall, 기술적 차단 뒤에 있는 데이터라면 불법일 가능성이 높아요 ().
• 데이터 유형: 이름, 이메일, 프로필 같은 개인정보는 프라이버시 규제를 받습니다. 기사, 이미지처럼 저작권 있는 콘텐츠는 통째로 복사하면 안 됩니다. 가격, 날씨 같은 사실 정보는 일반적으로 괜찮은 편이에요 ().
• 사용 목적: 내부 분석이나 연구는 보통 더 관대하게 봅니다. 반면 수집한 데이터를 재게시하거나 판매하면 훨씬 위험해요. 스크래핑한 데이터를 원천 사이트와 직접 경쟁하는 용도로 쓰면 거의 확실히 소송으로 갑니다 ().
• 사이트 규칙 준수: robots.txt와 ToS는 꼭 확인하세요. robots.txt는 법적 효력은 없지만 best practice로 존중하는 게 맞습니다. ToS 위반은 민사소송으로 이어질 수 있고, 경우에 따라 더 큰 문제로 번질 수 있어요 ().
• 기술적 보호조치: 사람처럼 적당한 속도로 움직이고, 보호장치를 우회하지 않는 게 중요합니다. 서버를 과하게 두드리거나 CAPTCHA를 뚫으면 선을 넘을 수 있고, 안티해킹 규정에 걸릴 수 있어요 ().

2024–2026년에 바뀐 것: 주요 판례와 규제

2023년 이후 웹 스크래핑을 둘러싼 법 환경은 꽤 많이 바뀌었습니다. 데이터 수집을 하는 사람이라면 꼭 알아야 할 흐름이에요:

핵심 판결

• Meta v. Bright Data (2024): 미국 연방법원은 . 판사는 “계정이 없으면 방문자는 ‘user’로 볼 수 없다”고 봤어요. 이후 Meta는 남아 있던 청구도 철회했습니다. 공개 데이터 수집에선 아주 중요한 승리입니다.

• X Corp v. Bright Data (2024): Twitter, 지금의 X도 비슷한 소송에서 졌고, 같은 원칙이 굳어졌습니다. 로그인하지 않은 상태에서 공개 데이터를 수집하는 건 ToS 위반이 아니다라는 거예요. 스크래퍼는 그 약관에 동의한 적이 없기 때문이죠.

• Reddit v. Perplexity AI (2025년 10월): Reddit이 . DMCA를 근거로, 안티봇 시스템이 우회됐다고 주장했어요. 이건 플랫폼들이 이제 CFAA보다 저작권과 우회 방지 규정에 더 기대는 방향으로 움직인다는 신호입니다.

• NYT v. OpenAI (2025년 3월): 연방법원 판사는 . OpenAI의 기각 요청은 받아들여지지 않았어요. 이 사건은 스크래핑한 데이터를 AI 학습에 쓰는 게 “fair use”인지 판단하는 데 중요한 선례가 될 수 있습니다.

• Anthropic 합의(2025년 9월): Anthropic은 AI 모델 학습에 저작권이 있는 텍스트를 사용한 집단소송과 관련해 . AI용 스크래핑의 비용이 현실적이라는 걸 보여주는 사례예요.

핵심 흐름: CFAA에서 계약법·저작권으로

분위기가 분명해지고 있습니다. CFAA(Computer Fraud and Abuse Act)는 공개 데이터 스크래핑을 막는 무기로서 힘이 약해지고 있어요. Meta, X, LinkedIn처럼 CFAA를 앞세웠던 회사들은 대체로 원하는 결과를 얻지 못했습니다. 이제 법적 전장은 다음 쪽으로 옮겨가고 있어요:

• 계약법: ToS 위반 문제. 다만 법원은 로그인하지 않은 사람에게 ToS가 적용되지 않을 수 있다고 보고 있어요.
• 저작권 주장: 특히 AI 학습 데이터와 관련해서요.
• 기술적 보호조치 우회 방지 규정: DMCA Section 1201

스크래핑하는 사람 입장에선 위험이 사라진 게 아니라, 위치가 바뀐 셈입니다.

규제 변화

• CCPA 2026 업데이트: 캘리포니아의 개정 CCPA 규정이 되면서 자동화된 의사결정 기술(ADMT), 리스크 평가, data broker 의무에 대한 새로운 요구가 추가됐습니다.
• 미국 주별 새 개인정보법: 인디애나, 켄터키, 로드아일랜드가 2026년에 포괄적 데이터 보호법을 도입했습니다.
• EU AI Act: 전면 적용은 부터 시작되며, AI 학습 데이터 출처 공개, 저작권이 있는 자료에 대한 사용 거부 존중, 얼굴 이미지 스크래핑 금지를 요구합니다.
• AI Accountability for Publishers Act (2026년 2월): AI 회사가 퍼블리셔의 콘텐츠를 수집하기 전에 허가를 받고 비용을 지급하도록 요구할 수 있는 미국 법안입니다.

대형 플랫폼의 스크래핑 정책: 꼭 알아야 할 것들

모든 사이트가 스크래핑에 똑같이 반응하진 않아요. 아래는 플랫폼별로 무엇이 허용되고, 무엇이 막히고, 법원은 어떻게 보는지 정리한 내용입니다:

결론: 법원은 일관되게 로그인하지 않은 상태에서 공개 데이터를 수집하는 행위는 CFAA 위반이 아니다라고 보고 있습니다. 하지만 플랫폼은 여전히 계약법, 저작권, 보호조치 우회 규정으로 압박할 수 있고, 기술적 장벽으로도 꽤 괴롭힐 수 있어요. 항상 책임 있게 스크래핑하세요.

AI 학습 데이터와 웹 스크래핑: 새로운 법적 경계

2026년 뉴스를 보고 있다면 이미 느꼈겠지만, AI 모델 학습용 데이터 수집은 지금 가장 뜨거운 법적 전장입니다. 상황은 이렇습니다:

• 저작권 소송이 계속 늘고 있습니다. The New York Times, 저자들, 퍼블리셔들은 OpenAI, Anthropic 같은 회사들을 상대로 대규모 소송을 냈고, 스크래핑한 저작권 콘텐츠로 LLM을 학습시키는 게 fair use가 아니라고 주장합니다. Anthropic은 2025년에 15억 달러 규모의 집단소송 합의에 도달했는데, AI 스크래핑의 비용이 현실적이라는 뜻이죠.
• ‘fair use’ 방어는 불안정합니다. 미국 법원은 아직 스크래핑으로 얻은 데이터를 AI 학습에 쓰는 것이 공정 이용인지 최종 결론을 내리지 않았습니다. 초기 판결들을 보면 핵심은 어떻게 데이터를 얻었는지, 그리고 AI 결과물을 무엇에 쓰는지에 달려 있어요.
• 새 법안이 나오고 있습니다. 는 2026년 2월 발의됐고, AI 회사가 퍼블리셔 콘텐츠를 수집하기 전에 허가를 받고 비용을 지불하도록 요구할 가능성이 있습니다.
• EU AI Act는 되며, AI 학습 데이터 출처 공개, 저작권 자료에 대한 기계 판독 가능한 거부 존중, AI 생성 콘텐츠 표시를 요구합니다. 또 인터넷에서 얼굴 이미지를 스크래핑하는 AI 시스템도 금지합니다.
• AI/LLM 크롤러가 폭증하고 있습니다. AI 크롤러의 웹 트래픽 비중은 8개월 만에 2.6%에서 10.1%로 뛰었습니다. OpenAI GPTBot만 해도 305% 성장했어요. 이에 따라 Amazon, Reddit, NYT 같은 대형 사이트는 robots.txt를 업데이트해 AI 크롤러를 명시적으로 차단하고 있습니다.

이게 의미하는 바: 리드 생성, 가격 모니터링, 시장 조사 같은 전통적인 비즈니스 목적이라면 이런 AI 전용 규정이 직접 적용되지 않을 수 있어요. 하지만 수집한 데이터를 AI 모델에 넣는 순간 얘기는 완전히 달라집니다. 그땐 정말 조심해야 하고, 법률 자문은 거의 필수예요.

나라별 웹 스크래핑 법: 한눈에 보는 비교

이제 글로벌 그림을 보죠:

• 미국: 전면 금지는 없습니다. 공개 사이트 데이터 수집은 대체로 합법이고(), 2024년 Meta와 X Corp 판결로 공개 데이터 수집 쪽 입장이 더 강해졌습니다. 다만 로그인 뒤 데이터나 기술적 장벽을 우회하는 스크래핑은 CFAA 이슈가 있을 수 있어요. 지금은 계약법과 저작권 주장이 더 중요한 축으로 이동 중입니다. 개인정보 규제도 빠르게 늘고 있고, CCPA 개정안은 2026년 1월 1일부터 시행되며 자동화된 의사결정과 data broker 의무에 대한 규칙을 새로 넣었습니다. 2026년에는 인디애나, 켄터키, 로드아일랜드도 포괄적 개인정보법을 도입했어요.
• 유럽연합: 프라이버시 법이 매우 강합니다. GDPR은 공개된 개인정보에도 적용돼요. database rights는 구조화된 데이터를 대량 수집할 때 장벽이 될 수 있습니다 (). 새로 중요한 점은 가 2026년 8월 2일 전면 시행된다는 것입니다. AI 학습 데이터 출처 공개와 저작권 자료에 대한 거부 존중을 요구하고, AI 시스템의 얼굴 이미지 스크래핑을 금지합니다.
• 영국: Brexit 이후에도 규칙은 EU와 꽤 비슷합니다. 공개 데이터는 수집할 수 있지만 개인정보는 엄격하게 다뤄야 해요. Computer Misuse Act는 무단 접근을 범죄로 볼 수 있습니다.
• 중국: 매우 엄격합니다. PIPL과 데이터 보안법은 개인정보 처리에 동의를 요구합니다. 법원은 부정경쟁방지법을 이용해 기업에 피해를 주는 스크래핑을 차단합니다 ().

정리하면, 공개된 비개인 데이터를 내부용으로 수집하는 게 보통 가장 안전합니다. 그 외에는? 현지 법을 꼭 확인하고 조심하세요.

웹 스크래핑 합법성에 대한 흔한 오해

제가 자주 듣는 오해 몇 가지를 정리해볼게요:

• 오해 1: “웹 스크래핑은 무조건 불법이다.”
  아닙니다. 웹 스크래핑 전체를 금지하는 단일 법은 없어요. 어떻게, 무엇을 수집하느냐가 핵심입니다 ().
• 오해 2: “공개 데이터면 마음대로 써도 된다.”
  꼭 그렇진 않아요. 공개 데이터도 프라이버시법이나 저작권으로 보호될 수 있고, ToS가 사용 방식까지 제한할 수 있습니다 ().
• 오해 3: “웹 스크래핑은 해킹이랑 똑같다.”
  아닙니다. 공개 페이지에서 데이터를 모으는 건 해킹이 아니에요. 하지만 로그인 우회나 기술적 장벽을 넘는 건 완전히 다른 이야기입니다 ().
• 오해 4: “안 걸리면 괜찮다.”
  위험한 생각입니다. 많은 사이트가 안티봇 기술로 다 보고 있어요. 조용하다고 허용된 게 아닙니다.
• 오해 5: “출처만 밝히거나 회사 내부에서만 쓰면 다 합법이다.”
  저작자 표시를 했다고 저작권이나 개인정보 규정이 사라지진 않습니다. 내부 사용이 더 안전하긴 하지만, 면허가 생기는 건 아니에요.
• 오해 6: “모든 웹 스크래핑은 프라이버시 침해다.”
  그렇진 않습니다. 모든 스크래핑이 개인정보를 다루는 건 아니니까요. 다만 대량의 개인정보를 보호장치 없이 수집하는 건 거의 항상 불법에 가깝습니다 ().
• 오해 7: “사이트 ToS에 스크래핑 금지라고 쓰여 있으면 무조건 불법이다.”
  꼭 그렇진 않아요. 2024년 Meta v. Bright Data와 X Corp v. Bright Data 판결은, 약관에 동의한 적 없는 사용자에게 ToS가 묶이지 않을 수 있다고 봤습니다. 즉, 로그인 없이 공개 데이터만 수집한다면 사이트 약관이 곧바로 적용되지 않을 수 있어요. 물론 이 분야는 계속 발전 중이지만, 흐름은 꽤 분명합니다.

법을 지키며 데이터 수집하는 방법: 실전 체크리스트

제가 실제로 쓰는, 법적·윤리적으로 안전한 웹 스크래핑 체크리스트는 이렇습니다:

1. 사이트의 Terms of Service를 읽고 따르세요. “no scraping”이라고 적혀 있으면 멈추거나 허가를 요청하는 게 맞습니다 ().
2. 공개 데이터만 수집하세요. 비밀번호가 필요한 순간, 그건 제한된 데이터입니다. 스크래핑하면 안 돼요 ().
3. robots.txt를 확인하고 조심스럽게 움직이세요. 법은 아니지만 예의입니다. 요청 사이에 충분한 간격을 두고 서버에 무리를 주지 마세요 ().
4. 법적 근거가 없으면 개인정보는 피하세요. 꼭 필요하다면 GDPR/CCPA를 지키고, 수집량은 최소화하세요.
5. 수집한 콘텐츠를 통째로 재게시하지 마세요. 가치나 분석을 더하거나, 허가를 받는 편이 낫습니다 ().
6. 저작권 검토 없이 AI 모델에 넣지 마세요. 법이 아주 빠르게 바뀌고 있으니, AI용이면 특히 조심해야 합니다.
7. 가능하면 공식 API나 데이터 덤프를 사용하세요. 원래 그 용도로 만든 것이고, 보통 더 안전합니다 ().
8. 투명하고 책임 있게 운영하세요. 개인정보를 모은다면 사람들에게 알리고, 활동 기록도 남기세요.
9. 수집량을 줄이고 데이터를 안전하게 보호하세요. 필요한 것만 가져오고, 정확하고 안전하게 보관하세요.
10. 변화를 계속 따라가고, 애매하면 변호사와 상의하세요. 법과 판례는 특히 EU AI Act나 미국 주별 프라이버시 법에서 매우 빠르게 바뀝니다. 헷갈리면 전문가에게 물어보는 게 맞아요.

웹 스크래핑 툴을 합법적으로 쓰는 법: 비즈니스가 알아야 할 것

같은 툴은 코딩 없이도 데이터 수집을 가능하게 해주지만, 그래도 책임 있게 써야 합니다:

• compliance를 우선하는 툴을 고르세요. 예를 들어 Thunderbit은 숨겨진 API 해킹이나 무단 접근 없이, 브라우저에서 보이는 것만 수집합니다 ().
• 합법적인 용도로 사용하세요. 내부 분석, 시장 조사, 경쟁사 가격 모니터링은 대체로 안전합니다. 반면 재게시나 데이터 판매는 훨씬 위험해요.
• compliance를 고려해 설정하세요. 요청 간 지연을 넣고, robots.txt를 지키고, 필요한 데이터만 모으는 템플릿을 쓰세요.
• 데이터는 회사 내부에 두세요. 외부 재유통보다 내부 사용이 훨씬 안전합니다.
• 팀 교육을 하세요. 모두가 규칙과 best practice를 알아야 합니다.
• 내장 compliance 기능을 활용하세요. Thunderbit은 위험한 사이트를 알려주고, 사람 속도로 동작하며, 데이터를 서버에 저장하지 않습니다.
• 시스템을 억지로 뚫지 마세요. 도구가 사이트를 못 읽으면, 우회하는 해킹을 시도하지 마세요. 모든 데이터를 무리 없이 얻을 수 있는 건 아닙니다.

Thunderbit의 방식: compliant AI Web Scraper 만들기

에서는 compliance를 아주 중요하게 생각합니다. 우리의 AI Web Scraper가 사용자가 법 안에서 움직이도록 돕는 방식은 이렇습니다:

• 보이는 것만 수집합니다. Thunderbit은 브라우저 세션 안에서 작동하므로, 사람이 직접 복사할 수 없는 데이터는 가져올 수 없어요.
• 사용자에게 경고합니다. 스크래핑 금지 정책이 강한 사이트를 대상으로 하면 경고를 띄웁니다.
• 사람처럼 동작합니다. 로컬이든 클라우드든 서버를 과하게 밀어붙이지 않아요.
• 유연하게 열을 고릅니다. AI가 관련성 높은 열을 추천해서 필요한 것만 담을 수 있게 도와줍니다.
• 하위 페이지와 페이지네이션을 처리합니다. Thunderbit은 일반 사용자처럼 사이트 구조를 따라 움직입니다.
• 개인정보와 보안을 지킵니다. 데이터는 당신에게 남고, Thunderbit은 저장하거나 재사용하지 않습니다.
• compliance에 맞는 내보내기 기능을 제공합니다. Google Sheets, Airtable, Notion, CSV로 바로 내보내 내부에서 안전하게 쓸 수 있어요.
• 스케줄링과 자동화가 가능합니다. 무리 없는 간격으로 반복 수집을 설정할 수 있습니다.
• 34개 언어를 지원합니다. 전 세계 어디서든 compliance를 쉽게 활용할 수 있어요.
• 템플릿을 계속 업데이트합니다. 인기 사이트용 instant templates는 법적·기술적 변화에 맞춰 계속 손봅니다.

compliance를 제품 안에 자연스럽게 녹여 넣음으로써 Thunderbit은 팀이 필요한 데이터를 얻으면서도 법적 스트레스를 줄이도록 돕습니다.

앞서가기: 웹 스크래핑의 법적·기술적 변화에 대응하는 방법

웹 스크래핑은 한 번 세팅하고 끝나는 일이 아니에요. 법도 바뀌고 사이트 구조도 계속 바뀝니다. 뒤처지지 않으려면 이렇게 하세요:

• 법 변화에 계속 주목하세요. 2024–2026년은 변화 속도가 엄청 빨랐습니다. tech law 뉴스, 규제 기관 업데이트, 그리고 같은 업계 블로그를 꾸준히 보세요. 특히 EU AI Act 시행(2026년 8월), 미국 주별 개인정보법, AI 저작권 소송의 진행 상황을 챙겨야 합니다.
• 기술 변화에 맞추세요. 사이트는 UI와 안티봇 방어를 계속 바꿉니다. Amazon, X, Google 같은 대형 플랫폼은 2025–2026년에 방어를 크게 강화했어요. Thunderbit의 AI와 템플릿은 이런 변화에 맞춰 자동 적응하도록 설계됐습니다.
• 가능하면 공식 API를 쓰세요. 사이트가 유료 API 모델로 바뀌면, 안정성과 compliance를 위해 전환을 고려해볼 만합니다.
• 정기적으로 스크래핑 점검을 하세요. 출처를 문서화하고, ToS나 정책 변경을 확인하고, 필요하면 전략을 바꾸세요.
• Thunderbit 템플릿 업데이트를 활용하세요. 우리 팀이 템플릿을 계속 최신 상태로 유지해서, 사이트 변경이나 새 compliance 요구에 신경 덜 써도 됩니다.
• 유연성을 유지하세요. 데이터 소스가 너무 위험해지면 다른 소스로 옮기거나 파트너십을 고민하세요.

올바른 도구와 접근법만 있으면, 데이터를 꾸준히 얻으면서도 법적 지뢰밭은 피할 수 있습니다.

결론: 웹 스크래핑의 법적 지형을 어떻게 읽을까

웹 스크래핑 자체가 불법인 건 아닙니다. 비즈니스, 연구, 혁신에 강력한 도구예요. 다만 어떤 도구든 규칙이 필요하죠. 핵심은 무엇을 수집하는지, 어떻게 수집하는지, 그리고 그 데이터로 무엇을 할 것인지 이해하는 겁니다. 현지 법을 지키고, 사이트 규칙을 존중하고, 같은 compliance 중심 도구를 써서 투명하고 합법적으로 일하세요.

2024–2026년의 판결들(Meta v. Bright Data, X Corp v. Bright Data)은 공개 데이터 수집에 유리한 흐름을 강화했지만, 동시에 AI 학습 데이터, 저작권 주장, EU AI Act라는 새로운 리스크도 생겼습니다. Google, Amazon, LinkedIn, Meta, X는 각각 정책 집행 방식이 다르기 때문에, 스크래핑 전에 반드시 플랫폼별 환경을 이해해야 합니다.

애매하면, 특히 규모가 크거나 민감한 프로젝트라면 법률 자문을 받으세요. 그리고 기억하세요. 이 분야는 계속 바뀌니까, 늘 최신 흐름을 보고 유연하게 움직여야 합니다.

웹 스크래핑, compliance, 자동화에 대해 더 알고 싶다면 를 확인하거나, 직접 을 써보세요.

FAQ

1. 웹 스크래핑은 어디서나 불법인가요?
아니요. 웹 스크래핑 자체가 불법은 아니지만, 합법성은 무엇을 수집하는지, 어떻게 수집하는지, 어디에 있는지에 따라 달라집니다. 공개된 비개인 데이터를 내부 용도로 수집하는 건 대부분 지역에서 보통 허용되지만, 개인정보나 저작권 자료를 수집하거나 사이트 규칙을 어기면 불법이 될 수 있어요 ().

2. robots.txt를 무시하면 스크래핑이 불법이 되나요?
robots.txt는 법적 효력은 없지만 지키는 게 좋습니다. 무시한다고 바로 소송이 생기진 않지만, 분쟁이 생기면 당신이 무례하거나 부주의한 쪽으로 보일 수 있어요 ().

3. Google, Amazon, LinkedIn을 스크래핑해도 되나요?
쉽지 않습니다. 세 플랫폼 모두 ToS에서 스크래핑을 금지하지만, 법원은 로그인하지 않은 사용자에게는 ToS가 적용되지 않을 수 있다고 봤습니다(Meta v. Bright Data, X Corp v. Bright Data, 둘 다 2024년). 공개 데이터(가격, 비즈니스 목록, 공개 프로필)는 미국에서 어느 정도 법적 근거를 만들 수 있어요. 다만 플랫폼별로 집행이 다릅니다. Amazon은 2025년 11월 Perplexity AI를 상대로 소송을 냈고 가장 강하게 대응합니다. LinkedIn은 기술적 장벽과 계약 위반 주장에 의존하고, Google은 DMCA 기반 집행을 강화하고 있어요. 항상 책임 있게 스크래핑하고 기술적 반격에 대비하세요.

4. Facebook이나 Instagram도 스크래핑할 수 있나요?
Meta v. Bright Data(2024) 이후, 로그인하지 않은 상태에서 Facebook과 Instagram의 공개 데이터를 수집하는 건 법적으로 더 탄탄해졌습니다. 법원은 Meta의 ToS가 비사용자에게는 적용되지 않는다고 봤어요. 하지만 가짜 계정을 만들거나 로그인 뒤 데이터를 수집하면 선을 넘는 겁니다.

5. X(Twitter)를 스크래핑해도 되나요?
2023년 X는 ToS를 바꿔 서면 동의 없는 스크래핑을 전면 금지했고, Cloudflare Turnstile, 시간당 300 요청 제한, IP 평판 평가 같은 강한 기술 방어도 도입했습니다. 그래도 Bright Data 사건에서는 공개 데이터, 비로그인 수집에 대해 X가 패소했어요. 기술적으로는 2026년 기준 가장 어려운 플랫폼 중 하나입니다.

6. AI 모델 학습용 데이터 수집은 합법인가요?
2026년 가장 큰 미해결 질문입니다. NYT v. OpenAI, Anthropic의 15억 달러 합의 같은 대형 사건은 높은 법적 위험을 보여줘요. EU AI Act는 학습 데이터 출처 공개와 저작권 자료에 대한 거부 존중을 요구합니다. AI Accountability for Publishers Act도 허가와 보상을 요구할 가능성이 있습니다. AI 학습용으로 데이터를 모으려면 먼저 변호사와 상의하세요.

7. Thunderbit 같은 웹 스크래핑 툴을 가장 안전하게 쓰는 방법은?
공개 데이터만 수집하고, 사이트 규칙을 지키고, 법적 근거 없는 개인정보는 피하고, 데이터를 회사 내부에서만 쓰세요. Thunderbit은 브라우저에서 보이는 것만 수집하고 위험한 사이트를 알려주도록 설계돼 있습니다 ().

8. 수집한 데이터를 상업적으로 써도 되나요?
상황에 따라 다릅니다. 내부 분석이나 연구에 쓰는 건 대체로 더 안전합니다. 하지만 재게시하거나 판매하는 건, 특히 저작권 자료나 개인정보라면 훨씬 위험하고 허가나 라이선스가 필요할 수 있어요.

9. 웹 스크래핑의 법적·기술적 변화는 어떻게 따라가나요?
tech law 뉴스, 대상 사이트의 ToS와 정책을 꾸준히 확인하고, 템플릿과 compliance 기능을 자주 업데이트하는 Thunderbit 같은 툴을 쓰세요. 2026년에는 특히 EU AI Act(8월 시행), AI 저작권 소송, 미국 주별 개인정보법을 주의 깊게 봐야 합니다. 애매하면 변호사에게 물어보는 게 맞습니다.