웹사이트를 열고 고객 맞을 준비를 끝냈다고 칩시다. 그런데 들어오는 트래픽의 절반이 사람이 아니라면 어떨까요. 영화 속 로봇 얘기가 아니에요. 검색 엔진, AI 봇, 분석용 스파이더 같은 디지털 크롤러들이에요. 이들은 밤낮없이 사이트를 훑어요. 보이지 않는 손님이 끝없이 드나드는 셈이죠. 2026년 현재, 이건 서버 로그 한 줄짜리 특이 사례가 아니라 일상이 됐어요. 누가, 얼마나 자주, 왜 내 사이트를 크롤링하는지 파악하는 일은 이제 온라인 비즈니스 운영의 기본기예요.
SaaS와 자동화, AI 분야에서 오래 일하면서 웹 크롤링이 변하는 과정을 가까이서 봤어요. 배경의 기술 디테일이던 게 어느새 전면의 비즈니스 과제가 됐죠. 숫자만 봐도 놀라워요. 봇은 이제 인터넷 트래픽의 절반 가까이를 차지하고, 어떤 곳에선 사람보다 많아요. 대규모 언어 모델 학습용으로 콘텐츠를 쓸어 담는 AI 크롤러가 늘면서, 인프라와 예산과 브랜드에 걸린 부담도 그만큼 커졌어요. 최신 웹 크롤링 통계와 업계 벤치마크, 그리고 이게 2026년 여러분 비즈니스에 무슨 뜻인지 짚어볼게요.
2026년 웹 크롤링: 현황 한눈에 보기
AI로 어떤 웹사이트든 데이터 추출 Get Started Free
웹 크롤링은 규모도 복잡성도 완전히 다른 단계에 들어섰어요. 매일 수십억 건의 자동 요청이 인터넷을 오가고, 크롤러 집단은 계속 불어나요. 예전 주역은 Googlebot, Bingbot 같은 검색 엔진 봇이었어요. 페이지를 색인해서 사용자가 검색 결과에서 찾게 해주는 역할이었죠. 지금은 AI 데이터 크롤러, 소셜 미디어 스크래퍼, 분석 봇 같은 새 세대가 합류했어요.
가장 중요한 수치는 하나로 모이지만, 기준에 따라 조금씩 달라져요. Cloudflare의 Year in Review 2025를 보면, 2025년 12월 초 자사 네트워크 HTML 요청 중 **약 53%**가 봇과 AI 크롤러였고, 사람 트래픽은 **47%**로 내려갔어요. Imperva도 2026년 4월 29일 발표한 Bad Bot Report 2026에서 자사 기업 고객 데이터를 분석해, 2025년 한 해 **봇 53%, 사람 47%**라는 같은 결론을 냈고요. 관점은 다르지만 결론은 똑같아요. 이제 웹의 절반 이상이 자동화 트래픽이라는 거죠. 규모만 새로워진 게 아니에요. 주인공이 바뀌었어요. 예전엔 검색 색인 봇이 봇 트래픽 대부분이었지만, 2026년엔 챗봇과 답변 엔진을 먹여 살리는 AI 학습 크롤러 비중이 빠르게 늘고 있어요.
생태계도 훨씬 다양해졌어요.
- 좋은 봇: 검색 색인 봇, 가동 시간 모니터링 봇, 합법적인 데이터 스크래퍼.
- 나쁜 봇: 스팸, 해킹, 무단 스크래핑.
- AI 크롤러: AI 학습과 실시간 답변을 위해 콘텐츠를 모으는 새 주자들.
AI 크롤러는 검색 엔진 봇과 움직임이 다른 경우가 많아요. 키워드만 색인하는 게 아니라 의미 분석을 위해 페이지 전체를 가져가기도 해요. 며칠 만에 수백만 건을 쏟아붓는 대규모 작업도 흔하고요. 그래서 웹 크롤링은 이제 어디에나 있고, 계속 커지고, 더 다양해지는 흐름이 됐어요. 전통적인 색인 작업과 AI의 끝없는 데이터 갈증이 한데 섞인 거죠.
모든 비즈니스가 알아야 할 핵심 웹 크롤링 통계
2026년 웹을 바꾸는 수치들을 짚어볼게요. 재미로 보는 숫자가 아니에요. 인프라와 콘텐츠 전략, 수익까지 영향을 주는 기준점이에요.
봇 vs 사람: 트래픽 전쟁의 승자는?
- Imperva, Bad Bot Report 2026 (2026년 4월): 2025년 자동화 트래픽이 전체 웹 트래픽의 **53%**에 도달했어요. 2024년 51%에서 오른 거죠. 사람 트래픽은 49%에서 **47%**로 줄었고요.
- Cloudflare Year in Review 2025: 2025년 12월 2일 기준 Cloudflare 네트워크 HTML 요청 중 **47%**가 사람, **44%**가 비-AI 봇, 나머지 **약 9%**가 AI 봇과 Googlebot이었어요.
- 특정 분기만의 일시적 변동이 아니에요. Imperva 데이터를 보면 봇 비중은 2019년 이후 매년 꾸준히 올라요. 2024년에서 2025년으로의 급증은 흔한 스크래핑·자격 증명 스터핑 조합이 아니라 AI 학습 크롤러가 끌어올린 거예요.
- 사이트 운영자에게 의미하는 것: 분석에서 봇 필터링을 빼면 원시 요청의 거의 절반이 사람이 아니에요. 봇을 분리 안 한 원시 로그로 인프라를 잡으면 과잉 설계가 돼요. 반대로 봇 용량을 너무 적게 잡으면 진짜 사람 절반의 사용자 경험이 망가지고요.
AI 크롤러 급증
- AI 봇 트래픽 비중은 계속 오르는 중이에요. Cloudflare의 Year in Review 2025에 따르면 2025년 말 AI 봇(Googlebot 제외)이 HTML 요청의 약 4.2%, Googlebot 단독으로 추가 **4.5%**를 차지했어요. 3년 전엔 존재하지도 않던 카테고리가 이제 Googlebot에 맞먹는 규모가 된 거예요.
- OpenAI의 GPTBot은 2025년 5월 크롤러 요청의 7.7%에서 2025년 말 **고유 페이지 요청의 3.6%**로 내려왔어요(Cloudflare YIR 2025). 숫자가 작아 보이는 건 Cloudflare가 분모를 고유 페이지로 바꿨고, 동시에 경쟁이 치열해졌기 때문이에요. 원시 물량 기준으론 GPTBot이 여전히 공개 웹 상위 3개 AI 크롤러 중 하나고요.
- Anthropic의 ClaudeBot은 2025년 말 고유 페이지 요청의 약 **2.4%**로 Meta-ExternalAgent와 함께 상위권이에요. ClaudeBot 비중은 전년 대비 한 번 떨어졌다가(Cloudflare 2024년 5월~2025년 5월 구간 46% 감소) Anthropic의 재학습 확대와 함께 다시 올라왔어요.
- PerplexityBot은 절대량으로 보면 아직 작아요. 2025년 말 고유 페이지 요청의 약 0.06% 수준이죠. 다만 주요 AI 봇 중 성장 속도는 가장 가팔라요.
- Googlebot은 공개 웹에서 압도적 1위 크롤러예요. Cloudflare Year in Review 기준 PerplexityBot 고유 페이지 물량보다 약 200배 많았어요.
맥락 속의 크롤러 트래픽
2025년 말 Reddit 스레드에서 나온 실제 사례예요. 한 개발자가 30일치 서버 로그를 뜯어본 결과죠.
| 트래픽 소스 | 요청 수(월간) | 크롤러 내 비중 |
|---|---|---|
| 실제 사용자(사람) | 24,647,904 | -- |
| Meta Crawler(Facebook) | 11,175,701 | 57.3% |
| Perplexity AI | 2,512,747 | 12.9% |
| Googlebot | 1,180,737 | 6.1% |
| Amazonbot | 1,120,382 | 5.7% |
| OpenAI GPTBot | 827,204 | 4.2% |
| ClaudeBot(Anthropic) | 819,256 | 4.2% |
| Bingbot | 599,752 | 3.1% |
| ChatGPT-User(OpenAI) | 557,511 | 2.9% |
| Ahrefs Crawler | 449,161 | 2.3% |
| ByteDance Spider | 267,393 | 1.4% |
이 사이트에선 봇이 전체 트래픽의 **44%**를 차지했어요. Meta 크롤러 하나만으로 실제 사용자 전체와 거의 맞먹는 요청이 나왔고요.
전체 그림
- 크롤러 트래픽(검색 + AI 봇)은 2024년 5월부터 2025년 5월 사이 18% 늘었어요(blog.cloudflare.com).
- LLM 학습 봇은 일부 주요 CDN에서 전체 봇 트래픽의 거의 80%를 차지했어요(webscraft.org).
- Cloudflare 네트워크는 2025년 말 AI 봇만으로 하루 약 500억 건의 크롤러 요청을 처리했어요(webscraft.org).
AI 크롤러의 부상: AI가 웹 크롤링을 어떻게 바꾸고 있나
핵심은 AI 크롤러예요. 이 봇들은 검색용으로 사이트를 색인하는 데 그치지 않아요. 대규모 언어 모델을 학습시키거나 즉석에서 AI 답변을 내주려고 콘텐츠를 마구 가져가요. 그 규모가 웬만한 검색 엔진을 압도할 정도고요.
AI 크롤러 붐은 왜 생겼을까?
- 데이터를 끝없이 먹는 AI 모델: 요즘 LLM은 방대하고 다양한 데이터셋이 필요해요. 웹이 그들의 뷔페이고, 여러분 콘텐츠가 메뉴에 올라가 있는 셈이죠.
- 학습 vs 실시간 답변: AI 봇 크롤링의 약 80%는 답변 제공이 아니라 학습이 목적이에요.
- 새로운 크롤링 패턴: AI 봇은 사이트를 한꺼번에 대규모로 치기도 하고, 재학습이나 모델 업데이트 때 며칠 만에 수백만 페이지를 긁기도 해요.
AI 크롤러는 어떻게 다르게 움직일까
- 크롤러당 요청량이 훨씬 많아요: AI 봇 하나가 한 사이트에 월 수백만 건을 만들 수 있어요(Reddit 사례).
- 콘텐츠 범위가 더 넓어요: HTML만이 아니라 PDF, 이미지, 코드까지 말 그대로 다 가져가요.
- robots.txt를 덜 지키는 경우: 일부 AI 크롤러는 크롤링 가이드라인을 무시하거나 절반만 따라요(blog.cloudflare.com).
- 돌아오는 레퍼럴이 거의 없어요. 퍼블리셔가 가장 걱정할 대목이에요. Cloudflare의 2025년 7월 crawl-to-click 분석을 보면 Anthropic은 크롤링 38,000페이지당 방문 1번, OpenAI는 1,091:1, Perplexity는 194:1 수준이었어요. 반면 Google의 전통적 검색 크롤러는 몇 페이지마다 한 번은 추천 유입을 돌려줘요. AI 크롤러는 많이 가져가고 거의 안 돌려줘요. 챗봇 UI 안에서 답이 바로 렌더링될수록 이 격차는 더 벌어지고 있고요.
산업별 AI 크롤러 트래픽
모든 산업이 똑같이 크롤링되진 않아요. 예를 들면:
- 뉴스 & 출판: AI 크롤러 활동이 아주 많지만 레퍼럴 비율은 조금 나아요(예: Perplexity의 뉴스 사이트 크롤링 대비 추천 유입 비율은 전체 평균 118:1 대비 33:1) (blog.cloudflare.com).
- 기술 & 전자: GPTBot과 Amazonbot이 우세하고, 크롤링 대비 추천 유입 비율도 여전히 높아요(예: 기술 업종에서 OpenAI 비율은 402:1) (blog.cloudflare.com).
- 금융, 학계, 기타: 섹터마다 봇 구성과 추천 유입 비율은 다르지만 흐름은 분명해요. AI 크롤러는 어디에나 있고, 대부분 트래픽을 별로 안 돌려줘요.
2026년 주요 웹 크롤러: 누가 가장 많이 웹을 크롤링할까?
이 크롤링 무대의 주인공은 누구일까요. Cloudflare의 2025년 중반 데이터로 순위를 보면 이래요.
| 크롤러(운영사) | 고유 페이지 요청 비중(2025년 10~11월) | 비고 |
|---|---|---|
| Googlebot(Google) | 11.6% | 여전히 가장 큰 단일 크롤러입니다. Cloudflare YIR 2025 기준 PerplexityBot 대비 약 200배 규모입니다. |
| GPTBot(OpenAI) | 3.6% | 전용 AI 학습 크롤러 중 가장 큽니다. Cloudflare가 분모를 바꾸고 AI 봇 수가 늘면서 2025년 5월 대비 비중은 하락했습니다. |
| Bingbot(Microsoft) | 2.6% | Bing 검색과 Copilot grounding 둘 다를 지원합니다. |
| Meta-ExternalAgent | 2.4% | Llama 학습을 위한 Meta의 콘텐츠 수집 크롤러입니다. 2025년에 상위 5위권에 진입했습니다. |
| ClaudeBot(Anthropic) | 2.4% | 연초의 큰 전년 대비 하락 이후 2025년 말 다시 반등했습니다. |
| Applebot(Apple) | 빠르게 상승 중 | Cloudflare 데이터의 2차 분석에 따르면 2026년 1분기에 상위권으로 급상승했습니다. |
| PerplexityBot | 0.06% | 절대 비중은 작지만, 주요 AI 봇 중 상대 성장률이 가장 빠릅니다. |
출처: Cloudflare Year in Review 2025, 2025년 10~11월에 크롤링된 고유 페이지 비중 기준. 참고: 이는 앞선 보고서에서 쓴 2025년 5월의 “전체 크롤러 요청 비중”과는 분모가 달라요. 순위 비교는 되지만, 퍼센트 자체를 직접 비교하면 안 돼요.
핵심만 짚으면:
- Googlebot은 여전히 왕이에요. 전체 크롤링 활동의 절반을 책임지죠.
- GPTBot과 Meta 크롤러는 가장 빠르게 치고 올라와요. GPTBot 비중은 1년 만에 3배가 됐고요.
- PerplexityBot과 ChatGPT-User 계열은 비중은 작아도 성장 속도는 무척 빨라요.
웹 크롤링 벤치마크: 크롤링 속도, 처리량, 성능
웹 크롤링은 양만의 문제가 아니라 속도와 효율의 문제이기도 해요. 2026년 기준 크롤링 속도와 성능 벤치마크에서 알아둘 내용을 정리해볼게요.
크롤링 속도: 크롤러는 얼마나 빨리 페이지를 가져올까?
- 크롤링 속도는 보통 초당 페이지 수(또는 초당 요청 수)로 재요(IBM).
- 스레드/병렬 연결 수: 스레드가 많을수록 잠재 크롤링 속도는 올라가요. 사이트당 2초 지연으로 200개 스레드를 쓰면 초당 약 100페이지를 가져올 수 있어요(IBM).
- 실전 벤치마크: 잘 최적화된 크롤러가 괜찮은 서버 클러스터에서 내는 속도는 보통 초당 100~200페이지예요.
- Google과 Bing: 전 세계 수백만 사이트에 분산해서 초당 수천 페이지를 가져올 가능성이 커요.
크롤링 속도에 영향을 주는 요소
- 스레드/병렬 가져오기 수: 스레드가 많을수록 빨라져요. 다른 병목이 생기기 전까지는요.
- 활성 사이트 수: 여러 도메인을 동시에 크롤링하면 처리량이 곱으로 늘어요.
- 크롤 딜레이/대기 시간: 대기가 길수록 속도는 느려져요.
- 리소스 한계: 대역폭, CPU, 데이터베이스 쓰기 속도 모두 병목이 될 수 있어요.
- 대상 사이트 성능: 느리거나 속도 제한이 걸린 사이트는 크롤링 속도를 끌어내려요.
예를 들어 크롤러에 스레드 100개와 사이트당 1초 지연이 있으면 초당 약 100페이지를 가져올 수 있어요. 단, 데이터베이스가 그 속도를 못 따라오면 병목은 네트워크가 아니라 저장소 쪽에서 생기겠죠.
웹 크롤링의 비즈니스 영향: 비용, 기회, 리스크
웹 크롤링은 기술적 호기심거리가 아니에요. 실제 비용과 기회가 걸린 비즈니스 이슈죠.
비용: 인프라와 예상 밖의 청구서
- 서버 부하: 봇 요청 하나하나가 CPU, 메모리, 대역폭을 써요.
- 클라우드 요금: 서버리스처럼 사용량 기반 과금이면 봇이 꽤 큰 비용을 만들 수 있어요. 한 개발자는 Meta 크롤러가 한 달에 1,100만 요청을 보내면서 서버리스 요금이 30달러(약 4만 원)에서 1,933달러(약 270만 원)로 뛰는 일을 겪었어요.
- 분석 왜곡: 봇 때문에 웹 분석 수치가 흔들리면 진짜 사용자 행동을 읽기가 훨씬 어려워져요.
기회: 노출과 데이터 활용
- AI 및 검색 노출: AI 학습 데이터나 검색 색인에 들어가면 브랜드 도달 범위가 넓어질 수 있어요(blog.cloudflare.com).
- 경쟁 정보 수집: 기업들은 시장 조사, 가격 모니터링 등에 크롤러를 써요.
- 수익화: 일부 퍼블리셔는 콘텐츠를 AI 기업에 라이선스하는 단계로 넘어가고 있어요.
리스크: 콘텐츠 오용과 트래픽 손실
- 콘텐츠 오용: AI 크롤러가 여러분 콘텐츠를 모델에 흡수해 버릴 수 있어요. 명확한 허가나 보상 없이 진행되기도 하고요.
- 추천 유입 손실: AI 답변이 사용자의 궁금증을 사이트 방문 없이 해결하면, 결국 “중간 매개가 사라지는(disintermediation)” 현상이 생겨요.
- 보안과 다운타임: 공격적인 크롤러는 서버를 과부하시켜 속도 저하나 장애를 일으킬 수 있어요.
웹 크롤러 트래픽 관리: 모범 사례
그럼 봇이 내 예산과 트래픽을 먹어치우지 못하게 하려면 어떻게 할까요?
1. robots.txt를 잘 설정하세요
robots.txt로 특정 봇을 허용하거나 막을 수 있어요. Googlebot처럼 믿을 만한 크롤러 대부분은 따르지만, 많은 AI 봇은 안 그럴 수 있어요(blog.cloudflare.com).- 2025년 중반 기준, 상위 사이트의 약 14%가 AI 봇용 명시적 규칙을 추가하기 시작했어요(blog.cloudflare.com).
2. 봇 관리 도구를 쓰세요
- 웹 애플리케이션 방화벽(WAF)과 봇 관리 서비스는 의심스러운 트래픽을 막거나 속도 제한을 걸 수 있어요.
- Cloudflare 같은 공급업체는 봇 완화 기능에 더해 콘텐츠 제작자를 위한 “AI Audit” 도구까지 제공해요(blog.cloudflare.com).
3. 속도 제한과 캐싱을 적용하세요
- 한 봇이 짧은 시간에 몰아치는 요청엔 속도 제한을 거세요.
- 가능하면 봇에겐 캐시된 콘텐츠를 주세요. 비싼 서버리스 함수나 데이터베이스 쿼리를 굳이 돌리게 두지 마시고요(Reddit 예시).
4. 봇 트래픽을 모니터링하고 분석하세요
- 서버 로그를 꾸준히 확인하세요. 어떤 봇이 언제 얼마나 자주 들어오는지 알아야 해요.
- 비정상적인 트래픽 급증에 대한 알림을 걸어두세요.
5. 새 표준보다 한발 앞서가세요
- AI 사용 허용을 위한 새 메타 태그나 HTTP 헤더를 챙기세요(예:
<meta name="ai:allow" content="no">). - ContentSignals.org 같은 업계 이니셔티브와 x402 같은 결제 프로토콜도 계속 살펴보세요.
2026년 이후 주목해야 할 웹 크롤링 트렌드
2025년에 데이터 스크래핑이란 무엇이며 어떻게 하는가 Get Started Free
웹 크롤링 환경은 빠르게 변해요. 제가 챙겨보는 것, 그리고 여러분도 챙겨야 할 것들이에요.
- AI 기반 크롤링은 계속 늘어요: 텍스트, 이미지, 영상 등 더 다양한 콘텐츠를 크롤링하는 AI 봇이 더 많아질 거예요.
- 콘텐츠 라이선싱과 결제 표준: 이제 “무법지대”라는 표현은 시대에 안 맞아요. Anthropic은 2025년 말 저작권 학습 데이터 소송에서 15억 달러(약 2조 원) 합의를 발표했어요. 출판사와 AI 기업 간 합의 중 최대 규모죠. Meta는 CNN, Fox News, People Inc., USA Today와 장기 콘텐츠 라이선스 계약을 맺었고, 올해 초의 AP–Google, Axios–OpenAI 계약도 이젠 예외가 아니라 하나의 템플릿으로 통해요. 물론 새 소송도 계속 나와요. 2026년 5월 5일엔 출판사 5곳이 맨해튼에서 Meta를 상대로 소송을 냈고요. 법적 환경은 아직 정리 전이지만 방향은 분명해요. 콘텐츠는 이제 그냥 긁어 가는 대상이 아니라, 값이 매겨지고, 비용이 지불되고, 법적 분쟁의 대상이 됐어요. 프로토콜 쪽에선 x402와 ContentSignals.org가 각각 머신 결제와 머신 권한 레이어의 유력 후보로 떠올라요.
- 규제가 따라옵니다: 특히 AI 학습 데이터를 두고 봇이 뭘 할 수 있고 없는지에 대한 법적 명확성이 더 필요해질 거예요(reuters.com).
- 콘텐츠 사용을 위한 기술 표준: 새 메타 태그, robots.txt 확장, 기계 판독 가능한 봇 선언을 주목하세요.
- 퍼블리셔와 AI의 협업: 더 많은 퍼블리셔가 수동적 대상에 머물지 않고, AI 기업과 구조화된 데이터 피드나 API를 협상하게 될 거예요.
결론: 이 웹 크롤링 통계가 여러분의 비즈니스에 의미하는 것
핵심은 이거예요. 웹 크롤링은 2026년에 지배적인 힘이 됐고, 속도는 전혀 줄지 않아요. 자동화 봇, 특히 AI 크롤러는 이제 트래픽의 큰 몫을 차지하고, 인프라와 예산, 콘텐츠 전략에 주는 영향도 계속 커지고 있어요.
무엇을 해야 할까요?
- 봇 트래픽을 당연한 전제로 두세요: 인프라, 예산, 모니터링 계획에 반영해야 해요.
- 크롤러를 구분해서 보세요: 봇이 다 같지 않아요. 각각에 맞게 대응 전략을 짜세요.
- 지표를 모니터링하세요: 사람 방문자만큼 봇 트래픽도 추적해야 해요.
- 콘텐츠와 비용을 지키세요: 기술적 제어, 법적 계약, 새 표준을 활용하세요.
- 장점을 살리세요: AI와 검색 색인에 들어가면 브랜드를 키울 수 있어요. 다만 그만한 값어치를 얻고 있는지 확인하세요.
- 계속 배우고 적응하세요: 크롤링 환경은 빠르게 변해요. 새 표준, 규제, 비즈니스 모델을 계속 살피세요.
오래 자동화와 AI 도구를 만들어 왔고 지금은 Thunderbit에서 일하는 사람으로서 한마디 하면, 이 시대에 성장하는 비즈니스는 웹 크롤링을 단순한 기술적 불편이 아니라 전략적 우선순위로 다뤄요. 영업, 이커머스, 마케팅, 부동산 어디에 있든 웹 크롤링 통계와 업계 벤치마크를 이해하는 일은 이제 기본 소양이에요.
다음에 서버 로그를 열어 봇들이 줄지어 있는 걸 보더라도 한숨만 쉬고 넘기지 마세요. 데이터를 활용하고, 내 사이트를 벤치마크하고, 전술을 조정하세요. 그리고 기억하세요. AI 시대의 봇은 오고 있는 게 아니라 이미 와 있어요. 그들을 여러분 편에서 일하게 만드세요. 반대로 흘러가게 두지 말고요.
늘 경계하고, 늘 호기심을 유지하며, 서버 로그가 언제나 여러분 편이길 바라요.
Thunderbit AI 웹 스크래퍼를 무료로 사용해 보세요
웹 스크래핑, 자동화, AI 기반 생산성을 더 알고 싶으세요? 심층 분석, 사용법, 최신 트렌드는 Thunderbit 블로그에서 확인해 보세요. 직접 데이터를 주도적으로 다루고 싶다면 Thunderbit Chrome 확장 프로그램으로 AI 기반 웹 스크래핑을 써보세요. 코딩도 필요 없고, 번거로움도 없고, 결과만 남아요.
AI 웹 스크래퍼 사용해 보기 Get Started Free
인용 및 추가 읽을거리:
- Googlebot에서 GPTBot까지: 2025년 내 사이트를 크롤링하는 주체는 누구인가(Cloudflare)
- Cloudflare 보고서, 2025년 전 세계 인터넷 트래픽은 19% 증가했지만 그중 상당수는 봇이었다(TechRadar)
- AI 시대의 크롤링 작동 방식 2025(Webscraft)
- Meta의 크롤러가 30일 만에 내 사이트에 1,100만 건의 요청을 보냈다(Reddit)
- 모니터링 - 웹 크롤러 크롤링 속도(IBM)
- 2025년 퍼블리셔와 AI 기술 기업 간 주요 계약 타임라인(Digiday)
- Coinbase와 함께 x402 Foundation 출범(Cloudflare)
