エグゼクティブサマリー
私たちは、世界で最もトラフィックの多いウェブサイトの Tranco上位10,000件 に含まれるすべてのドメインの robots.txt を取得しました。その後、それぞれを RFC 9309 準拠のパーサーで解析し、サイトが採用している AI ボット方針（該当する場合）ごとに分類し、ChatGPT、Claude、Perplexity、Gemini、Common Crawl、Bytespider、Apple Intelligence、そして 2026 年に大規模言語モデルの学習・提供に関わるその他のクローラーを、世界で最も閲覧されているサイトの何割が実際にブロックしようとしているのかを数えました。
robots.txt を正しく読み取れた 7,248 サイトを対象にした主な数字は次のとおりです。
世界の上位1万サイトの20.3%が、少なくとも1つのAIクローラーをブロックしています。17.0%は意図的に、明示的なAI固有ルールを書いています。残りの80%は、AIクローラーをGooglebotと同じくらい歓迎しています。
物語の見え方を変える発見は6つあります。
- ニュース組織のブロック率は47% で、あらゆる業種の中で最も高くなっています。ドイツのニュースは88%、フランスは80%、ロシアは0%。主因は技術でも業界経済でもなく、法制度です。
CCBot（Common Crawl）が最もブロックされるボットで16.3%。GPTBot（15.8%）やBytespider（14.9%）を上回ります。出版社が狙っているのはモデルブランドではなく、学習コーパスです。最も普及している選択的ルールは「CCBotをブロックし、Googlebotを許可する」（サイトの14.1%）です。.frドメインではフランスが 50.6% で AI ブロック率首位。EU 圏は世界平均を16ポイント上回っています。 275件のrobots.txtが EU 指令 2019/790 を明示的に引用しています。数値を実際に動かしている唯一の法制度は第4条です。- 17.8% が独自のAIルールを作成し、4.5% が Cloudflare のベンダーテンプレートを使い、75.7% は何も書いていません。 大規模サイトは自前で書き、ロングテールはトグルを使っています。The Atlantic と
cloudflare.com自体が Cloudflare Managed の対象に入っています。 - 108サイトが
GPTBotを明示的に許可しています。WordPress.org、Kaspersky、Norton、Avast、Sophos、The Verge、The Atlantic、NBA.com、The Sun、Branch.io などです。セキュリティ系と開発ツール系が目立ちます。 - AI方針は曲線の先端ほど強くなるわけではありません。 上位100、101〜1000、1001〜5000、5001〜10000の各層は、いずれも19%〜23%の範囲に収まっています。ヘッドラインの率は、個々の大規模サイトの大きさを示すものではなく、2026年の公開ウェブ全体の性質です。
もはや物語は、ウェブが「反撃しているか」どうかではありません。どの業界が、どの国が、どの法制度が、そしてどのAIベンダーが、積極的な方針の対象になっているのか、そしてどれが対象になっていないのか、という話です。
I. 背景: robots.txt が AI 方針の文書になった経緯
OpenAI が 2023年8月に GPTBot を公開して以来、robots.txt の意味は3つの力で大きく変わりました。
AIベンダーが増えました。 Google の Google-Extended、Anthropic の ClaudeBot、ByteDance の Bytespider、Apple の Applebot-Extended、Amazon の Amazonbot、Meta の Meta-ExternalAgent が続きました。Common Crawl の既存ボット CCBot は、オープンウェイトモデルの大半にアーカイブを供給しているため、最もレバレッジの高いブロック対象になりました。ベンダー以外のボットも登場しました。AI2Bot、cohere-ai、PerplexityBot、YouBot、DuckAssistBot、Diffbot、Omgili などです。2026年時点の包括的なブロックリストは、約25の名前に達します。
EU 著作権指令 2019/790 の第4条 は、権利者が「機械可読な形で」権利を「明示的に留保」していない限り適用されない、テキスト・データマイニングの法定例外を作りました。2024〜2025年を通じて、EU の出版社とその弁護士は、その留保を示す標準的な方法として robots.txt を採用しました。私たちのデータセットでは、275サイトが指令 2019/790 を明示的に引用し、87サイトが「TDM」に言及しています。主にヨーロッパのニュースサイトで、4〜8行ほどの法的前文として書かれています。
Cloudflare がトグルを製品化しました。 2024〜2025年に Cloudflare は「AI Audit」ダッシュボード、「Block AI Bots」トグル、そして Content-Signal: search=yes,ai-train=no という語彙と EU 2019/790 の定型文を含む Managed robots.txt テンプレートを出しました。2026年5月時点で、このテンプレートは解析可能な上位1万件の4.5%で使われています。Cloudflare のロードマップでは、新規アカウントでこのトグルをデフォルトでオンにすることが公に議論されており、そうなれば、個々の出版社が意思決定をしなくても世界のブロック率は5〜8ポイント動くことになります。
2026年の robots.txt は、もはや2022年のような地味な設定ファイルではありません。EU では条約に支えられた著作権留保の仕組みであり、ロングテールではベンダー形の方針文書であり、ウェブサイト運営者とモデル学習者の間で進む、ゆっくりした交渉の最前線です。
II. 手法
できるだけ地味で再現可能な形にすることを目指しました。完全なパイプライン（Pythonスクリプト、解析済みCSV、生の robots.txt アーカイブ、図表）はこのレポートと一緒に公開しています。
サンプル
まず、2026年5月時点の Tranco リスト を top-1m.csv.zip として取得し、先頭10,000行を対象にしました。Tranco は Cisco Umbrella、Majestic、Farsight、Cloudflare Radar の4つの上流ランキングを集約し、30日ウィンドウで安定性を評価して、明らかなクローラー/CDN ノイズを除外します。その結果は、公開されている中では最も「グローバルなウェブトラフィック上位1万件」に近いものであり、学術ウェブ研究での標準サンプルです（2018年に KU Leuven が公開して以来、600本以上の査読論文で使われています）。
このリストには、(a) 人々が訪れる主なウェブサイト、(b) / を提供しないインフラ/API/DNS/CDN の最上位ドメイン、(c) 大規模プラットフォーム内部で使われるドメイン（例: gvt1.com、apple-dns.net、googleusercontent.com）が混在しています。これらを事前に除外するのではなく、すべて残したうえで、分析層で infrastructure カテゴリとしてタグ付けしました。robots.txt を解析可能だったサイトに絞ると、自然に外れていきます。
取得
10,000ドメインそれぞれに対して、HTTPS 経由で非同期の GET /robots.txt を実行し、HTTP へのフォールバック、最大4ホップのリダイレクト追跡、合計12秒のタイムアウト、500KB の本文上限、Accept-Language: en-US を付けた実ブラウザ風の User-Agent を使いました。同時実行数は80件に固定しました。処理はサンフランシスコの単一の住宅回線 IP から実行しました。
取得結果は次のとおりです。
| ステータス | 件数 | 解釈 |
|---|---|---|
200 OK | 6,638 | robots.txt 本文が返り、解析可能。 |
404 Not Found | 610 | robots.txt が存在しない。RFC 9309 では暗黙の「すべて許可」と定義。 |
403 Forbidden | 563 | オリジンが robots.txt リクエストを積極的に拒否。分析対象外。 |
429 Too Many Requests | 7 | この順位帯では CDN レベルの制限はほぼない。 |
fetch_failed（TLS / DNS / TCP エラー） | 2,065 | 主に CDN 最上位ドメイン（akamai.net、cloudfront.net、fastly.net、gtld-servers.net、apple-dns.net）で、/ に Web サーバーを置いていない。"ブロック" ではなく、提供する robots.txt がない。 |
| その他の 4xx/5xx | 117 | サーバーエラー、ジオフェンス、形式不正レスポンスなどが混在。 |
これにより、解析可能サンプルは7,248サイト（200 が6,638、404 が610） になります。2,065件の fetch_failed は実在ドメインですが、CDN/DNS の最上位点であって、人が訪れるサイトではありません。それらを「AI方針あり」とみなすのは意味がありません。データセット上では、別のアクセシビリティ指標として扱っています。
解析
すべての 200 本文は、Scrapy が本番で使っている RFC 9309 実装である Python ライブラリ protego で解析しました。各（サイト、ボット）ペアについて、次の3点を算出しています。
can_fetch_root— 標準のグループ記録セマンティクス、最長一致ルールの優先順位、User-agent: *と個別ボットブロックが両立する場合の後者による上書きを踏まえ、そのボットが/を取得できるか。has_specific_rule— ファイル内に、このボット名を直接指すUser-agent:行があるか（大小文字は区別しない）。disallow_count— 対応するブロック内にDisallow:指令がいくつあるか。サイト全体禁止とパス単位制限を分けるために使います。
この組み合わせが重要なのは、ヘッドラインの「ブロック率」だけでは、まったく異なる2種類の現象が見えなくなるからです。ひとつは、User-agent: GPTBot \n Disallow: / のように、実際に押し返す意図で人が書いたもの。もうひとつは、何年も前にステージングや保守目的で設定した User-agent: * \n Disallow: / が、たまたまそのテンプレート以前には存在しなかったAIボットもすべて禁止してしまうものです。このレポートでは 「AI ブロックあり」 には両方を含め、「明示的 AI ブロック」 には意図的に書かれた部分だけを含めています。
対象ボット
25のボットを追跡し、3つに分類しました。
- AI 学習クローラー（16）:
GPTBot、ClaudeBot、anthropic-ai、CCBot、Google-Extended、Meta-ExternalAgent、Bytespider、Applebot-Extended、Diffbot、Amazonbot、ImagesiftBot、FacebookBot、cohere-ai、AI2Bot、Omgili、Omgilibot。 - AI 推論 / ライブ取得ボット（7）:
PerplexityBot、Perplexity-User、ChatGPT-User、OAI-SearchBot、ClaudeBot（学習と推論の両方を担う）、YouBot、DuckAssistBot。 - 検索ベースライン（6）:
Googlebot、Bingbot、DuckDuckBot、Slurp（Yahoo）、Baiduspider、YandexBot。
学習と推論の境界をまたぐボットもあります。最も目立つのは ClaudeBot です。Anthropic は 2024年に旧 anthropic-ai UA を廃止し、現在は学習とライブ取得の両方に ClaudeBot を使っているため、Disallow: ClaudeBot というルールは「学習をブロックしつつ可視性は保つ」とはきれいに対応しなくなっています。ここでは割り当てをそのまま残し、その帰結は後で指摘します。
業種分類
各ドメインを 16 の業種バケット（news、social、streaming、ecommerce、search、finance、infrastructure、saas、academia、dev、gov、adult、gambling、travel、telecom、unknown）のいずれかに、層状の方法で分類しました。
- 既知ドメイン辞書 — 約500の高トラフィックドメインを業種に手作業で対応付け。
- TLD / サフィックスパターン —
.gov→gov、.eduと.ac.*→academia、認識済み CDN サフィックス →infrastructure。 - ドメイン名キーワード — news、post、shop、bank、porn、casino などを補助シグナルに使用。
- ホームページ取得 — 先の3層で分類できず、かつ
robots.txtが200を返したサイトについては、ホームページの HTML を取得し、<title>、<meta name="description">、<meta property="og:type">を抽出し、言語モデル風のカテゴリ手がかりに対してキーワードスコアリングを行いました。
その結果、3,407サイト（34%）に確信度の高い業種タグが付き、6,593サイトは unknown のままでした。unknown バケットは、非英語の地域ポータル、1つのバケットに収まりきらない企業 .com ブランド、辞書エントリを持っていない小言語圏の伝統的メディアなどが大半です。本レポートで業種別割合を述べるときの分母は、その業種について分類できたサンプルであり、全10,000ではありません。
III. 発見
発見1 — 上位トラフィックサイトの5分の1が、少なくとも1つのAIボットをブロックしている
解析可能な 7,248 サイトのうち、1,472サイト（20.31%） が少なくとも1つの AI ボットをブロックしています。1,230サイト（16.97%） は、意図的にAI固有のルールを書いています。Googlebot のベースラインは 2.18%（158サイト）で、その大半はメンテナンスのデフォルトとしてすべてをブロックしているか、3件は検索エンジンが競合をブロックしているケースです。
ヘッドラインの20%は Googlebot ベースラインの9倍 です。これは実際のシグナルです。上位トラフィックサイトは検索クローラーよりも1桁以上、AIクローラーをブロックしやすいということです。ただし、2024年以降メディアで続いてきた「AIブロッキングが普及の域に達している」という物語よりは、かなり小さい数字でもあります。ウェブで最も閲覧される1万サイトですら、6分の5の多数派はAIについて沈黙しています。
「AI ブロックあり」（20.3%）と「明示的 AI ブロック」（17.0%）の差は絶対値では小さいものの、概念的には重要です。3.3ポイントの差は、既存の User-agent: * \n Disallow: / ルールが、後から現れた AI ボットも含めて通り過ぎるものをすべて捕まえてしまうために、AI ボットをブロックしているサイトの割合です。17.0% という意図的な数字のほうが、「世界最大級のウェブサイトの何割が AI 固有の判断を下したか」をより正確に表しています。
先行研究と比べると次のとおりです。
| 出典 | 時期 | サンプル | ブロック率 |
|---|---|---|---|
| Originality.ai | 2025年3月 | 人気ニュース1,000件（英語） | GPTBot を35.7%がブロック |
| Palewire | 2024年8月 | ニュース組織1,500件 | いずれかのAIクローラーを36.0%がブロック |
| Reuters Institute | 2025年春 | 有力ニュースブランド50件、10か国 | いずれかのAIクローラーを78%がブロック |
| WIRED / NYT | 2023年末 | 米国上位50ニュース | GPTBot を26%がブロック |
| 本レポート（Thunderbit） | 2026年5月 | Tranco 上位10,000件（全業種） | 20.3% / 明示的 17.0% |
私たちの明示的17.0%がニュースのみの研究より低いのは、サンプルの3分の2がニュースではないからです。650件のニュースサイトに限定すると47%になり、サンプル構成を考慮すれば先行研究と同じ帯域に入ります。構造的な絵は一貫しています。ニュース群は、それ以外のウェブの3〜4倍の割合でAIをブロックしています。
発見2 — 業種別の深掘り: ニュースから通信まで12倍の開き
2年間の「AIスクレイピング」報道で最も引用されてきた発見は、Originality.ai と Palewire による ニュースメディアの80%がGPTBotをブロック という数字でした。私たちの切り口では、もっと小さいながらもはっきりした数字になります。上位1万件のニュースサイトの47.2%が少なくとも1つの AI ボットをブロックし、45.2% が明示的な AI ルールを書いています。
しかし、「ニュース対それ以外」では粗すぎます。完全な内訳（サンプル内で n ≥ 10 の業種）を見ると、もっと豊かな物語が見えます。
| 業種 | n | いずれかのAIブロック | 明示的 | Googlebot をブロック | 自作ルール | Cloudflare Managed | 沈黙 |
|---|---|---|---|---|---|---|---|
| ニュース | 650 | 47.2% | 45.2% | 1.5% | 46.9% | 1.5% | 48.5% |
| 旅行 | 64 | 29.7% | 29.7% | 0.0% | 35.9% | 3.1% | 54.7% |
| ソーシャル | 65 | 29.2% | 23.1% | 4.6% | 23.1% | 6.2% | 66.2% |
| ストリーミング | 440 | 20.0% | 17.7% | 0.7% | 16.8% | 3.6% | 75.5% |
| 金融 | 129 | 19.4% | 12.4% | 0.8% | 14.7% | 2.3% | 75.2% |
| Eコマース | 224 | 18.3% | 17.4% | 0.4% | 24.1% | 1.3% | 66.1% |
| アダルト | 254 | 17.3% | 14.6% | 0.4% | 10.2% | 7.9% | 79.5% |
| 検索 | 12 | 16.7% | 0.0% | 0.0% | 0.0% | 0.0% | 100.0% |
| 学術 | 268 | 14.6% | 13.8% | 0.4% | 13.4% | 3.4% | 77.2% |
| ギャンブル | 100 | 14.0% | 13.0% | 0.0% | 18.0% | 4.0% | 77.0% |
| 開発ツール | 129 | 10.1% | 7.8% | 0.0% | 8.5% | 5.4% | 77.5% |
| SaaS | 369 | 7.6% | 6.2% | 0.3% | 9.5% | 0.8% | 87.5% |
| 政府 | 172 | 5.2% | 3.5% | 0.0% | 4.1% | 0.6% | 83.1% |
| インフラ | 47 | 4.3% | 0.0% | 0.0% | 4.3% | 2.1% | 72.3% |
| 通信 | 33 | 3.0% | 3.0% | 0.0% | 12.1% | 0.0% | 78.8% |
ニュースと通信の12倍の開きこそが、「ウェブのAI方針」という単位が間違っている理由です。ひとつの数字ではなく、1桁の差で乖離する業種別の数字があります。下で、最も特徴的な4つを見ていきます。
ニュース: 47% がブロック、47% が自作。 ニュースは、プレイブックを作った側の集団です。ニュースでは Cloudflare Managed はわずか1.5%で、出版社はルールを外部委託していません。文章は非常に豊かです。NYT は「EU 指令第4条」を引用する14行の法的前文で始まり、BBC は 「人間のように、ロボットではなく当サイトを利用してください... 要するに、人間のように閲覧し、読み、観て、楽しんでください。」、The Sun は 「The Sun は、当社コンテンツを大規模言語モデルに無許可で利用することを認めません。」 と書いています。これは設定ファイルではなく、方針声明としての robots.txt です。
旅行の30% — 意外性がある。 Booking、Expedia、TripAdvisor、Kayak、そして主要航空会社は、ニュースの約2/3の率でブロックしています。選択的なパターンは一貫しており、旅行業界のブロッカーの平均は、学習用 UA を5〜7個禁止する一方で、推論用 UA（PerplexityBot、ChatGPT-User、OAI-SearchBot）には手を付けません。集約された価格・レビュー データが堀であり、サイトへの引用が上振れ要因です。これは、あらゆる業種の中で最もきれいな「学習は外、推論は中」のパターンです。
アダルトの17% — これも意外。 以前の小さいサンプルでは0%でした。全体サンプルでは、アダルトサイトの6件に1件が少なくとも1つのAIボットを禁止しており、全業種で最も高い Cloudflare Managed 比率（7.9%） です。アダルトサイトのAIブロックの半分以上は、出版社の判断ではなく Cloudflare のトグルから来ています。画像生成学習が暗黙の脅威であり、Stable Diffusion 系のモデルは、テキストモデルよりも作風を早く学習します。
SaaS の7.6% は直感に反する。 ソフトウェアベンダーは AI 方針の議論で最も声高な層ですが、その robots.txt はかなり開かれています。正しい読み方はこうです。SaaS のマーケティングチームは、AI検索を流通チャネルとして正しく認識している。実際に考えたベンダーは、除外ではなく参加を選んでいます。明示的に GPTBot を許可するリスト（発見12）は、セキュリティ系と開発ツール系のSaaSが大半です。
政府 5.2%、通信 3.0%、インフラ 4.3%、開発 10.1%。 公文書の義務がある .gov では Disallow: / は法的に厄介です。通信のマーケティングサイトは発見可能性を欲しがります。CDN の最上位ドメインには守るものがありません。開発ツールは明示的に参加しています（LLM がそれを引用するとコンテンツの価値が上がるからです）。
要するに、「ウェブは AI をブロックしている / していない」という単一の数字は、伝える以上に多くを失います。データを正直に扱うには、業種別の報告だけが適切です。
発見3 — AIベンダー別: 誰が最もブロックされているのか？
データのもう1つの自然な切り方は、ボット別ではなくAI企業別に見ることです。複数のボットを運用するベンダーもあります（OpenAI は GPTBot、ChatGPT-User、OAI-SearchBot の3つ、Anthropic は ClaudeBot と anthropic-ai の2つ、Meta は Meta-ExternalAgent と FacebookBot の2つ）。ベンダー単位に集約するのが、「公開ウェブは各AI企業をどう見ているか」に最も近い指標です。
| AIベンダー | 集約したボット | 1つ以上をブロックするサイト数 | 解析可能サンプルに占める割合 |
|---|---|---|---|
| Common Crawl | CCBot | 1,178 | 16.25% |
| OpenAI | GPTBot、ChatGPT-User、OAI-SearchBot | 1,172 | 16.17% |
| Anthropic | ClaudeBot、anthropic-ai | 1,111 | 15.33% |
| ByteDance | Bytespider | 1,082 | 14.93% |
| Meta | Meta-ExternalAgent、FacebookBot | 989 | 13.65% |
Google-Extended | 970 | 13.38% | |
| Amazon | Amazonbot | 877 | 12.10% |
| Apple | Applebot-Extended | 859 | 11.85% |
| Webz.io（Omgili） | Omgili、Omgilibot | 731 | 10.09% |
| Cohere | cohere-ai | 717 | 9.89% |
| Perplexity | PerplexityBot、Perplexity-User | 715 | 9.86% |
| Diffbot | Diffbot | 684 | 9.44% |
| You.com | YouBot | 563 | 7.77% |
| AI2（Allen AI） | AI2Bot | 487 | 6.72% |
| DuckDuckGo | DuckAssistBot | 482 | 6.65% |
Common Crawl は、LLM 運営企業ではなく非営利のウェブアーカイブであるにもかかわらず、最も標的にされている単一実体です。 理由はレバレッジです。CCBot は、ほぼすべてのオープンウェイトモデルと、相当割合のクローズドモデルに供給されています。出版社が最初に CCBot を禁止するのが、最もカバー範囲の広いルールになります。
OpenAI、Anthropic、ByteDance は14〜16%帯に並びます。 OpenAI の先行は、集計上の要因（OpenAI ボットが3つあるのに対し、ByteDance は1つ）を一部含んでいます。Bytespider の14.9%は「Bytespider の振る舞い」効果 です。2024年以降 robots.txt を無視することが文書化されており、出版社は TikTok を心配しているのではなく、公開シグナルとしてブロックしています。
Meta、Google、Amazon、Apple の12〜14% は第2層で、立場表明というより防御的に書かれています。小規模ベンダー（Webz.io、Cohere、Perplexity、Diffbot、You.com、AI2、DuckDuckGo）の6〜10% は、主として 3.8% の包括的な下限によって押し上げられています。明示的なルールは 1〜4% 程度です。
xAI（Grok）、Mistral、そして多くの欧州/中国のモデル研究機関が表にない のは、文書化された学習クローラー UA を公開していないからです。現在の robots.txt エコシステムは、UA を出した米国/中国ベンダーと、ルールを書いた米国/EU 出版社の対話です。UA を出していないベンダーは、その交渉に現れません。
発見4 — GPTBot ではなく CCBot が新しい火種
上位1万件におけるボットの順位は次のとおりです。
| 順位 | ボット | ブロック率 | 明示ルール率 |
|---|---|---|---|
| 1 | CCBot（Common Crawl） | 16.25% | 12.90% |
| 2 | GPTBot（OpenAI） | 15.84% | 12.72% |
| 3 | Bytespider（ByteDance） | 14.93% | 11.35% |
| 4 | ClaudeBot（Anthropic） | 14.51% | 11.13% |
| 5 | Google-Extended | 13.38% | 10.18% |
| 6 | Meta-ExternalAgent | 12.38% | 8.95% |
| 7 | Amazonbot | 12.10% | 8.66% |
| 8 | Applebot-Extended | 11.85% | 8.72% |
| 9 | Omgilibot | 10.09% | 5.31% |
| 10 | anthropic-ai（廃止済み） | 9.99% | 6.55% |
| 11 | cohere-ai | 9.89% | 6.42% |
| 12 | PerplexityBot | 9.69% | 6.40% |
| 13 | Diffbot | 9.44% | 5.95% |
| 14 | ChatGPT-User（推論） | 8.90% | 5.73% |
| 15 | YouBot（推論） | 7.77% | 4.29% |
| 16 | OAI-SearchBot（推論） | 6.83% | 3.66% |
| ベースライン | Googlebot | 2.18% | — |
| ベースライン | Bingbot | 2.27% | — |
この表が示しているのは、公開ウェブが最初にブロックするのはモデルブランドではなく、コーパスだということです。Common Crawl の2500億ページアーカイブは、GPT-3、GPT-4、Llama 1 / 2 / 3、Falcon、Mistral、BLOOM、そして2020年以降にリリースされた大半のオープンウェイトモデルにとって、単独で最大の学習入力でした。「次のフロンティアモデルに入らない」ことを望むサイトは、まず CCBot を禁止するのが最適化になります。Common Crawl に入っていなければ、事実上オープンソース学習パイプラインから無料で外れることになるからです。GPTBot と ClaudeBot がその次に来るのは、2つの商用製品の目に見えるフロントエンドだからです。構造的な標的は、コーパスレベルの UA です。
表の下位にいるAIボットも示唆的です。Omgilibot の10%は、聞いたことのない読者が多いであろうボットとしては異例に高い値 です。これは Webz.io が運営しており、LLM運営企業にウェブアーカイブを販売するコンテンツデータ仲介業者です。かなりの数のニュース組織が、ファイル内でこの名前を明示的に書くようになっています。AI2Bot の6.7%（そして Squarespace サイト上の対応する Ai2Bot-Dolma ルール）は、非営利研究クローラーと商用クローラーを必ずしも区別しない出版社によって、学術 LLM コミュニティもフラグ付けされていることを示唆します。
推論クラスター — ChatGPT-User、OAI-SearchBot、YouBot、Perplexity-User — は、学習クラスターより4〜8ポイント低い位置にあります。その差が、長く続く方針上の問いへの答えです。はい、上位トラフィックサイトは、将来のモデル学習のためにデータを集めるボットと、今まさにユーザーの質問に答えるためにライブ取得するボットを区別しています。常にその区別が明示されるわけではありませんが（包括的ルールは区別しません）、かなりの割合が学習側を特に狙ったルールを書いています。
発見5 — CCBot をブロックしつつ Googlebot は歓迎する14%、「コーパスを止めて検索は残す」パターン
上位1万件で最も採用されている選択的ルールは次のとおりです。
| ルールの型 | サイト数 | 解析可能サンプルに占める割合 |
|---|---|---|
CCBot をブロックし、Googlebot を許可 | 1,023 | 14.11% |
Bytespider をブロックし、Googlebot を許可 | 926 | 12.78% |
Google-Extended をブロックし、Googlebot を許可 | 816 | 11.26% |
GPTBot をブロックし、OAI-SearchBot を許可 | 658 | 9.08% |
GPTBot をブロックし、ChatGPT-User を許可 | 525 | 7.24% |
CCBot をブロックし、PerplexityBot を許可 | 519 | 7.16% |
anthropic-ai をブロックし、ClaudeBot を許可 | 59 | 0.81% |
最も採用されているパターン（14.1%）は「Common Crawl をブロックし、Google 検索の可視性は残す」です。2位（12.8%）は「Bytespider をブロックし、Google 検索の可視性は残す」、つまり ByteDance の評判付きクローラーを拒否しつつ、正当な検索ベースラインは維持するものです。3位（11.3%）は「Google 自身の AI 学習 UA をブロックし、Google の検索 UA は残す」で、Google が Google-Extended を設計した目的そのものです。つまり、出版社が Bard / Gemini の学習からは外れつつ、検索順位は失わないようにするためです。
この3つの数字を合わせると、上位1万件のウェブにおける支配的な方針姿勢が見えてきます。学習用コーパスのボットは拒否し、検索ボットと推論ボットはそのままにする。 学習は拒否するが、その LLM の特定のライブ取得 UA は許可する — GPTBot ✗ / ChatGPT-User ✓（7.2%）— という少数派のパターンは存在しますが、コーパスレベルの切り方よりは小さいです。
anthropic-ai / ClaudeBot の 0.81% は、Anthropic の 2024年の UA 廃止を反映しています。ClaudeBot は現在、学習と推論の両方を担うため、旧 anthropic-ai UA が可能にしていた Claude 向けの「学習はブロックし、引用は許可する」という明快な表現ができなくなりました。これは 2024〜2025 年の UA 設計で最も議論されていない決定のひとつです。robots.txt から、方針表現の一類型が丸ごと消えました。
発見6 — ニュースの詳細: 国別と言語別
ニュースカテゴリを国別 TLD で切ると — ここでは .de がドイツのニュース、.fr がフランスのニュースを意味し、配信言語ではない点に注意 — ニュース内のばらつきは、ニュースとそれ以外のばらつきより大きくなります。
| 国（ニュースのみ） | n | いずれかのAIブロック | 明示的 |
|---|---|---|---|
🇩🇪 ドイツ（.de） | 25 | 88.0% | 88.0% |
🇫🇷 フランス（.fr） | 15 | 80.0% | 80.0% |
🇬🇧 イギリス（.co.uk） | 15 | 66.7% | 53.3% |
🇪🇸 スペイン（.es） | 5 | 60.0% | 60.0% |
🇮🇹 イタリア（.it） | 13 | 53.8% | 53.8% |
グローバルニュース（.com/.org/その他） | 500 | 45.0% | 42.8% |
🇵🇱 ポーランド（.pl） | 7 | 42.9% | 42.9% |
🇯🇵 日本（.jp） | 12 | 25.0% | 25.0% |
🇷🇺 ロシア（.ru） | 13 | 0.0% | 0.0% |
🇬🇷 ギリシャ（.gr） | 6 | 0.0% | 0.0% |
ドイツのニュースは、全データセットの中で最もブロック率が高いサブセグメントで、88%です。 しかも 88% が明示的です。上位1万件の中で、AI学習クローラーにアーカイブへのアクセスを許すドイツのニュースサイトは、実質的にありません。この集団を牽引しているのは Spiegel、Bild、Welt、Zeit、FAZ、Süddeutsche、Heise、Golem、Stern、Focus で、主要なドイツ出版界全体に、独立してルールを書いたテック系出版社が加わっています。その背後にある政治的インフラは厚いものです。VG Media（ドイツの出版社共同権利機構）は、EU のAI著作権訴訟で最も積極的な原告群であり、EU 指令第4条はドイツ法では §44b UrhG として、機械可読なオプトアウト文言を明示して実装されています。AI ベンダーが到着する頃には、ドイツの出版社は、どの国の集団よりもその法的姿勢を robots.txt ルールに落とし込む準備が整っていました。
フランスのニュースは 80% で、そのすぐ下です。 フランスの法環境も似ており（指令 2019/790 がフランス法に移植済み）、集団の振る舞いも似ています。lemonde.fr、lefigaro.fr、liberation.fr、lequipe.fr、20minutes.fr、ouest-france.fr はすべてブロックしており、Le Monde のファイルはさらにフランスの droit du producteur de base de données（知的財産法典 L 342-1 条）を並行する国内法上の根拠として引用しています。フランスには、2024年のパリ商事裁判所の判決という追加要素があります。この判決は、robots.txt ベースのオプトアウトが第4条上の十分な通知であると判断しました。これは、他のどの法域もまだ持っていない直接の判例上の支えです。
イギリスの67% は低めです。その理由は、主要 UK 出版社のいくつか（thesun.co.uk、dailymail.co.uk、mirror.co.uk）が AI 固有のルールではなく User-agent: * の全面禁止を使っており、明示的な数値を 53% まで押し下げているからです。合計の効果は同じで、これらのサイトはAIクロールを許可していません。ただし、方針の表現は「検索エンジンの特定の許可リスト以外はロボット禁止」であり、名前付きAIボットの Disallow ではありません。法的な足場も弱く、Brexit 後の英国は第4条ロジックを引き継いだものの、対応する国内判例は薄いです。
ロシアのニュースが0% というのは、最も驚くべき行です。サンプル内のロシアドメインのニュースサイト13件（dzen.ru、rbc.ru、ria.ru、kommersant.ru、tass.ru、lenta.ru、gazeta.ru、interfax.ru、kp.ru、tass.com など）は、どれも AI クローラーを一切ブロックしていません。考えられる説明はこうです。ロシア語 LLM の学習は Yandex 自身の GPT 系モデルが主導しており（Common Crawl ではなく Yandex 内部クローラーを使う）、ロシアの著作権環境には第4条相当のものがなく、主要ロシア出版社は西側 LLM を問題視していません（米国の輸出規制で OpenAI / Anthropic のサービスはロシアで既に制限されている）し、Yandex は敵対相手ではなく国内の利害関係者と見なされています。方針姿勢は明らかに異なります。
日本のニュースが25% というのも、3つ目のパターンです。日本には国内著作権法に、明示的なテキスト・データマイニング例外（2018年改正の著作権法第30条の4）があり、これは EU 指令第4条よりも緩やかです。権利者の同意なしに、AI学習を含む「非享受目的」の TDM を認めています。日本の出版社にはオプトアウトの法的な踏み込み余地が少なく、対応する robots.txt の率も低くなっています。ブロックしている25%は、主に最も大きく、国際志向が強い出版社（asahi.com、nikkei.com など）です。
国別ニュースデータは、法制度がAIブロッキングの主因であり、技術や業界経済ではないことを、レポートの中で最も明確に示しています。EU のニュース集団は 54%〜88% に集中し、非EUのニュース集団（ロシア、日本、グローバルな .com 集団）は 0%〜45% に分かれます。88% のピークは、Article 4 の実装が最も進んだ国にあり、0% の床は、AI方針法が実質的に存在しない国にあります。
発見7 — EU とそれ以外: 16ポイントの差
国別の視点をもう1段引き上げると、EU 対それ以外の差は明確です。
| 地域 | n | いずれかのAIブロック | 明示的 |
|---|---|---|---|
EU の ccTLD（.fr、.de、.es、.it、.nl、.pl、.se、.dk、.fi、.be、.at、.cz、.hu、.ro、.gr、.pt、.ie、.sk、.bg） | 617 | 35.2% | 33.9% |
非EUの国別 ccTLD（.uk、.jp、.kr、.cn、.ru、.br、.in、.au、.mx、.ca、.tr、.ar、.cl、.co、.pe） | 897 | 17.2% | 13.6% |
グローバル（.com、.net、.org など） | 5,734 | 19.2% | 15.7% |
EU の ccTLD サイトは、AI を非EUの国別集団の2倍、グローバルな .com ベースラインのほぼ2倍の率でブロックしています。その差は EU 加盟国全体で一貫しており（平均を単独で押し上げる国はありません）、業種をまたいでも一貫しています（.de ニュース 88%、.de SaaS 約12%、.de Eコマース約25% — いずれも世界平均との差より高い）。
上位1万件の中で、コメント内で指令 2019/790 を明示的に引用している robots.txt は275件 あり、解析可能サンプルの約3.8%にあたります。この集団は EU の出版社が中心ですが、それだけではありません。いくつかの米国ニュースブランド（特に NYT は「EU 指令第4条」を直接引用）、いくつかの英国サイト、そして少数の欧州大手 Eコマースが、法的文言をそのまま再掲しています。87件のファイルは「TDM」または「text and data mining」に名前で言及しています。460件のファイルは、特定の法令を引用していない場合でも、「明示的にオプトアウトする」「全著作権留保」「商用利用不可」「機械学習不可」といった何らかの著作権留保文言を含んでいます。
この切り口から得られる、より細かな観察を2つ挙げます。
EU 効果はニュースだけではありません。
