大規模言語モデル向けに機械可読のガイダンスを掲げているのは、いったいどんなサイトなのか。その初期実装はどんな顔つきをしていて、採用状況を測るのになぜ HTTP 200 応答を数え上げるだけでは足をすくわれるのか。本稿は、これらの問いをクロールで検証した記録です。
- データセット:
data/llms_probe_results_top_10000.csv - Tranco リストのダウンロード日: 2026年5月6日
- 対象範囲: ルート直下の
/llms.txtと/llms-full.txt
主要指標
- 5.86%: Tranco Top 10,000 における有効な
llms.txtの採用率。ドメイン数にして586件です。 - 1.03%: 有効な
llms-full.txtの採用率。103ドメインに相当します。完全版ファイルを有効に公開していたサイトは、例外なくインデックスファイルも有効でした。 - 63.51%:
/llms.txtの HTTP 200 応答のうち、検証に通らなかった割合。 - 2.74倍: 生の HTTP 200 応答だけで採用率を測った場合の、おおよその過大計上の倍率。
要約
生まれて間もない Web 慣行——それが llms.txt の現在地です。とはいえ、もはや一部の好事家がいじっている段階は過ぎました。2026年5月6日、Tranco Top 10,000 ドメインを実際にクロールしてみると、有効な llms.txt ファイルは586件、観測上の採用率にして 5.86% が確認できました。併設の llms-full.txt となると数はぐっと細り、有効な完全版ファイルを備えていたのは103ドメイン、採用率は 1.03% にとどまっています。
方法論として最大の収穫は、ある落とし穴の発見でした。採用の代理指標としてステータスコードを信じてはいけない、という点です。/llms.txt への HTTP 200 応答は 1,606 件返ってきましたが、検証を通ったのはそのうち586件にすぎません。差分の 1,020 件は、その大半が意図しないリダイレクトや汎用的なHTMLページ、空の本文、あるいはその他の無効な応答でした。仮に HTTP 200 をすべて採用と数える単純なクロールに頼っていたら、有効な採用数を約 2.74倍に膨らませて報告していた計算になります。
では、有効と判定したサイトの中身はどうか。実装の質は、「とりあえず置いただけ」という当初の予想を上回るものでした。有効ファイルのサイズは中央値で約 7.1KB。5KB を超えるものが 61.77%、6個以上の Markdown セクションを備えるものが 70.82%、11本以上の Markdown リンクを含むものが 77.47% に達します。顔ぶれを見れば、Cloudflare、Azure、GitHub、DigiCert、WordPress.org、Adobe、Dropbox、PayPal、Stripe、Salesforce、Slack、Zendesk、Okta、Datadog、Cloudinary といった早期採用企業が並びます。
llms.txtをrobots.txtの代わりと捉えるのは筋違いです。むしろ AI システムへ向けた、説明とナビゲーションのためのシグナルと見るほうが実態に合います。問われるのはファイルが存在するかどうかではなく、機械が権威ある・簡潔・最新の情報へたどり着けるかどうかなのです。
背景：Web は AI 向けのシグナルを積み増している
クロール方針を伝えるなら robots.txt、URL を見つけてもらうなら sitemap.xml、検索やプラットフォームにページを理解させるなら構造化データ——Web サイトは、この種のシグナルを長く使い分けてきました。そこへ生成AIが、毛色の違う課題を持ち込みます。コンテンツの行き先は、学習、検索、要約、エージェント的なブラウジング、コード支援、カスタマーサポート、回答生成と多岐にわたるからです。結果として、相反する2つの要請が同居することになります。一方で発行者は自動利用への制御を強めたい。他方で、AI システムがサイトに触れる際には正しい正本情報へ届いてほしい。この緊張関係が出発点です。
その答えのひとつとして、2024年に Jeremy Howard が出したのが 元の llms.txt 提案 でした。サイトのルートに Markdown 文書を置き、推論時に LLM が扱いやすい情報を渡す——そういう構想です。提案の論拠はこうです。HTMLページはナビゲーションや広告、スクリプトといったノイズにまみれ、言語モデルにとって処理が重い。ならば簡潔な Markdown ファイルで、最重要ページやドキュメント、API、例、ポリシー、製品情報へとモデルを案内すればいい、と。
この動きは、より大きな潮流の一部でもあります。Data Provenance Initiative の「Consent in Crisis」 は、robots.txt と利用規約における AI 関連の制限が急増している実態をとらえ、既存の Web 上の同意メカニズムが大規模な AI データ再利用を想定していなかったと指摘します。Cloudflare Radar AI Insights もまた、Top 10,000 ドメインのレベルで AI クローラーと robots.txt の傾向を可視化しています。こうした地図のなかで llms.txt が陣取るのは、AI シグナリングの建設的な側です。「ここをクロールするな」と拒むのではなく、「このサイトを理解したいなら、まずここから」と招き入れる合図なのです。
外部エビデンスと、採用をめぐる論争
llms.txt をめぐる公開の議論は、おおむね2つの陣営に分かれます。楽観派は、このファイルが AI システムに権威あるコンテンツへの、よりクリーンで効率的な経路を開くと見ます。懐疑派は、主要な LLM プロバイダーのどこも、これをランキング・クロール・引用のシグナルに使うと公言していない以上、ファイル単体でトラフィック増を当て込むのは早計だと釘を刺します。今回の更新で確認した3つの外部ソースは、どちらかに軍配を上げるというより、含みのある結論を支えます。llms.txt は有用なインフラには違いないが、直接的なトラフィック効果の裏づけはまだ薄く、状況に大きく左右される——というものです。
外部の採用ベンチマークは、急ピッチで動いている
ひとつの定点観測が、Rankability の採用トラッカー です。domain.com/llms.txt を毎月自動でスキャンし、リダイレクトとHTML応答を除外する検証をかけるこの手法で、2025年6月22日時点の上位1,000サイト全体の採用率は 0.3%——1,000サイト中わずか3件——と報告されています。検証の厳しさという点で、本調査の保守的なアプローチと方向性が近い相手です。
その近縁の物差しと比べると、差はかえって際立ちます。本調査では、2026年5月6日時点の Tranco Top 1,000 で有効な llms.txt を75件確認、採用率は 7.50% でした。もっとも、順位の出どころ、実装の詳細、検証ロジック、クロール時点が食い違う恐れがあるため、この2つを厳密な時系列として並べるのは禁物です。それでもこの開きは、2025年半ばから2026年5月にかけて——とりわけ開発者向け、SaaS、クラウド、セキュリティ、ドキュメント重視のサイトで——採用が一気に進んだことを物語っています。
| ソース | スナップショット | サンプル | 報告された有効採用率 | 解釈 |
|---|---|---|---|---|
| Rankability | 2025年6月22日 | 上位1,000サイト | 0.3% | 2025年半ば時点では採用がごく少ないことを示す初期の公開ベンチマーク。 |
| 本調査 | 2026年5月6日 | Tranco Top 1,000 | 7.50% | 高トラフィックサイトで可視化できる採用を示す後年のクロール。 |
| 本調査 | 2026年5月6日 | Tranco Top 10,000 | 5.86% | より広いサンプルでは、採用は測定可能だが主流ではないことを示す。 |
トラフィック実験の結果は、まだ割れている
導入前後の効果を追った代表例が、Search Engine Land による2026年1月の10サイト分析です。導入前90日と導入後90日を比較したところ、AI トラフィックが伸びたのは2サイト（それぞれ 12.5%、25% 増）、変化のなかったのが8サイト、逆に 19.7% 落ち込んだのが1サイトでした。ここで肝心なのは、記事が因果に対して慎重な姿勢を崩していない点です。伸びた2サイトでは、新テンプレートの公開、リソースセンターの再構築、抽出しやすい比較表の追加、報道露出の獲得、技術的不具合の修正、FAQ形式の新規コンテンツ公開が、同時並行で走っていました。この見立てでは、llms.txt はより強いコンテンツや技術改善を後から文書化したものであって、成長そのものを単独で引き起こしたとは言いにくいのです。
より小さなサイトからは、もう少し前向きな声も上がっています。Renat Alimbekov の個人ブログ実験 は、llms.txt と llms-full.txt を両方追加したうえで、Yandex.Metrica における4か月の2期間を突き合わせました。LLM 参照セッションは 75 から 92 へ、23% の増加。ユーザー数も 51 から 64 に伸びています。経路別に見ると、Perplexity が 29 から 55 へ膨らんだ一方、ChatGPT は 31 から 26 へ目減りしました。ただし同じ記事は、総参照トラフィックがそれ以上のペースで 160 から 290 セッションへ伸びた結果、LLM セッションの構成比はむしろ 47% から 32% に下がったとも書き添えています。
| エビデンスの種類 | 観測結果 | 主な注意点 | このレポートへの影響 |
|---|---|---|---|
| Search Engine Land の10サイト前後比較 | 2サイトは増加、8サイトは有意な変化なし、1サイトは減少。 | ポジティブな事例では、コンテンツ、PR、技術面の変更が同時進行していた。 | llms.txt を単独の成長レバーではなく、インフラとして扱うべきだと支持する。 |
| Alimbekov の個人ブログ前後観測 | 後期間で LLM 参照セッションが 23% 増加。 | 対照群がなく、総参照トラフィックは 81% 増加し、LLM 比率は低下。 | 特に Perplexity 経由で、技術系ブログには上振れ余地があることを示唆するが、因果は分離されていない。 |
| 本クロールベース採用調査 | 586件の有効ファイルと多くの構造化実装。 | トラフィックの下流効果ではなく、存在と構造を測定している。 | 採用と実装成熟度は示すが、ROI そのものは示さない。 |
この論争から何がはっきりするか
これらの外部エビデンスを並べると、本データセットの読み筋がくっきりしてきます。よく構造化された llms.txt ファイルは、開発者向けドキュメントや API リファレンス、ナレッジベース系のコンテンツで、機械による解析の摩擦をたしかに下げてくれます。ただし、トラフィックを最も力強く動かすのは、結局のところ「有用で、抽出しやすく、権威があり、ファイルの外でも見つかる」コンテンツのようです。だとすれば、現場で立てるべき問いは「llms.txt は単体で効くのか」ではありません。そのファイルが、より広い AI 可読コンテンツの仕組みにきちんと組み込まれているか——そこが分かれ目になります。
更新後の解釈:
llms.txtは、低コストの AI 向けインフラとして据えるべきものです。より良いドキュメント、構造化コンテンツ、技術的アクセシビリティ、引用、リンク、ブランドの権威——これらの身代わりにしてはいけません。
方法論
サンプルに選んだのは Tranco Top 10,000 ドメインです。Tranco は、従来の多くのトップリストよりも安定し、ランキング操作にも耐えるよう設計された研究向けの順位づけで、こうした調査の土台に向いています。ソースファイルのダウンロードは 2026年5月6日、その Last-Modified タイムスタンプは 2026年5月5日 22:17:59 GMT でした。
ドメインごとに、クローラーが叩いたのはルート直下の次の2パスです。
https://example.com/llms.txt、必要に応じて HTTP へフォールバック。https://example.com/llms-full.txt、必要に応じて HTTP へフォールバック。
それぞれのプローブでは、ステータスコード、最終URL、取得方法、応答バイト数、コンテンツタイプ、エラーメッセージ、経過時間、検証結果を残しました。成功した応答本文は、後からの確認と二次分析に備えて raw_llms_txt/ へ保管しています。
検証ルール
有効ファイルと数えたのは、本文が無事に返り、しかも汎用的な Web フォールバックには見えないものだけです。判定の条件はこうです。最終URLのパスが /llms.txt または /llms-full.txt のままであること。空の本文は除く。明らかなHTML文書やアプリのシェルも除く。コンテンツタイプは決め手にはせず、あくまで補助的な手がかりとして扱いました。ごく一部とはいえ、通常とは違うコンテンツタイプで配信される有効なテキスト系ファイルが存在したからです。
採用状況
集計すると、Tranco Top 10,000 における有効な llms.txt ファイルは586件、有効採用率は 5.86% でした。より小さな併設ファイルの llms-full.txt のほうは、103ドメインで有効に存在し、サンプル全体に占める割合は 1.03% です。
| 指標 | 件数 | Top 10,000 に占める割合 |
|---|---|---|
| クロールしたドメイン数 | 10,000 | 100.00% |
| 有効な llms.txt ファイル | 586 | 5.86% |
| 有効な llms-full.txt ファイル | 103 | 1.03% |
| /llms.txt の HTTP 200 応答 | 1,606 | 16.06% |
| 無効として除外した HTTP 200 応答 | 1,020 | 10.20% |
採用は、単純な上位集中ではない
たしかに採用率は、Top 10,000 全体より Top 1,000 のほうが高めです。とはいえ、最上位の巨大サイトだけが独占していたわけではありません。数字で追うと、Top 1,000 は 7.50%。最後の1,000ドメイン帯（順位 9,001〜10,000）では 3.80% まで落ちます。一方で順位中位にも明確な活動があり、2,001〜3,000、3,001〜4,000、5,001〜6,000、6,001〜7,000 の各帯は、そろっておよそ 6% を示しました。
初期の採用サイト
最上位の有効採用サイトは、Tranco 順位 4 位の Cloudflare でした。それに続く面々として、Azure、GitHub、DigiCert、WordPress.org、Adobe、Sentry、Dropbox、PayPal、Shopify、Taboola、Avast、Weather.com、Oxylabs、SourceForge、Cisco、Stripe、Slack、Dell、NVIDIA、Indeed、Zendesk、Calendly、Palo Alto Networks、Okta、Braze、Klaviyo、Intercom、Datadog、Cloudinary、ClassLink、OneSignal などが名を連ねます。
無作為に集まった顔ぶれではない、というのがここでのポイントです。並べてみると、共通項が浮かびます。ドキュメントの分量が多い。説明を要する製品群を抱えている。API や開発者エコシステムを持つ。サポートや価格のページが整っている。セキュリティやプライバシーの資料がある。そして、AI システムが自社サイトをどう読むかを気に掛けるだけのブランド力がある——そういう企業群です。
| 順位 | ドメイン | ファイルサイズ | 観測されたパターン |
|---|---|---|---|
| 4 | cloudflare.com | 4,225 B | 製品、開発者、会社、価格のコンパクトなインデックス。 |
| 26 | azure.com | 47,037 B | 開発ツール、AI、計算、ストレージ、セキュリティ、監視、任意リソース。 |
| 28 | github.com | 27,108 B | プログラム的アクセス、Copilot、MCP、REST API、Actions、リポジトリ、CLI へのリンク。 |
| 248 | stripe.com | 64,229 B | 決済、Connect、Checkout、Billing、Tax、Atlas、Radar、開発者ドキュメント。 |
| 265 | salesforce.com | 1.02 MB | Markdown の見出しを持たない、巨大な製品と Agentforce のリンクカタログ。 |
Top 1,000 採用サイトのカテゴリ
Tranco Top 1,000 の有効採用サイト75件については、ドメインの文脈、最初の見出し、元ファイルの構造、コンテンツのキーワードを頼りにカテゴリ分けしました。最も厚かったのはマーケティング・メディア・adtech で 22.67%。次いでクラウド・開発・インフラ系が 20.00%、SaaS・生産性・カスタマーオペレーション系が 17.33%、セキュリティ・ID・プライバシー系が 12.00% と続きます。
| カテゴリ | ドメイン数 | Top 1,000 採用サイトに占める割合 | 品質スコア中央値 | リンク数中央値 |
|---|---|---|---|---|
| マーケティング、メディア、adtech | 17 | 22.67% | 94 | 25 |
| クラウド、開発、インフラ | 15 | 20.00% | 94 | 62 |
| SaaS、生産性、カスタマーオペレーション | 13 | 17.33% | 94 | 46 |
| セキュリティ、ID、プライバシー | 9 | 12.00% | 98 | 78 |
| CMS、ホスティング、Webプレゼンス | 7 | 9.33% | 100 | 24 |
TLD のパターン
トップレベルドメインそのものは業界ラベルではありませんが、おおよその方向感をつかむ手がかりにはなります。サンプル内に50ドメイン以上あるTLDで見ると、有効採用率の首位は .io の 14.44%、続いて .com が 8.19%。対照的に .gov、.edu、.net は採用率が振るわず、初期の採用層が制度的な機関よりも商業・技術側に寄っている様子がうかがえます。
実装の品質
有効採用というラベルは、実装の質まで保証してくれるわけではありません。中身を開ければ、簡潔でセクション分けの効いた良質なインデックスから、ほとんど散文だけのもの、素っ気ないリンクカタログ、ほぼ空のプレースホルダー、さらには完全だが取得も解析も重い数MB級のコンテンツダンプまで、振れ幅は相当なものでした。
サイズに注目すると、有効な llms.txt ファイルのうち362件が 5KB 超で、これは有効採用サイトの 61.77% にあたります。中央値はおよそ 7.1KB。分布の上側を見れば、P90 で 156KB、P95 で 356KB、P99 で 2.54MB、最大に観測されたファイルは 7.97MB に達しました。
よく見られるコンテンツのシグナル
有効ファイルをキーワード単位でなぞると、多くのサイトが単に「ありますよ」と宣言するだけでなく、運用上役立つ素材へモデルを送り込もうとしているのが見えてきます。出現率で並べると、support や help 系の語が 70.31%、blog・guide・tutorial 系が 67.92%、security・privacy・compliance・terms 系が 61.43%。続いて pricing が 53.92%、documentation が 52.22%、API 系が 33.96%、changelog や release のシグナルが 27.30% でした。
品質スコアと類型
存在の有無から成熟度の議論へ踏み込むため、簡易な実装スコアを組み立てました。土台になるのは、コンテンツタイプ、ファイルサイズ、Markdown 構造、リンク数、トピックの広がりです。あわせて、見出しがない、Markdown リンクがない、コンテンツタイプが異常、ファイルが小さすぎる/大きすぎる、リンクダンプ化している——といった警告サインも減点要素として織り込みました。正式な標準ではなく、観測した実装どうしを比べるための研究用モデルだと考えてください。
このモデルにかけると、強い構造化インデックスが416件、実用的なインデックスが107件、薄い・不規則が24件、象徴的または低実用性が39件、という内訳になりました。切り口を変えた類型分析では、構造化インデックス296件、セクション付きテキストファイル113件、リンクカタログ63件、薄いインデックス52件、象徴的またはプレースホルダー50件、巨大コンテンツダンプ12件が浮かび上がっています。
| 類型 | ドメイン数 | 有効ファイルに占める割合 | スコア中央値 | ファイルサイズ中央値 | リンク数中央値 |
|---|---|---|---|---|---|
| 構造化インデックス | 296 | 50.51% | 98 | 11,241 B | 61.5 |
| セクション付きテキスト | 113 | 19.28% | 78 | 4,718 B | 0 |
| リンクカタログ | 63 | 10.75% | 86 | 4,160 B | 23 |
| 薄いインデックス | 52 | 8.87% | 66 | 2,814 B | 0 |
| 象徴的またはプレースホルダー | 50 | 8.53% | 27 | 15 B | 0 |
| 巨大コンテンツダンプ | 12 | 2.05% | 74 | 2.84 MB | 7,259.5 |
上位の採用サイトほど、実装が密になる
順位帯で割ると、実装の密度に段差が見えます。Tranco Top 1,000 の有効採用サイト75件は、品質スコア中央値96、ファイルサイズ中央値9,068バイト、Markdown リンク数中央値52、セクション数中央値11。これに対し、順位 1,001〜10,000 の511件は軒並み中央値が下がり、スコア90、ファイルサイズ6,506バイト、Markdown リンク23本、セクション9 という水準でした。構造化インデックスである確率も、Top 1,000 が 69.33% なのに対し、後半コホートは 47.75% と開きます。
偽陽性という落とし穴
この調査で最も警戒すべき測定リスクが、偽陽性です。/llms.txt に HTTP 200 を返した1,606ドメインのうち、検証で振り落とされたのは1,020件。無効理由を内訳で見ると、最多は意図しないリダイレクトの618件、次が汎用HTML文書の367件。空の本文が29件、その他または未分類が6件と続きます。
なぜこれが効いてくるのか。多くの大規模サイトは、未知のパスへのアクセスを、ログインページ、ホームページ、アプリシェル、地域別ページ、同意画面、マーケティング用フォールバックへと黙って振り向けるからです。こうした応答は、ステータスコードしか見ないクロールには正常そのものに映ります。ところが中身に、有効な llms.txt のシグナルはひとかけらも入っていません。
llms-full.txt：より希少で、ばらつきも大きい
併設ファイルの llms-full.txt は、llms.txt に比べてぐっと少数派でした。有効な完全版ファイルは103件。これは有効な llms.txt 採用サイトの 17.58% にあたり、Top 10,000 サンプル全体では 1.03% にすぎません。
実装の振れ幅も、こちらのほうが目立ちます。2ファイルを併用していた103サイトを割ってみると、57サイトでは llms-full.txt がインデックスファイルより大きく、残る46サイトでは完全版がインデックスと同程度かそれ以下、あるいは100バイト未満でした。完全版対インデックスのサイズ比は中央値で 1.43。ただし極端な外れ値はけた違いで、Supabase の完全版はインデックスの約 7,139倍、Made-in-China.com に至っては 89.89MB の完全版ファイルを抱えていました。
| ドメイン | llms.txt | llms-full.txt | 比率 |
|---|---|---|---|
| made-in-china.com | 4.49 MB | 89.89 MB | 20.0倍 |
| sendbird.com | 281.86 KB | 11.99 MB | 42.5倍 |
| taboola.com | 286.78 KB | 11.73 MB | 40.9倍 |
| supabase.co | 1.26 KB | 8.98 MB | 7,139.3倍 |
| neon.tech | 27.44 KB | 5.01 MB | 182.7倍 |
推奨:
llms-full.txtを公開するのは、すでに安定したドキュメント生成パイプライン、バージョン管理の規律、そして大量のコンテンツを一つの機械可読ファイルにまとめて公開する明確な理由——この3つがそろっているときだけにしましょう。
llms.txt と robots.txt と sitemap.xml
llms.txt を新手の robots.txt のように扱ってはいけません。どちらもルート直下に置く機械可読ファイルですが、伝えている中身はまるで別物です。robots.txt はクローラーの許諾とアクセス制御のシグナル。sitemap.xml は URL 発見のためのシグナル。そして llms.txt は、説明とナビゲーションのシグナルです。
| シグナル | 主な役割 | 主な読み手 | 本調査での位置づけ |
|---|---|---|---|
robots.txt | クローラーの許諾とパス単位の制限を宣言する。 | 検索クローラー、AI クローラー、アーカイブクローラー、汎用ボット。 | ガバナンスとアクセスのシグナル。 |
sitemap.xml | インデックス処理系に向けて、発見可能な URL を列挙する。 | 検索エンジンとインデックス処理パイプライン。 | 発見のシグナル。 |
llms.txt | サイトの簡潔な文脈、重要リンク、ドキュメント、API、サンプル、ポリシー参照を提供する。 | LLM アプリ、AI エージェント、開発者ツール、検索・取得システム。 | 説明とナビゲーションのシグナル。 |
実装の提言
llms.txt の導入を検討しているサイトに向けて、本データセットで見えた優れた実装と、外部のトラフィック証拠から言えることをまとめると、現実的な型はこうなります。
- ルート直下に
/llms.txtを置き、ログイン・JavaScript 実行・同意ウォール・パス外リダイレクトなしでアクセスできる状態を保つ。 - 可能なら
text/plainかtext/markdownとして配信する。 - まずサイトの短い説明から始め、その後にリンクを製品・ドキュメント・API・料金・変更履歴・サンプル・サポート・ポリシー・会社情報といった単位でまとめる。
- URL を網羅的に並べるより、正規（canonical）リンクを優先する。
- 中身のない象徴的なファイルは避ける。よくても、弱いシグナルにしかなりません。
- 機械による大量消費という明確なユースケースと、信頼できる生成パイプラインがない限り、無差別な巨大ダンプは避ける。
- 公開後は、最終 URL・応答本文・コンテンツタイプ・Markdown 構造・リンク数・ファイルサイズを検証する。
期待値の置き方も、慎重に。現時点で公開されている実験からは、llms.txt が単独で AI 経由の流入を増やすと証明することはできていません。ビジネスへの影響を検証したいなら、LLM リファラル、引用されたページ、ボットのリクエスト、インデックスの鮮度、コンテンツの変更を、まとめて追跡すべきです。うまく設計するなら、条件をそろえたページ群どうしを比較し、可能な限りコンテンツ更新を一定に保ち、Perplexity・ChatGPT・Gemini・Claude・Bing/Copilot といったプラットフォーム別の流入を切り分けることです。
この調査の限界
本稿はクロールで切り取った一時点のスナップショットであり、恒久的な真実ではありません。Web サイトは llms.txt をいつでも追加・削除・変更できます。ドメインによっては自動リクエストをブロックしたり、地域・TLS 設定・リダイレクトのロジック・ユーザーエージェント・ボット対策によって挙動を変えたりします。本調査はルート直下のファイルだけを対象とし、サブドメインや非標準パスは探索していません。
品質スコアと類型は研究用のツールであって、公式なコンプライアンスのラベルではありません。トピック分析はキーワードベースであり、あくまで方向性を示すものとして読んでください。特定の AI プラットフォームが現時点で llms.txt を本番で読み・尊重し・利用していることを、本調査は証明していません。
今回のバージョンで検討した外部のトラフィック証拠にも、限界があります。Search Engine Land の分析は、無作為化実験というより、複数サイトを観察した注意喚起として強いものです。Alimbekov の結果は、透明性の高いサイト単位のケーススタディとして有用ですが、対照群を欠き、しかも総リファラル流入が大きく伸びた期間を含んでいます。これらの参照は論争の見取り図を描く助けにはなりますが、本クロールを因果関係を示すトラフィック研究に変えてくれるわけではありません。
ファイルと再現性
| ファイル | 用途 |
|---|---|
crawl_llms_txt.py | /llms.txt と /llms-full.txt のクローラー。 |
analyze_llms_txt.py | 主要な採用分析とチャート生成。 |
deep_analyze_llms_txt.py | 順位十分位、TLD、トピックシグナル、品質スコア、類型、2ファイル併用の挙動に関する二次分析。 |
deep_dive_early_quality.py | 初期採用サイトの分類と、実装品質の深掘り。 |
data/llms_probe_results_top_10000.csv | クロール結果のメインデータセット。 |
data/deep_analysis_top_10000.json | 二次分析のサマリー。 |
data/deep_early_quality_analysis.json | 初期採用サイトのカテゴリ、品質コホート比較、類型の詳細、ケーススタディ。 |
出典
- The /llms.txt file, Jeremy Howard, 2024.
- HTTP Archive Web Almanac 2024 Methodology.
- Cloudflare Radar: Expanded AI insights.
- Cloudflare Radar AI Insights.
- Consent in Crisis: The Rapid Decline of the AI Data Commons, Data Provenance Initiative.
- Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation.
- Does llms.txt matter?, Search Engine Land, January 2026.
- The State of llms.txt Adoption, Rankability, June 2025.
- How LLMS.txt Increased AI Chat Traffic by 23%, Renat Alimbekov.
方法論の訂正、データセットの問題、追試の報告は support@thunderbit.com までお寄せください。本レポートは、Thunderbit が持つ商業的立場とは独立して公開されています。データはそれ自体で立つものです。—— Thunderbit リサーチチーム、2026年5月
Thunderbit で Web データを収集・分析する Get Started Free
