Zusammenfassung für Führungskräfte
Wir haben für jede Domain aus der Tranco-Top-10.000 – der Liste der weltweit meistbesuchten Websites – die Datei robots.txt abgerufen. Anschließend hat ein RFC-9309-konformer Parser jede Datei ausgewertet, die jeweilige KI-Bot-Richtlinie klassifiziert und ausgezählt, wie viele dieser Spitzenseiten ChatGPT, Claude, Perplexity, Gemini, Common Crawl, Bytespider, Apple Intelligence und weitere Crawler, die große Sprachmodelle trainieren oder bedienen, im Jahr 2026 tatsächlich aussperren.
Die zentralen Befunde, basierend auf den 7.248 Sites, deren robots.txt sich sauber auslesen ließ:
20,3 % der weltweiten Top-10.000-Sites blockieren mindestens einen KI-Crawler. 17,0 % haben dafür bewusst eine explizite, KI-spezifische Regel geschrieben. Die restlichen 80 % empfangen KI-Crawler so offen wie den Googlebot.
Sechs Erkenntnisse, die das Bild verschieben:
- Nachrichtenseiten blockieren zu 47 % – der höchste Wert aller Sektoren. Deutsche News-Sites führen mit 88 %, französische mit 80 %, russische mit 0 %. Ausschlaggebend ist vor allem das Rechtsregime, nicht die Technik oder die Branchenökonomie.
CCBot(Common Crawl) ist mit 16,3 % der meistblockierte Bot – vorGPTBot(15,8 %) undBytespider(14,9 %). Verlage zielen auf den Trainingskorpus, nicht auf die Modellmarke. Die häufigste selektive Regel lautet „CCBotblockieren,Googleboterlauben“ (14,1 % der Sites).- Frankreich führt alle Länder mit 50,6 % KI-Blocking auf
.fr-Sites an; der EU-Cluster liegt 16 Punkte über dem globalen Ausgangswert. 275robots.txt-Dateien verweisen ausdrücklich auf die EU-Richtlinie 2019/790. Artikel 4 ist das einzige Rechtsregime, das die Zahlen sichtbar bewegt. - 17,8 % haben eigene KI-Regeln verfasst; 4,5 % laufen mit Cloudflares Anbieter-Vorlage; 75,7 % schweigen. Große Sites schreiben selbst; der Long Tail nutzt den Schalter. The Atlantic und
cloudflare.comselbst stehen auf der von Cloudflare verwalteten Liste. - 108 Sites erlauben
GPTBotausdrücklich – WordPress.org, Kaspersky, Norton, Avast, Sophos, The Verge, The Atlantic, NBA.com, The Sun, Branch.io. Sicherheits- und Dev-Tools sind überproportional vertreten. - An der Spitze der Kurve wird die KI-Politik nicht aggressiver. Top 100, 101–1000, 1001–5000 und 5001–10000 liegen alle zwischen 19 % und 23 %. Die Gesamtquote ist eine Eigenschaft des öffentlichen Webs im Jahr 2026 und kein Signal für die Größe einer einzelnen Site.
Die Frage ist also nicht mehr, ob das Web „zurückschlägt“. Entscheidend ist, welche Branchen, welche Länder, welche Rechtsregime und welche KI-Anbieter Ziel aktiver Richtlinien werden – und welche nicht.
I. Hintergrund: Wie robots.txt zum KI-Politikartefakt wurde
Seit dem Start von OpenAIs GPTBot im August 2023 haben drei Kräfte die Bedeutung von robots.txt neu geformt.
Die Zahl der KI-Anbieter wuchs. Googles Google-Extended, Anthropics ClaudeBot, ByteDances Bytespider, Apples Applebot-Extended, Amazons Amazonbot und Metas Meta-ExternalAgent kamen hinzu. Der bereits etablierte CCBot von Common Crawl wurde zum Bot mit der größten Hebelwirkung, weil sein Archiv die meisten Open-Weight-Modelle speist. Auch herstellerunabhängige Bots traten auf: AI2Bot, cohere-ai, PerplexityBot, YouBot, DuckAssistBot, Diffbot, Omgili. Eine vollständige Blockliste umfasst 2026 rund 25 Namen.
Artikel 4 der EU-Urheberrechtsrichtlinie 2019/790 schuf eine gesetzliche Ausnahme für Text- und Data-Mining, die entfällt, wenn Rechteinhaber ihre Rechte „maschinenlesbar“ ausdrücklich vorbehalten. In den Jahren 2024 und 2025 verständigten sich EU-Verlage und ihre Anwälte weitgehend darauf, robots.txt als kanonischen Weg zu nutzen, um diesen Vorbehalt zu erklären. Unser Datensatz enthält 275 Sites mit explizitem Verweis auf Richtlinie 2019/790 und 87 mit Erwähnung von „TDM“ – konzentriert auf europäische News-Sites, wo dieser Vorbehalt meist als 4 bis 8 Zeilen langer juristischer Vorspann steht.
Cloudflare hat den Schalter produktisiert. 2024 und 2025 führte Cloudflare ein Dashboard für „AI Audit“ ein, dazu einen Schalter „Block AI Bots“ und eine verwaltete robots.txt-Vorlage mit der Formulierung Content-Signal: search=yes,ai-train=no samt Boilerplate zur EU-Richtlinie 2019/790. Bis Mai 2026 läuft diese Vorlage auf 4,5 % der auslesbaren Top-10k. Cloudflare diskutiert öffentlich, den Schalter für neue Konten standardmäßig zu aktivieren – das würde die globale Blockrate um 5 bis 8 Punkte verschieben, ohne dass ein einzelner Verlag bewusst entscheidet.
robots.txt ist 2026 nicht mehr die unscheinbare Konfigurationsdatei von 2022. Sie ist zugleich ein Instrument zum Vorbehalt von Urheberrechten mit EU-rechtlicher Rückendeckung, ein vom Anbieter geprägtes Politikartefakt im Long Tail und die Frontlinie einer langsamen Verhandlung zwischen den Betreibern von Websites und den Betreibern von Modellen.
II. Methodik
Wir wollten das Verfahren so nüchtern und reproduzierbar wie möglich halten. Die komplette Pipeline (Python-Skripte, geparste CSVs, das Roharchiv der robots.txt, Diagramme) erscheint zusammen mit diesem Bericht.
Stichprobe
Ausgangspunkt war die Tranco-Liste vom Mai 2026, heruntergeladen als top-1m.csv.zip, von der wir die ersten 10.000 Zeilen verwendet haben. Tranco bündelt vier Upstream-Rankings (Cisco Umbrella, Majestic, Farsight und Cloudflare Radar), filtert über ein 30-Tage-Fenster auf Stabilität und entfernt offensichtliches Crawler- und CDN-Rauschen. Die Liste kommt einer kanonischen „globalen Web-Traffic-Top-10k“ am nächsten und ist der Standard für akademische Webforschung – seit ihrem Start durch die KU Leuven 2018 wird sie in über 600 begutachteten Arbeiten zitiert.
Sie enthält eine Mischung aus (a) primären Websites, die Menschen besuchen, (b) Infrastruktur-, API-, DNS- und CDN-Apex-Domains ohne / und (c) Domains, die intern von großen Plattformen genutzt werden (etwa gvt1.com, apple-dns.net, googleusercontent.com). Statt diese vorab herauszufiltern, haben wir alle behalten und in der Analyse als infrastructure markiert. Sie fallen ohnehin heraus, sobald wir auf „Sites mit auswertbarer robots.txt“ einschränken.
Abruf
Für jede der 10.000 Domains haben wir ein asynchrones GET /robots.txt über HTTPS ausgeführt, mit Fallback auf HTTP, bis zu vier Weiterleitungs-Hops, einem Gesamt-Timeout von 12 Sekunden, einer Body-Grenze von 500 KB und einem echten Browser-User-Agent mit Accept-Language: en-US. Die Parallelität lag bei maximal 80 gleichzeitigen Anfragen, ausgeführt von einer einzelnen Residential IP in San Francisco.
Das Abruf-Ergebnis:
| Status | Anzahl | Interpretation |
|---|---|---|
200 OK | 6.638 | robots.txt-Inhalt zurückgegeben und auswertbar. |
404 Not Found | 610 | Keine robots.txt vorhanden. RFC 9309 definiert das als implizites „alles erlauben“. |
403 Forbidden | 563 | Ursprungsserver weist robots.txt-Anfragen aktiv zurück. Aus der Analyse ausgeschlossen. |
429 Too Many Requests | 7 | Kaum CDN-basiertes Throttling in dieser Ranking-Stufe. |
fetch_failed (TLS-/DNS-/TCP-Fehler) | 2.065 | Meist CDN-Apex-Domains (akamai.net, cloudfront.net, fastly.net, gtld-servers.net, apple-dns.net), die unter / keinen Webserver betreiben. Nicht „blockiert“ — sie haben schlicht keine robots.txt auszuliefern. |
| Sonstige 4xx/5xx | 117 | Gemischt — Serverfehler, Geofencing, fehlerhafte Antworten. |
Damit umfasst die analysierbare Stichprobe 7.248 Sites (6.638 200 + 610 404). Die 2.065 fetch_failed sind echte Domains, aber CDN- und DNS-Apex-Punkte, keine Websites im engeren Sinn; sie als „KI-Richtlinie“ zu werten, wäre sinnlos. Sie bleiben als separate Zugänglichkeitsstatistik im Datensatz.
Parsing
Jeden 200-Body haben wir mit protego geparst, einer Python-Umsetzung von RFC 9309, die produktiv in Scrapy läuft. Für jedes Paar aus Site und Bot haben wir drei Werte berechnet:
can_fetch_root— ob der Bot/abrufen darf, nach der Standard-Semantik für Regelgruppen, der Priorität der längsten Übereinstimmung und der Überschreibung vonUser-agent: *durch einen spezifischen Bot-Block, falls beide vorhanden sind.has_specific_rule— ob die Datei eineUser-agent:-Zeile enthält, die genau diesen Bot nennt (ohne Beachtung der Groß-/Kleinschreibung).disallow_count— wie vieleDisallow:-Anweisungen im passenden Block stehen; das trennt vollständige Site-Sperren von bloßen Pfad-Einschränkungen.
Die Kombination zählt, weil eine reine „Blockrate“ zwei sehr verschiedene Phänomene vermischt: Marken, die absichtlich User-agent: GPTBot \n Disallow: / geschrieben haben, weil sie bewusst Gegenwehr leisten wollten – und Marken, deren generischer Block User-agent: * \n Disallow: / (vor Jahren für Staging oder Wartung angelegt) zufällig auch jeden KI-Bot aussperrt, den es beim Erstellen der Vorlage noch gar nicht gab. In diesem Bericht erfasst die Kennzahl „any AI block“ beide Fälle; „explicit AI block“ ist die bewusste Teilmenge.
Bots im Scope
Wir haben 25 Bots verfolgt, gruppiert in drei Kategorien:
- KI-Trainings-Crawler (16):
GPTBot,ClaudeBot,anthropic-ai,CCBot,Google-Extended,Meta-ExternalAgent,Bytespider,Applebot-Extended,Diffbot,Amazonbot,ImagesiftBot,FacebookBot,cohere-ai,AI2Bot,Omgili,Omgilibot. - KI-Inferenz-/Live-Retrieval-Bots (7):
PerplexityBot,Perplexity-User,ChatGPT-User,OAI-SearchBot,ClaudeBot(der sowohl Training als auch Inferenz bedient),YouBot,DuckAssistBot. - Such-Baseline (6):
Googlebot,Bingbot,DuckDuckBot,Slurp(Yahoo),Baiduspider,YandexBot.
Einige Bots changieren zwischen Training und Inferenz. ClaudeBot ist der prominenteste Fall: Anthropic hat den älteren anthropic-ai-UA 2024 abgekündigt und nutzt ClaudeBot nun für beides. Eine Regel Disallow: ClaudeBot lässt sich damit nicht mehr sauber als „Training blockieren, Sichtbarkeit erhalten“ lesen. Wir haben die Zuordnung so belassen und die Konsequenz weiter unten hervorgehoben.
Branchenklassifizierung
Jede Domain haben wir in einem mehrstufigen Verfahren einer von 16 Branchenkategorien zugeordnet (news, social, streaming, ecommerce, search, finance, infrastructure, saas, academia, dev, gov, adult, gambling, travel, telecom, unknown):
- Wörterbuch bekannter Domains — eine manuell kuratierte Zuordnung von rund 500 stark frequentierten Domains zu Branchen.
- TLD- und Suffixmuster —
.gov→gov,.eduund.ac.*→academia, erkannte CDN-Suffixe →infrastructure. - Schlüsselwörter im Domainnamen — news, post, shop, bank, porn, casino usw. als Fallback-Signale.
- Homepage-Crawl — für Sites, die auf den ersten drei Ebenen unklassifiziert blieben und deren
robots.txtmit200antwortete, haben wir die Homepage abgerufen,<title>,<meta name="description">und<meta property="og:type">extrahiert und per Sprachmodell-naher Schlüsselwortbewertung gegen kategorietypische Signale geprüft.
So erhielten wir 3.407 Sites (34 %) mit belastbaren Branchen-Tags; 6.593 blieben unknown. Der unknown-Block wird dominiert von nicht-englischen Regionalportalen, Marken-Websites unter .com, die in keine einzelne Kategorie passen, und traditionellen Medien kleiner Sprachmärkte ohne Wörterbucheintrag. Wo dieser Bericht pro Branche Prozentwerte nennt, ist der Nenner stets die klassifizierte Stichprobe dieser Branche, nicht die vollen 10.000.
III. Ergebnisse
Ergebnis 1 — Eine von fünf Traffic-starken Sites blockiert mindestens einen KI-Bot
Über die 7.248 analysierbaren Sites hinweg blockieren 1.472 (20,31 %) mindestens einen KI-Bot. 1.230 (16,97 %) haben eine absichtliche, KI-spezifische Regel. Die Googlebot-Baseline liegt bei 2,18 % (158 Sites – die meisten sperren als Wartungsstandard alles, in drei Fällen handelt es sich um Suchmaschinen, die Konkurrenten blockieren).
Die Schlagzeilenquote von 20 % ist das 9-Fache der Googlebot-Baseline. Das ist ein echtes Signal – Traffic-starke Sites blockieren deutlich häufiger einen KI-Crawler als einen Suchcrawler –, aber zugleich eine spürbar kleinere Zahl als die seit 2024 kursierenden Narrative über ein angeblich „universelles“ KI-Blocking. Selbst unter den 10.000 meistbesuchten Seiten des Webs äußern sich fünf von sechs nicht zur KI.
Die Aufteilung in „any AI block“ (20,3 %) und „explicit AI block“ (17,0 %) ist absolut klein, konzeptionell aber wichtig. Die Differenz von 3,3 Punkten entspricht dem Anteil der Sites, die KI-Bots nur deshalb aussperren, weil ihre bestehende Regel User-agent: * \n Disallow: / alles abfängt – auch Bots, die es beim Schreiben der Regel noch nicht gab. Die bewusst formulierten 17,0 % sind die sauberere Antwort auf die Frage, „wie viele der größten Websites der Welt eine explizite KI-Entscheidung getroffen haben“.
Im Vergleich zur Vorliteratur:
| Quelle | Datum | Stichprobe | Blockrate |
|---|---|---|---|
| Originality.ai | März 2025 | 1.000 beliebteste Nachrichten (englisch) | 35,7 % blockieren GPTBot |
| Palewire | Aug. 2024 | 1.500 Nachrichtenorganisationen | 36,0 % irgendein KI-Crawler |
| Reuters Institute | Frühjahr 2025 | 50 führende Nachrichtenmarken, 10 Länder | 78 % irgendein KI-Crawler |
| WIRED / NYT | Ende 2023 | Top 50 US-News | 26 % blockieren GPTBot |
| Dieser Bericht (Thunderbit) | Mai 2026 | Tranco Top 10.000 (alle Sektoren) | 20,3 % / 17,0 % explizit |
Unsere expliziten 17,0 % liegen unter allen reinen News-Studien, weil zwei Drittel unserer Stichprobe keine Nachrichten sind. Beschränkt auf die 650 News-Sites kommen wir auf 47 % – also denselben Bereich wie die früheren Studien, sobald man die Stichprobenzusammensetzung berücksichtigt. Das strukturelle Bild bleibt stabil: Der News-Sektor blockiert KI mit der drei- bis vierfachen Rate des übrigen Webs.
Ergebnis 2 — Tiefenanalyse nach Branche: 12-fache Spannweite von News bis Telecom
Die meistzitierte Erkenntnis aus zwei Jahren „AI scraping“-Berichterstattung war die Zahl „80 % der News-Seiten blockieren GPTBot“ aus den Untersuchungen von Originality.ai und Palewire. Unser Ausschnitt liefert eine kleinere, aber weiterhin markante Zahl: 47,2 % der News-Sites in den Top 10.000 blockieren mindestens einen KI-Bot, 45,2 % formulieren eine explizite KI-Regel.
„News gegen den Rest“ ist allerdings zu grob. Die vollständige Aufschlüsselung (Branchen mit n ≥ 10) erzählt eine deutlich reichere Geschichte:
| Branche | n | Any AI block | Explizit | Googlebot blockiert | DIY-Regeln | Cloudflare Managed | Silent |
|---|---|---|---|---|---|---|---|
| News | 650 | 47,2 % | 45,2 % | 1,5 % | 46,9 % | 1,5 % | 48,5 % |
| Travel | 64 | 29,7 % | 29,7 % | 0,0 % | 35,9 % | 3,1 % | 54,7 % |
| Social | 65 | 29,2 % | 23,1 % | 4,6 % | 23,1 % | 6,2 % | 66,2 % |
| Streaming | 440 | 20,0 % | 17,7 % | 0,7 % | 16,8 % | 3,6 % | 75,5 % |
| Finance | 129 | 19,4 % | 12,4 % | 0,8 % | 14,7 % | 2,3 % | 75,2 % |
| E-commerce | 224 | 18,3 % | 17,4 % | 0,4 % | 24,1 % | 1,3 % | 66,1 % |
| Adult | 254 | 17,3 % | 14,6 % | 0,4 % | 10,2 % | 7,9 % | 79,5 % |
| Search | 12 | 16,7 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 100,0 % |
| Academia | 268 | 14,6 % | 13,8 % | 0,4 % | 13,4 % | 3,4 % | 77,2 % |
| Gambling | 100 | 14,0 % | 13,0 % | 0,0 % | 18,0 % | 4,0 % | 77,0 % |
| Dev tools | 129 | 10,1 % | 7,8 % | 0,0 % | 8,5 % | 5,4 % | 77,5 % |
| SaaS | 369 | 7,6 % | 6,2 % | 0,3 % | 9,5 % | 0,8 % | 87,5 % |
| Government | 172 | 5,2 % | 3,5 % | 0,0 % | 4,1 % | 0,6 % | 83,1 % |
| Infrastructure | 47 | 4,3 % | 0,0 % | 0,0 % | 4,3 % | 2,1 % | 72,3 % |
| Telecom | 33 | 3,0 % | 3,0 % | 0,0 % | 12,1 % | 0,0 % | 78,8 % |
Die 12-fache Spannweite zwischen News und Telecom zeigt, warum „die KI-Politik des Webs“ die falsche Analyseeinheit ist. Es gibt nicht eine Zahl, sondern sektorale Zahlen, die sich um eine Größenordnung unterscheiden. Die vier auffälligsten Befunde im Einzelnen:
News: 47 % Blockierung, 47 % in Eigenregie. News ist der Sektor, der das Playbook geschrieben hat. Cloudflare Managed kommt hier nur auf 1,5 % – diese Verlage lagern die Regel nicht aus. Der Text ist ungewöhnlich reich: Die NYT beginnt mit einem 14-zeiligen juristischen Vorspann, der auf „Art. 4 der EU-Richtlinie“ verweist; die BBC mit „Please use our site like a human, not a robot... TL;DR: Browse, read, watch, enjoy — like a human.“; The Sun mit „The Sun does not permit the unlicensed use of our content for large language models.“ Das ist robots.txt als Richtlinienerklärung, nicht als Konfiguration.
Travel bei 30 % – die Überraschung. Booking, Expedia, TripAdvisor, Kayak und die großen Fluggesellschaften blockieren mit rund zwei Dritteln der News-Rate. Das selektive Muster ist konsistent: Der typische Travel-Blocker verwehrt 5 bis 7 Trainings-UAs den Zugriff, lässt die Inferenz-UAs (PerplexityBot, ChatGPT-User, OAI-SearchBot) aber unberührt. Aggregierte Preis- und Bewertungsdaten sind der Burggraben; Zitate zurück auf die Site sind der Mehrwert. Das ist das klarste „Training raus, Inferenz rein“-Muster in einer einzelnen Branche.
Adult bei 17 % – ebenfalls überraschend. Frühere, kleinere Stichproben zeigten 0 %. Die Gesamtdaten belegen, dass eine von sechs Adult-Sites mindestens einen KI-Bot aussperrt – mit der höchsten Cloudflare-Managed-Rate aller Sektoren (7,9 %). Mehr als die Hälfte dieser Blockaden stammt vom Cloudflare-Schalter, nicht von einer Verlegerentscheidung. Die implizite Bedrohung ist das Training für die Bildgenerierung – Modelle der StableDiffusion-Klasse lernen visuellen Stil schneller, als Textmodelle Schreibstil lernen.
SaaS bei 7,6 % ist kontraintuitiv. Softwareanbieter sind in der KI-Debatte am lautesten, doch ihre robots.txt steht weit offen. Die richtige Lesart: SaaS-Marketingteams haben AI Search korrekt als Distributionskanal erkannt. Wer sich tatsächlich Gedanken macht, schaltet ein statt aus – die explizite Allow-GPTBot-Liste (Ergebnis 12) wird von Sicherheits- und Dev-Tools-SaaS dominiert.
Government 5,2 %, Telecom 3,0 %, Infrastructure 4,3 %, Dev 10,1 %. Pflichten zur öffentlichen Aktenführung machen Disallow: / für .gov rechtlich heikel. Telecom-Marketingseiten wollen gefunden werden. CDN-Apex-Domains haben nichts zu schützen. Dev-Tools schalten bewusst ein – ihr Inhalt gewinnt an Wert, wenn LLMs darauf verweisen.
Die Schlussfolgerung: Es gibt keine einzelne „das Web blockiert KI / blockiert KI nicht“-Zahl, die nicht mehr verschleiert als erklärt. Eine sektorbezogene Darstellung ist die einzige ehrliche Art, die Daten zu diskutieren.
Ergebnis 3 — Pro KI-Anbieter: Wer wird am stärksten blockiert?
Ein weiterer naheliegender Schnitt verläuft nicht nach Bot, sondern nach KI-Unternehmen. Mehrere Anbieter betreiben mehrere Bots (OpenAI drei: GPTBot, ChatGPT-User, OAI-SearchBot; Anthropic zwei: ClaudeBot, anthropic-ai; Meta zwei: Meta-ExternalAgent, FacebookBot). Die Aggregation auf Anbieterebene kommt der Frage am nächsten, „was das öffentliche Web über jedes einzelne KI-Unternehmen denkt“.
| KI-Anbieter | Aggregierte Bots | Sites blockieren ≥ 1 Bot | % der analysierbaren Sites |
|---|---|---|---|
| Common Crawl | CCBot | 1.178 | 16,25 % |
| OpenAI | GPTBot, ChatGPT-User, OAI-SearchBot | 1.172 | 16,17 % |
| Anthropic | ClaudeBot, anthropic-ai | 1.111 | 15,33 % |
| ByteDance | Bytespider | 1.082 | 14,93 % |
| Meta | Meta-ExternalAgent, FacebookBot | 989 | 13,65 % |
Google-Extended | 970 | 13,38 % | |
| Amazon | Amazonbot | 877 | 12,10 % |
| Apple | Applebot-Extended | 859 | 11,85 % |
| Webz.io (Omgili) | Omgili, Omgilibot | 731 | 10,09 % |
| Cohere | cohere-ai | 717 | 9,89 % |
| Perplexity | PerplexityBot, Perplexity-User | 715 | 9,86 % |
| Diffbot | Diffbot | 684 | 9,44 % |
| You.com | YouBot | 563 | 7,77 % |
| AI2 (Allen AI) | AI2Bot | 487 | 6,72 % |
| DuckDuckGo | DuckAssistBot | 482 | 6,65 % |
Common Crawl ist die am stärksten anvisierte Einzelinstanz – obwohl es ein gemeinnütziges Webarchiv ist und kein LLM-Betreiber. Der Grund ist die Hebelwirkung: CCBot speist nahezu jedes Open-Weight-Modell und einen großen Teil der geschlossenen Modelle. CCBot zuerst zu blockieren ist die Regel mit der höchsten Abdeckung, die ein Verlag überhaupt schreiben kann.
OpenAI, Anthropic und ByteDance liegen bei 14 bis 16 %. OpenAIs Vorsprung ist teils ein Zählartefakt (drei OpenAI-Bots gegenüber einem bei ByteDance). Bytespiders 14,9 % sind der „Bytespider-Verhaltenseffekt“: Der Bot ignoriert robots.txt dokumentiert seit 2024, und Verlage blockieren ihn als öffentliches Signal, nicht aus Sorge um TikTok.
Meta, Google, Amazon und Apple bei 12 bis 14 % bilden die zweite Stufe – eher defensiv als als Positionsstatement geschrieben. Kleinere Anbieter (Webz.io, Cohere, Perplexity, Diffbot, You.com, AI2, DuckDuckGo) bei 6 bis 10 % werden meist durch die 3,8-%-Catch-all-Untergrenze nach oben gezogen; explizite Regeln für sie liegen eher bei 1 bis 4 %.
xAI (Grok), Mistral und die meisten europäischen und chinesischen Modelllabore fehlen in der Tabelle – sie haben keine dokumentierten Trainings-Crawler-UAs veröffentlicht. Das heutige robots.txt-Ökosystem ist ein Dialog zwischen US- und chinesischen Anbietern mit ausgelieferten UAs und US- und EU-Verlagen mit geschriebenen Regeln; Anbieter ohne UA bleiben für die Verhandlung unsichtbar.
Ergebnis 4 — CCBot ist der neue Blitzableiter, nicht GPTBot
Die Rangfolge der Bots in den Top-10k:
| Rang | Bot | Blockrate | Rate für explizite Regel |
|---|---|---|---|
| 1 | CCBot (Common Crawl) | 16,25 % | 12,90 % |
| 2 | GPTBot (OpenAI) | 15,84 % | 12,72 % |
| 3 | Bytespider (ByteDance) | 14,93 % | 11,35 % |
| 4 | ClaudeBot (Anthropic) | 14,51 % | 11,13 % |
| 5 | Google-Extended | 13,38 % | 10,18 % |
| 6 | Meta-ExternalAgent | 12,38 % | 8,95 % |
| 7 | Amazonbot | 12,10 % | 8,66 % |
| 8 | Applebot-Extended | 11,85 % | 8,72 % |
| 9 | Omgilibot | 10,09 % | 5,31 % |
| 10 | anthropic-ai (veraltet) | 9,99 % | 6,55 % |
| 11 | cohere-ai | 9,89 % | 6,42 % |
| 12 | PerplexityBot | 9,69 % | 6,40 % |
| 13 | Diffbot | 9,44 % | 5,95 % |
| 14 | ChatGPT-User (Inferenz) | 8,90 % | 5,73 % |
| 15 | YouBot (Inferenz) | 7,77 % | 4,29 % |
| 16 | OAI-SearchBot (Inferenz) | 6,83 % | 3,66 % |
| Basis | Googlebot | 2,18 % | — |
| Basis | Bingbot | 2,27 % | — |
Die Botschaft dieser Tabelle: Der Bot, den das öffentliche Web zuerst blockiert, ist nicht die Modellmarke, sondern der Korpus. Common Crawls 250-Milliarden-Seiten-Archiv war der größte einzelne Trainingsinput für GPT-3, GPT-4, Llama 1/2/3, Falcon, Mistral, BLOOM und die meisten seit 2020 veröffentlichten Open-Weight-Modelle. Wer „nicht im nächsten Frontier-Modell“ landen will, optimiert am besten, indem er zuerst CCBot sperrt – wer nicht in Common Crawl ist, fällt praktisch kostenlos aus der Open-Source-Trainingspipeline heraus. GPTBot und ClaudeBot folgen auf Platz zwei und drei, weil sie die sichtbare Frontend-Schicht zweier konkreter kommerzieller Produkte sind; der UA auf Korpusebene ist das strukturelle Ziel.
Auch die niedriger platzierten KI-Bots sind aufschlussreich. Omgilibot bei 10 % ist ungewöhnlich hoch für einen Bot, den viele Leser kaum kennen dürften – er gehört zu Webz.io, einem Content-Data-Broker, der Webarchive an LLM-Betreiber verkauft, und eine beträchtliche Zahl von Nachrichtenorganisationen nennt ihn inzwischen namentlich. AI2Bot bei 6,7 % (samt entsprechender Ai2Bot-Dolma-Regel auf Squarespace-Sites) deutet darauf hin, dass auch die akademische LLM-Community markiert wird – von Verlagen, die nicht zwingend zwischen „nicht-kommerziellem Forschungs-Crawler“ und „kommerziellem Crawler“ unterscheiden.
Der Inferenz-Cluster – ChatGPT-User, OAI-SearchBot, YouBot, Perplexity-User – liegt 4 bis 8 Prozentpunkte unter dem Trainings-Cluster. Diese Lücke beantwortet eine alte Policy-Frage: Ja, Top-Sites unterscheiden zwischen einem Bot, der Daten für künftiges Training sammelt, und einem Bot, der live Informationen abruft, um die Frage eines Nutzers zu beantworten. Sie machen den Unterschied nicht immer explizit (die Catch-all-Regeln tun das nicht), aber ein relevanter Anteil schreibt Regeln, die gezielt auf die Trainingsseite zielen.
Ergebnis 5 — 14 % blockieren CCBot, heißen Googlebot aber willkommen: das Muster „Korpus blockieren, Suche behalten“
Die selektive Regel mit der höchsten Verbreitung in den Top-10k:
| Regelmuster | Sites | % der analysierbaren Sites |
|---|---|---|
CCBot blockieren, Googlebot erlauben | 1.023 | 14,11 % |
Bytespider blockieren, Googlebot erlauben | 926 | 12,78 % |
Google-Extended blockieren, Googlebot erlauben | 816 | 11,26 % |
GPTBot blockieren, OAI-SearchBot erlauben | 658 | 9,08 % |
GPTBot blockieren, ChatGPT-User erlauben | 525 | 7,24 % |
CCBot blockieren, PerplexityBot erlauben | 519 | 7,16 % |
anthropic-ai blockieren, ClaudeBot erlauben | 59 | 0,81 % |
Das am weitesten verbreitete Muster (14,1 %) lautet „Common Crawl blockieren, Google-Sichtbarkeit behalten“. Auf Platz zwei (12,8 %) folgt „Bytespider blockieren, Google-Sichtbarkeit behalten“ – also den reputationskritischen ByteDance-Crawler sperren, während die legitime Such-Baseline unberührt bleibt. Auf Platz drei (11,3 %) steht „Googles eigenen KI-Trainings-UA blockieren, den Such-UA aber behalten“; genau dafür hat Google Google-Extended geschaffen: Der Verlag optiert aus dem Bard-/Gemini-Training aus, ohne sein Such-Ranking zu riskieren.
Diese drei Zahlen zusammen beschreiben die dominante Haltung im Top-10k-Web: Trainingskorpus-Bots sperren, Such- und Inferenz-Bots unberührt lassen. Das Minderheitsmuster „Training sperren, aber die spezifische Live-Retrieval-UA dieses LLM erlauben“ – GPTBot ✗ / ChatGPT-User ✓ bei 7,2 % – existiert, ist aber kleiner als die Korpusschnitte.
Die Zeile anthropic-ai / ClaudeBot bei 0,81 % spiegelt Anthropics UA-Abkündigung von 2024 wider: ClaudeBot bedient nun Training und Inferenz, womit die klare Formulierung „Training blockieren, Zitation erlauben“ aus der alten anthropic-ai-UA wegfällt. Das ist die am wenigsten diskutierte UA-Designentscheidung von 2024/2025 – sie hat eine ganze Kategorie von Richtlinienausdrücken aus robots.txt gestrichen.
Ergebnis 6 — News im Detail: nach Land und Sprache
Schlüsselt man die News-Kategorie nach Länder-Code-TLD auf – wobei .de deutsche, .fr französische News usw. bedeutet, nicht die Sprache des Angebots –, ist die Varianz innerhalb von News größer als die zwischen News und dem Rest:
| Land (nur News) | n | Any AI block | Explizit |
|---|---|---|---|
🇩🇪 Deutschland (.de) | 25 | 88,0 % | 88,0 % |
🇫🇷 Frankreich (.fr) | 15 | 80,0 % | 80,0 % |
🇬🇧 Vereinigtes Königreich (.co.uk) | 15 | 66,7 % | 53,3 % |
🇪🇸 Spanien (.es) | 5 | 60,0 % | 60,0 % |
🇮🇹 Italien (.it) | 13 | 53,8 % | 53,8 % |
Globale News (.com/.org/etc.) | 500 | 45,0 % | 42,8 % |
🇵🇱 Polen (.pl) | 7 | 42,9 % | 42,9 % |
🇯🇵 Japan (.jp) | 12 | 25,0 % | 25,0 % |
🇷🇺 Russland (.ru) | 13 | 0,0 % | 0,0 % |
🇬🇷 Griechenland (.gr) | 6 | 0,0 % | 0,0 % |
Deutsche News sind mit 88 % das stärkste Blocking-Segment im gesamten Datensatz – und zwar zu 88 % explizit. Praktisch keine deutsche News-Site in den Top 10k lässt KI-Trainings-Crawler bis ins Archiv. Den Kreis bilden Spiegel, Bild, Welt, Zeit, FAZ, Süddeutsche, Heise, Golem, Stern und Focus – die gesamte deutsche Mainstream-Presse plus Tech-Publisher, die eigenständig Regeln geschrieben haben. Dahinter steht eine dichte politische Infrastruktur: Die VG Media, deutsche Verwertungsgesellschaft der Verlage, gehört zu den klagestärksten Gruppen in der EU-KI-Urheberrechtslitigation, und Artikel 4 der EU-Richtlinie ist im deutschen Recht als § 44b UrhG mit ausdrücklicher maschinenlesbarer Opt-out-Sprache umgesetzt. Als die KI-Anbieter auftauchten, waren deutsche Verlage von allen nationalen Gruppen am besten gerüstet, diese Rechtslage in robots.txt-Regeln zu übersetzen.
Französische News mit 80 % liegen knapp dahinter. Die Rechtslage ist ähnlich (Richtlinie 2019/790 in französisches Recht umgesetzt), das Verhalten des Kreises ebenso – lemonde.fr, lefigaro.fr, liberation.fr, lequipe.fr, 20minutes.fr und ouest-france.fr blockieren allesamt; die Datei von Le Monde verweist zusätzlich auf das droit du producteur de base de données (Artikel L 342-1 des Code de la propriété intellectuelle) als parallele nationale Grundlage. Frankreich hat zudem den Sonderfall eines Urteils des Pariser Handelsgerichts von 2024, das robots.txt-Opt-outs als ausreichenden Hinweis im Sinne von Artikel 4 anerkennt – eine unmittelbare Rechtsprechungsgrundlage, die bislang kein anderes Land in dieser Form vorweisen kann.
Das Vereinigte Königreich liegt mit 67 % niedriger, weil mehrere große britische Verlage (thesun.co.uk, dailymail.co.uk, mirror.co.uk) statt KI-spezifischer Regeln pauschale User-agent: *-Blockaden verwenden, was den expliziten Wert auf 53 % drückt. Die Wirkung ist dieselbe – diese Sites lassen kein KI-Crawling –, aber die Politik wird als „keine Bots außer dieser spezifischen Suchmaschinen-Allowlist“ ausgedrückt statt als benannte KI-Verbote. Auch die Rechtsgrundlage ist schwächer: Nach dem Brexit hat das Vereinigte Königreich die Logik von Artikel 4 übernommen, doch die nationale Rechtsprechung dazu ist dünner.
Russische News bei 0 % sind die überraschendste Zeile. Dreizehn russischsprachige News-Domains in der Stichprobe (dzen.ru, rbc.ru, ria.ru, kommersant.ru, tass.ru, lenta.ru, gazeta.ru, interfax.ru, kp.ru, tass.com usw.) – keine blockiert einen KI-Crawler. Die naheliegende Erklärung: Das Training russischsprachiger LLMs wird von Yandexs eigenen GPT-ähnlichen Modellen dominiert (die interne Crawler nutzen, nicht Common Crawl), das russische Urheberrecht kennt kein Pendant zu Artikel 4, und große russische Verlage sehen westliche LLMs als kein zentrales Problem (US-Exportkontrollen begrenzen OpenAI- und Anthropic-Dienste in Russland ohnehin) und Yandex als heimischen Stakeholder statt als Gegner. Die politische Haltung ist also grundlegend anders.
Japanische News bei 25 % bilden ein drittes Muster. Japan hat in seinem Urheberrecht explizite Ausnahmen für Text- und Data-Mining (Artikel 30-4, 2018 geändert), die großzügiger als Artikel 4 der EU-Richtlinie sind – sie erlauben TDM ohne „Genuss-/Nutzungsabsicht“, einschließlich KI-Training, ohne Zustimmung der Rechteinhaber. Japanische Verlage haben damit weniger rechtlichen Spielraum für Opt-outs, und die robots.txt-Werte fallen niedriger aus. Die 25 %, die blockieren, sind meist die größten und internationalsten Häuser (asahi.com, nikkei.com), die sich eher global als rein national positionieren.
Die länderübergreifenden News-Daten sind der klarste Beleg dieses Berichts dafür, dass das Rechtsregime und nicht Technik oder Branchenökonomie der Haupttreiber des KI-Blockings ist. EU-News-Kreise liegen zwischen 54 % und 88 %; Nicht-EU-News-Kreise (Russland, Japan, der globale .com-Kreis) reichen von 0 % bis 45 %. Der Höchstwert von 88 % findet sich im Land mit der am weitesten ausgebauten Artikel-4-Umsetzung, der Tiefstwert von 0 % im Land ohne nennenswerte KI-Politikgesetzgebung.
Ergebnis 7 — EU vs. Rest: eine Lücke von 16 Punkten
Eine Ebene über dem Länderaspekt zeigt der EU-vs.-Rest-Schnitt ein deutliches Bild:
| Region | n | Any AI block | Explizit |
|---|---|---|---|
EU-ccTLDs (.fr, .de, .es, .it, .nl, .pl, .se, .dk, .fi, .be, .at, .cz, .hu, .ro, .gr, .pt, .ie, .sk, .bg) | 617 | 35,2 % | 33,9 % |
Nicht-EU-National-ccTLDs (.uk, .jp, .kr, .cn, .ru, .br, .in, .au, .mx, .ca, .tr, .ar, .cl, .co, .pe) | 897 | 17,2 % | 13,6 % |
Global (.com, .net, .org, etc.) | 5.734 | 19,2 % | 15,7 % |
EU-ccTLD-Sites blockieren KI doppelt so häufig wie der nicht-EU-Nationalkreis und fast doppelt so häufig wie die globale .com-Baseline. Der Unterschied ist über die EU-Mitgliedstaaten hinweg konsistent (kein einzelnes Land treibt den Schnitt) und auch über Branchen hinweg (.de News bei 88 %, .de SaaS bei etwa 12 %, .de E-Commerce bei etwa 25 % – jeweils höher als die globalen Gegenstücke).
Wir fanden 275 robots.txt-Dateien in den Top-10k, die in ihren Kommentaren ausdrücklich auf Richtlinie 2019/790 verweisen – rund 3,8 % der auswertbaren Stichprobe. Der Kreis wird von EU-Verlagen dominiert, reicht aber darüber hinaus: Mehrere US-News-Marken (allen voran die NYT, die direkt „Art. 4 of the EU Directive“ nennt), einige UK-Sites und eine Handvoll größerer europäischer E-Commerce-Angebote übernehmen die juristische Sprache. 87 Dateien erwähnen „TDM“ oder „text and data mining“ namentlich. 460 Dateien enthalten irgendeine Form von Urheberrechtsvorbehalt („expressly opts out“, „all rights reserved“, „no commercial use“, „no machine learning“), auch ohne ein bestimmtes Gesetz zu nennen.
Zwei feinere Beobachtungen aus diesem Schnitt:
Der EU-Effekt betrifft nicht nur News. Hält man News konstant, blockieren EU-Non-News-Sites KI weiterhin häufiger als ihre Nicht-EU-Pendants (etwa 28 % gegenüber 14 %). Ein kleiner, aber realer Anteil von EU-SaaS, E-Commerce und Academia hat den Artikel-4-Rahmen für die eigene Branche übernommen.
Die EU-geprägte Sprache wird de facto auch außerhalb der EU zur Vorlage. Die weltweit verwendete, von Cloudflare verwaltete robots.txt-Vorlage zitiert in ihrem Boilerplate ausdrücklich „ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790“. Eine US-Site, die Cloudflares „Block AI Bots“ aktiviert, erklärt damit – womöglich ohne es zu wissen – einen gesetzlichen Rechtevorbehalt nach EU-Recht. Das ist eines der interessantesten Drift-Artefakte des Datensatzes: Ein europäisches Rechtskonzept wird über die Produktoberfläche eines US-Infrastrukturproviders globalisiert.
Ergebnis 8 — Vorlagen und ihre Herkunft
Die Verteilung der Vorlagen bei den 6.638 Sites mit auswertbarer robots.txt:
| Vorlage | Sites | Anteil |
|---|---|---|
| Kein KI-Bot erwähnt (Standard-Templates von Shopify, Yoast, manuell ohne KI-Betrachtung geschrieben) | 5.024 | 75,7 % |
| Eigene / DIY-KI-Regeln | 1.183 | 17,8 % |
Cloudflare Managed (Content-Signal: search=yes,ai-train=no) | 302 | 4,5 % |
Explizites Allow: / für GPTBot | 124 | 1,9 % |
| Squarespace-Standard (28 AI-UAs im pfadbeschränkten Block) | 5 | 0,1 % |
DIY-Regeln dominieren mit 17,8 %. Den Kreis der selbst verfassten Blockaden führen alle großen Social-Media-Plattformen an (facebook.com, twitter.com, linkedin.com, whatsapp.com, tiktok.com, snapchat.com, pinterest.com, x.com, chatgpt.com selbst), die größten E-Commerce-Ziele (amazon.com, amazonvideo.com), die großen News-Marken (nytimes.com, cnn.com, bbc.com, theguardian.com, forbes.com, reuters.com, bbc.co.uk, t-online.de, weather.com), wichtige Streaming- und Media-Angebote (netflix.com, vimeo.com, soundcloud.com, imdb.com) und ein langer Schwanz an Professional-Services-Seiten (canva.com, medium.com).
Cloudflare Managed liegt bei 4,5 % – deutlich höher als an der Spitze der Kurve und niedriger als im Long Tail außerhalb unseres Ausschnitts. Die Vorlage wird am häufigsten im Segment Rang 1001–10000 genutzt (4 bis 5 %) und ist an der Spitze praktisch abwesend (Top 100: 1 Site; Top 101–1000: 5 Sites). Die großen globalen Properties schreiben eigene Regeln; der Long Tail nutzt den Schalter.
Einige konkrete Cloudflare-Managed-Sites sind bemerkenswert. cloudflare.com selbst läuft mit der Vorlage – konsequent, denn Cloudflare nutzt das eigene Produkt auf der eigenen Domain. theatlantic.com läuft mit der Vorlage – die einzige große US-News-Marke ohne eigene Regel. spankbang.com läuft mit der Vorlage – die höchstrangige Adult-Site, die eine von Cloudflare eingefügte KI-Blockade übernommen hat. linktr.ee läuft mit der Vorlage und blockiert so das KI-Training über die gesamte von Linktree gehostete Creator Economy mit einer einzigen Anbieterentscheidung. launchpad.net, nexusmods.com, vinted.fr, cookielaw.org, rustdesk.com und eine lange Liste kleinerer Medienangebote vervollständigen den sichtbaren Cloudflare-Managed-Kreis.
Das Cloudflare-Muster ist der konkreteste Beleg dafür, dass ein erheblicher Teil der „KI-Politik des Webs“ von Infrastrukturbetreibern entschieden wird. Der absolute Anteil ist klein (4,5 %), aber strukturell wichtig: Die Vorlage ist der Standard, den Cloudflare ausliefert, und die Tendenz für die nächsten 12 Monate zeigt in Richtung default-on. Aktiviert Cloudflare den Schalter für neue Konten, verschiebt sich die globale Blockrate spürbar, ohne dass ein einzelner Verlag entscheidet.
Der Squarespace-Standard (5 Sites in den Top-10k, aber ein deutlich größerer Kreis außerhalb der Stichprobe) ist ein anderes Muster: Squarespace liefert eine robots.txt aus, die 28 KI-Bots in einem einzigen Block nennt, diese Bots übernehmen aber die Pfadbeschränkungen von User-agent: * statt einer umfassenden Site-Sperre. KI-Crawler erreichen /, die Startseite, die Produktseiten und den Blog – nur /config oder /account bleiben gesperrt. Wir hatten das bereits als Quelle falsch-positiver „KI-Block“-Lesarten bei Drittanbieter-Scans von Squarespace-Sites markiert; die Einschränkung gilt auch hier.
Ergebnis 9 — Die KI-Politik ist über die Rangverteilung hinweg recht homogen
Die übliche Intuition bei so einer Studie ist, dass die meistbesuchten Sites die aggressivste KI-Politik fahren – sie haben am meisten durch Trainingsverdrängung zu verlieren, die größte rechtliche Kapazität und die meiste öffentliche Aufmerksamkeit. Die Daten stützen das nicht.
| Rangbereich | n | Any AI block | Explizit | Cloudflare Managed |
|---|---|---|---|---|
| Top 100 | 67 | 22,4 % | 17,9 % | 1 Site |
| Top 101–1.000 | 598 | 22,9 % | 19,2 % | 5 Sites |
| Top 1.001–5.000 | 2.810 | 19,0 % | 15,3 % | 99 Sites |
| Top 5.001–10.000 | 3.773 | 20,8 % | 17,8 % | 197 Sites |
Die vier Gruppen liegen zwischen 19 % und 23 %. Die Top 100 ist nicht aggressiver als der Long Tail von Rang 5001 bis 10.000. Die Schlagzeilenquote ist demnach eine Eigenschaft des öffentlichen Webs im Jahr 2026 – kein Signal dafür, wie groß oder sichtbar eine einzelne Site ist.
Zwei Faktoren wirken zusammen. Erstens dominieren an der Spitze der Kurve Infrastruktur-, SaaS-, Such- und Portal-Domains (Microsoft, Apple, Google usw.) mit für sich genommen niedrigen Blockraten. Zweitens enthält der Long Tail einen hohen Anteil regionaler News-Verlage und EU-Rechtsraum-Sites, die – wie Ergebnis 6 und 7 zeigen – KI deutlich häufiger blockieren als der globale Durchschnitt. Die beiden Effekte heben sich weitgehend auf, und netto entsteht eine homogene Gesamtzahl.
Die Cloudflare-Managed-Spalte verschiebt sich allerdings über die Kurve. In der Top-1000 gibt es 6 Cloudflare-verwaltete Sites (1,0 %); in Top 1001–10000 sind es 296 (5,7 %). Die großen Sites schreiben selbst; der Long Tail nutzt den Anbieter-Schalter. Das ist das einzige relevante rangabhängige Signal im Datensatz, und es deutet darauf hin, dass der vom Anbieter statt vom Verlag gesetzte Anteil der KI-Politik stetig steigt, je weiter man von der Spitze in den Long Tail geht. Wir erwarten, dass sich dieser Gradient über die Top 10k hinaus in die Top 100k und weiter fortsetzt.
Ergebnis 10 — Fünf Anatomien: Wie robots.txt aussieht, wenn sie wirklich Politik ist
Zahlen beschreiben die Form des Datensatzes; den eigentlichen Charakter der „KI-Politik im öffentlichen Web“ liest man am besten an konkreten Dateien ab. Fünf davon lohnen den genauen Blick.
Anatomie 1 — The New York Times (nytimes.com)
Die ersten 14 Zeilen von nytimes.com/robots.txt:
# New York Times content is made available for your personal, non-commercial
# use subject to our Terms of Service here:
# https://help.nytimes.com/hc/en-us/articles/115014893428-Terms-of-Service.
# Use of any device, tool, or process designed to data mine or scrape the content
# using automated means is prohibited without prior written permission from
# The New York Times Company. Prohibited uses include but are not limited to:
# (1) text and data mining activities under Art. 4 of the EU Directive on Copyright in
# the Digital Single Market;
# (2) the development of any software, machine learning, artificial intelligence (AI),
# and/or large language models (LLMs);
# (3) creating or providing archived or cached data sets containing our content to others; and/or
# (4) any commercial purposes.
# Contact https://nytlicensing.com/contact/ for assistance.
Das ist robots.txt als juristisches Beweisstück. Die Datei ist so aufgebaut, dass sie im laufenden Verfahren NYT v. OpenAI als Beweis zulässig sein dürfte. Dass ein US-Verlag auf „Art. 4 of the EU Directive“ verweist, illustriert den Befund aus Ergebnis 7: EU-rechtliche Rahmen sickern in den globalen Diskurs ein. Das ausdrückliche Verbot, „archived or cached data sets“ zu erstellen oder bereitzustellen, zielt direkt auf Common Crawl. Die Datei ist über 60 Zeilen lang und enthält benannte User-agent-Blöcke für GPTBot, OAI-SearchBot, ChatGPT-User, anthropic-ai, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, Diffbot, Meta-ExternalAgent, Amazonbot, Omgili, Omgilibot und weitere; jeder erhält ein eigenes Disallow: /.
Anatomie 2 — Der Spiegel (spiegel.de) — KI-Freigabe auf Abschnittsebene
Der Spiegel hat die mit Abstand betrieblich ausgefeilteste robots.txt des gesamten Datensatzes. Der relevante Block:
# TLP-6507: Testweise Freischaltung der OpenAI-Suchcrawler fuer ausgewaehlte Bereiche
User-agent: OAI-SearchBot
Allow: /ausland/
Allow: /partnerschaft/
Allow: /gesundheit/
Allow: /familie/
Allow: /reise/
Allow: /psychologie/
Allow: /stil/
Disallow: /
User-agent: ChatGPT-User
Allow: /ausland/
Allow: /partnerschaft/
Allow: /gesundheit/
Allow: /familie/
Allow: /reise/
Allow: /psychologie/
Allow: /stil/
Disallow: /
Der Kommentar bedeutet, dass die OpenAI-Suchcrawler testweise für ausgewählte Bereiche freigeschaltet sind. Spiegel hat sieben konkrete Inhaltskategorien auf die Whitelist gesetzt – Ausland, Partnerschaft, Gesundheit, Familie, Reise, Psychologie und Stil – für OpenAIs Inferenz-UAs, während alles andere gesperrt bleibt. Politik, deutsche Inlandsthemen und investigativer Journalismus sind ausdrücklich ausgenommen. Common Crawl, Bytespider, Cohere, Webzio-Extended und die übrigen Trainings-UAs erhalten weiter unten in der Datei ein vollständiges Disallow: /.
Das ist robots.txt als redaktionelle Richtlinie auf Abschnittsebene. Die implizite These: Lifestyle-Inhalte tragen ein geringeres Risiko der Trainingsverdrängung und einen höheren Inferenz-Zitationsnutzen, also gibt Spiegel KI diese Bereiche frei; politische und investigative Inhalte sind der Burggraben, also bleibt KI ausgeschlossen. Wir haben dieses Muster sonst nirgends gesehen. Es setzt eine interne Abstimmung zwischen Redaktion, Recht und Infrastruktur voraus, die die meisten Häuser noch nicht erreicht haben. Wir erwarten, dass sich diese granulare Form 2026/2027 verbreitet – Spiegels Datei ist im Grunde ein Frühindikator.
Anatomie 3 — BBC (bbc.com) — die Form der Richtlinienerklärung
Die robots.txt der BBC beginnt mit:
# version: ec59bd036e5138eb4831a9ed44447b1ff310e235
# The BBC's Terms of Use: https://www.bbc.co.uk/terms
# - Explain the rules for using our services
# - Tell you what you can do with our content
#
# In short: Please use our site like a human, not a robot.
# That means:
# - No scraping, crawling, or systematic extraction of content
# - No use of BBC content for training or fine-tuning AI models, including LLMs
# - No retrieval-augmented generation (RAG), AI-powered search, agentic AI or
# grounding using BBC content
# - No creating datasets from BBC content
# - No text and data mining (TDM) under Article 4 of the EU Directive on Copyright
# - No using BBC content to create summaries for your own use
# - No business use without permission
# - The BBC reserves all rights in its content and expressly opts out of any
# statutory exceptions in any jurisdiction for text and data mining,
# as permitted by law
#
# TL;DR: Browse, read, watch, enjoy - like a human.
Die BBC versieht ihre robots.txt mit einer Versionsangabe (# version: ec59bd... ist ein Git-Commit-Hash), verbietet die acht konkreten KI-Nutzungsarten, die die BBC-Juristen im Blick haben, und schließt mit einer einzeiligen Zusammenfassung im Tonfall der Marke. Die Formulierung „expressly opts out of any statutory exceptions in any jurisdiction“ ist ein bewusster globaler Vorbehalt – die Aussage lautet: Wir vertrauen keinem einzelnen Rechtsregime, uns den gewünschten Schutz zu verschaffen, also erklären wir den Opt-out überall zugleich. Es ist die am stärksten redigierte robots.txt des Datensatzes und liest sich eher wie eine Pressemitteilung als wie eine Konfigurationsdatei.
Anatomie 4 — WordPress.org — das ausdrückliche Willkommen
Im Kontrast dazu wordpress.org:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bytespider
Allow: /
User-agent: CCBot
Allow: /
User-agent: Copilot
Allow: /
WordPress.org optiert ausdrücklich in neun KI-Trainings-Crawler ein – darunter die drei (Bytespider, CCBot, anthropic-ai), die anderswo am häufigsten gesperrt werden. Die implizite These: Die WordPress-Dokumentation und das Plugin-Ökosystem sind ein öffentliches Gut, dessen Wert steigt, wenn KI-Assistenten Fragen dazu beantworten können. Jedes Mal, wenn jemand Claude fragt „Wie konfiguriere ich Permalinks in WordPress?“ und Claude auf wordpress.org/documentation/ trainiert wurde, dient das der WordPress-Mission. Die Foundation hat offenbar entschieden, dass die Präsenz in jedem Trainingskorpus strategisch positiv ist, und die Ausdruckslogik der Datei entsprechend genutzt.
Anatomie 5 — The Verge (theverge.com) — das gesponserte Hybridmodell
Ein letztes Muster, das den Blick lohnt. The Verge strukturiert seine KI-Regeln als Disallow: / \ Allow: /sp/:
User-agent: GPTBot
Allow: /
User-agent: Applebot
Allow: /
User-agent: Google-Extended
Disallow: /
Allow: /sp/
User-agent: anthropic-ai
Disallow: /
Allow: /sp/
User-agent: Bytespider
Disallow: /
Allow: /sp/
User-agent: CCBot
Disallow: /
Allow: /sp/
User-agent: ChatGPT-User
Disallow: /
Allow: /sp/
User-agent: ClaudeBot
Disallow: /
Allow: /sp/
Der Pfad /sp/ ist der Bereich für gesponserte bzw. Partner-Inhalte von The Verge. Redaktionelle Inhalte bleiben vom KI-Training ausgeschlossen; gesponserte Inhalte sind erlaubt. Die ökonomische Logik ist klar: Sponsoren bezahlen dafür, dass ihre Inhalte auffindbar sind, auch über KI; das redaktionelle Flaggschiff ist der Burggraben. GPTBot steht vollständig offen (vermutlich aufgrund einer direkten OpenAI-Beziehung), Applebot als Such-Baseline ebenfalls, und der Rest erhält die Hybridbehandlung. Es ist die einzige gestufte KI-Zugangsstruktur dieser Art im Datensatz.
Diese fünf Dateien umreißen das aktuelle Spektrum der robots.txt-KI-Politik. Die meisten Dateien in den Top 10k sehen nach keiner dieser Varianten aus – sie schweigen oder nutzen eine Anbieter-Vorlage. Die Dateien, die einer dieser Varianten ähneln, stammen von Menschen, die entschieden haben, dass sich das genaue Lesen lohnt.
Ein Hinweis zur Größe: Der Median der robots.txt-Bodies liegt bei 858 Bytes – zu klein für eine sinnvolle KI-Politik. Die eigentlichen Regeln liegen am rechten Rand: 1.005 Sites (15,3 %) haben eine Datei größer als 5 KB, 273 größer als 20 KB, das Maximum lag bei 248 KB. 460 Dateien enthalten einen Urheberrechtsvorbehalt; 275 nennen EU 2019/790 namentlich. Eine robots.txt ist 2026 zunehmend ein versioniertes, juristisch geprüftes Dokument und keine bloße Konfigurationszeile mehr.
Ergebnis 11 — 108 Sites heißen GPTBot ausdrücklich willkommen
Ein kleiner, aber sichtbarer Kreis schreibt eine Regel User-agent: GPTBot \n Allow: / – das Gegenstück zum häufiger diskutierten „Disallow GPTBot“. In unserer Stichprobe sind es 108 Sites mit ausdrücklichem Allow für GPTBot auf dem Root-Pfad. Die ersten 25 nach Tranco-Rang:
| Rang | Domain | Sektor |
|---|---|---|
| 42 | wordpress.org | Dev-Tools / CMS |
| 133 | kaspersky.com | Sicherheit |
| 187 | avast.com | Sicherheit |
| 265 | hp.com | Hardware-OEM |
| 624 | branch.io | Mobile-Attribution-SaaS |
| 692 | sophos.com | Sicherheit |
| 782 | theverge.com | News |
| 905 | rambler.ru | Russisches Portal |
| 945 | kleinanzeigen.de | Deutscher Marktplatz |
| 948 | theatlantic.com | News |
| 1.092 | lge.com | LG Electronics |
| 1.300 | justdial.com | Lokale Suche in Indien |
| 1.332 | avira.com | Sicherheit |
| 1.412 | youm7.com | Ägyptische News |
| 1.530 | goodreturns.in | Finanzen in Indien |
| 1.621 | publi24.ro | Rumänische Kleinanzeigen |
| 1.807 | geocomply.com | Compliance-SaaS |
| 1.908 | nba.com | Sport |
| 1.956 | oneindia.com | Indische News |
| 1.974 | mindbox.ru | Russisches SaaS |
| 2.009 | thesun.co.uk | News |
| 2.126 | vox.com | News |
| 2.140 | mgid.com | Native Advertising |
| 2.314 | ninjarmm.com | IT-Management-SaaS |
| 2.323 | norton.com | Sicherheit |
Einige Muster:
Sicherheitsunternehmen sind auffällig überrepräsentiert. Kaspersky, Avast, Sophos, Avira, Norton und NinjaRMM erlauben GPTBot ausdrücklich. Das ist ein bewusster Distributionshebel: Fragt ein Nutzer ChatGPT „Was ist der beste Virenschutz für meinen Windows-Rechner?“, beeinflusst die Präsenz der Marke im Trainingskorpus direkt die Empfehlung. Sicherheit ist eine der wenigen B2C-Kategorien, in denen AI Search bereits SEO als primären Akquisitionskanal verdrängt, und diese Marken sind vorangegangen. Wir erwarten, dass der Rest des Sektors binnen 12 Monaten nachzieht.
Einige große News-Marken stehen auf dieser Liste, nicht auf der Blockliste. The Verge, The Atlantic, Vox, The Sun und NBA.com. Das ist kein Widerspruch – diese Verlage haben offenbar entschieden, dass die Zitierbarkeit in der ChatGPT-Suche wertvoller ist als der Schutz vor Training, und die explizite Allow-Regel geschrieben, um sich gegen künftige Überblockierungen durch CDN oder CMS abzusichern. Im Kontrast dazu stehen NYT, Reuters, BBC, Forbes und Guardian mit explizitem Disallow. Beide Positionen sind vertretbar; die News-Branche ist nicht monolithisch.
Die Präsenz von The Sun ist bemerkenswert, weil dieselbe Site an anderer Stelle einen pauschalen User-agent: *-Verbots-Block verwendet. Die Politik von The Sun liest man am besten als „KI-Training ist verboten, KI-Suche ist erlaubt, und wir haben GPTBot ausdrücklich von der pauschalen Sperre ausgenommen, damit ChatGPT Fragen unter Berufung auf The Sun beantworten kann.“ Das ist die rechtlich ausgereifteste der GPTBot-Allow-Regeln – ein Opt-out plus ein Opt-in für einen einzelnen Anbieter.
Die Präsenz von WordPress.org ist wohl der folgenreichste Einzeleintrag der Liste. Ein nicht unerheblicher Teil des globalen Open-Source-CMS-Ökosystems verweist für Dokumentation auf WordPress.org oder hostet Plugins von dort. Indem die WordPress Foundation GPTBot in wordpress.org/robots.txt ausdrücklich erlaubt, hat sie das WordPress-Dokumentationsökosystem de facto für Training geöffnet – mit Folgen dafür, wie gut Claude, Gemini und ChatGPT „Wie mache ich …?“-Fragen zu WordPress beantworten.
Die übrigen 83 Sites der vollständigen Allow-GPTBot-Liste sind ein langer Schwanz aus regionalen News-Seiten, kleineren Sicherheitsanbietern, Kleinanzeigenplattformen in nicht-englischen Märkten und B2B-SaaS. Soweit erkennbar, gibt es keine sektorweite „Allow-GPTBot“-Koordination – die Regel wird Site für Site übernommen, von Betreibern, die Präsenz im Korpus für die strategisch richtige Position halten.
Ergebnis 12 — llms.txt ist in dieser Größenordnung kaum mehr als ein Gerücht
llms.txt, das vorgeschlagene alternative Dateiformat für LLM-freundliche Inhaltserkennung (seit Ende 2024 von Mintlify, Anthropic, Vercel und einigen Dev-Tool-Anbietern propagiert), hat in unserer Stichprobe praktisch keine sichtbare Verbreitung.
Von den 6.638 Sites mit auswertbarer robots.txt erwähnen 83 (1,15 %) llms.txt – typischerweise als Zeile Sitemap: https://example.com/llms.txt. Das ist zwei Größenordnungen weniger als derselbe Wert in Commerce-Stichproben mit starkem Dev-Tool-Fokus, wo Vercel- und Mintlify-Defaults die Verbreitung aufblähen.
Die Aufschlüsselung nach Branchen:
| Branche | n | % mit Erwähnung von llms.txt |
|---|---|---|
| Infrastructure | 47 | 4,3 % |
| Gambling | 100 | 3,0 % |
| SaaS | 369 | 3,0 % |
| Telecom | 33 | 3,0 % |
| E-commerce | 224 | 1,8 % |
| Travel | 64 | 1,6 % |
| Dev tools | 129 | 1,6 % |
| News | 650 | 0,8 % |
| Adult | 254 | 0,4 % |
| Government | 172 | 0,0 % |
| Academia | 268 | 0,0 % |
| Search | 12 | 0,0 % |
llms.txt konzentriert sich auf SaaS mit Nähe zu Dev-Tools, auf Gambling (das neues robots.txt-Vokabular schneller übernimmt als andere regulierte Branchen, weil dort Compliance-Teams gewohnt sind, zusätzliche Metadaten einzuziehen) und auf B2B-E-Commerce. Auffällig abwesend ist es in News und Government – ausgerechnet den beiden Segmenten, die sich am intensivsten mit KI-Politik befassen und deren Adoption nötig wäre, damit der Standard vom „Anbieterexperiment“ zum „Webprotokoll“ aufsteigt. Bis dahin ist llms.txt real, aber klein, und ein Folge-Audit Ende 2026 wäre ein sinnvoller Re-Test.
Das strukturelle Problem von llms.txt: Es wird von keinem IETF-Prozess standardisiert, und die großen KI-Anbieter haben sich nicht verpflichtet, es zu respektieren. Eine robots.txt-Regel steht auf 30 Jahren Crawler-Infrastruktur; eine llms.txt-Regel auf gar keiner. Solange nicht mindestens ein großer Anbieter (OpenAI, Anthropic, Google, Cloudflare) formale Unterstützung erklärt, bleibt die Datei im Wesentlichen ein Marketingartefakt des Mintlify-/Vercel-Ökosystems. Eine Änderung 2026 erwarten wir nicht.
Ergebnis 13 — Zugänglichkeit: robots.txt bleibt für zwei Drittel des Top-Webs lesbar
Eine Nebenbeobachtung, die eigentlich kein Ergebnis sein sollte: 66 % der Top-10.000-Sites gaben robots.txt von einer einzigen Forschungs-IP aus in auswertbarer Form zurück, und nur 7 von 10.000 (0,07 %) antworteten mit 429 Too Many Requests. Das spricht für robots.txt als öffentliches Protokoll.
Zum Vergleich: Dieselbe Pipeline auf einer 1.008-Domain-Stichprobe aus dem Mid-Market-Commerce, zwei Monate zuvor, erhielt von 52 % der aufgelösten Domains ein 429 – Shopify- und Cloudflare-CDNs drosselten dort aggressiv jeden UA, der keine große Suchmaschine war. Das Top-Traffic-Web ist deutlich freundlicher: Top-Sites haben eher weniger aggressive Bot-Management-Stufen oder explizite Allowlists für bekannte Forschungs-Crawler – oder beides.
Die 21-%-Rate fetch_failed in den Top-10k geht überwiegend auf CDN-Apex-Domains (akamai.net, cloudfront.net, fastly.net, apple-dns.net, gtld-servers.net) zurück, die unter / keinen Webserver betreiben. Sie blockieren uns nicht; sie haben nichts auszuliefern. Ohne diese Fälle liegt die echte „versucht zu lesen, konnte aber nicht“-Fehlerrate im niedrigen einstelligen Bereich.
Das heißt: Künftige Versionen dieses Berichts – Quartals-Snapshots, Jahresvergleiche – lassen sich günstig und reproduzierbar auf einer einzelnen Maschine erstellen. Das Audit-Fenster an der Spitze der Kurve bleibt offen. Der asymmetrische Fall ist der Long Tail und das Commerce-Segment, wo CDN-Throttling robots.txt faktisch bereits privatisiert hat. Wir erwarten, dass sich diese Divergenz vergrößert: Top-Sites bleiben lesbar, weil Suchmaschinen Lesbarkeit verlangen; Long-Tail-Commerce wird weniger lesbar, weil Cloudflares Bot-Fight-Stufen aggressiver werden. Die öffentliche Auditierbarkeit von robots.txt spaltet sich entlang derselben Linie, die „das sichtbare Web“ vom „operativ geschützten Web“ trennt.
IV. Was das alles bedeutet
Vier Thesen, geordnet danach, wie stark die Daten sie stützen.
1. Das Internet hat eine branchenbezogene, keine globale KI-Politik. Die 12-fache Spannweite zwischen News und Telecom dominiert jede Aggregatzahl. Wer „X % des Webs blockieren KI“ ohne sektorale Aufschlüsselung berichtet, überbewertet SaaS, Government und Dev und unterschätzt News, Travel und Social. Nur die Aufschlüsselung nach Sektor ist ehrlich.
2. Artikel 4 der EU-Urheberrechtsrichtlinie ist das einzige Rechtsregime, das die Zahlen sichtbar bewegt. EU-ccTLD-Sites blockieren mit 35 % gegenüber der globalen Baseline von 19 %. Die US-Litigation (NYT v. OpenAI, der Bericht des Copyright Office vom Januar 2025) hat den US-News-Kreis verschoben, aber nicht das breitere US-Web. Der EU-Rahmen sickert zudem über die Cloudflare-Vorlage global ein, die Richtlinie 2019/790 unabhängig von der Jurisdiktion des Kunden im Boilerplate zitiert.
3. Es werden zwei parallele „KI-Politiken“ ausgedrückt, und sie stimmen nicht überein. Die bewusste, von Hand geschriebene Politik (17,8 %, vor allem News, Social, Travel, E-Commerce) und die übernommene, Cloudflare-verwaltete Politik (4,5 %) überschneiden sich inhaltlich, unterscheiden sich aber in ihrer Legitimität. In einer Welt, in der KI-Betreiber nach einer rechtlichen Handhabe suchen, robots.txt zu ignorieren, ist die Verteidigung „wir haben es geschrieben und geprüft“ strukturell stärker als „ich habe es einfach eingeschaltet“. Der Litigationsanreiz lautet, Politik aus der zweiten in die erste Kategorie zu überführen.
4. Blockiert wird der Korpus, nicht das Modell. CCBot bei 16,3 % – höher als jeder Bot mit Modellmarke – ist der klarste Beleg dafür. OpenAI zu sperren reicht Verlagen nicht, um dem Training zu entkommen; CCBot zu sperren schon. 14,1 % des Top-10k-Webs blockieren CCBot, heißen Googlebot aber willkommen. Das Muster „Training blockieren, Suche behalten“ ist die typische KI-Regel des Jahres 2026.
Für Sites, die ihre eigene Haltung prüfen: Die Median-Haltung ist Schweigen – 80 % der Top 10k sagen nichts zur KI. Die 17 % mit Regeln konzentrieren sich auf Disallow, doch ein kleiner, wachsender Kreis (die explizite Allow-GPTBot-Liste mit 1,5 %, angeführt von Sicherheitsanbietern) entscheidet sich öffentlich für das Gegenteil. Einen Branchenkonsens gibt es nicht, und in den nächsten zwölf Monaten wird es ihn auch nicht geben.
Für KI-Betreiber: Die Behauptung, robots.txt sei ein Legacy-Protokoll mit mehrdeutiger Semantik, wird immer schwerer haltbar, wenn 17 % der größten Websites der Welt explizite, absichtliche Regeln mit Bot-Namen von Hand schreiben und 3,8 % der Dateien eine konkrete EU-Norm mit Abschnittsangabe zitieren. Ob man diese Regeln respektiert, ist eine Geschäftsentscheidung; dass sie existieren, ist inzwischen empirische Tatsache.
V. Ausblick: Was wir bis Ende 2026 erwarten
Drei Entwicklungen sind im Datensatz angelegt:
Cloudflare Managed wird seinen Anteil mehr als verdoppeln und plausibel 10 %+ der auswertbaren Top-10k erreichen. Cloudflare diskutiert öffentlich, „Block AI Bots“ für neue Konten standardmäßig zu aktivieren. Wird der Schalter default-on ausgeliefert, steigt die globale Blockrate um 5 bis 8 Prozentpunkte, ohne dass ein Verlag entscheidet. Erkennbar wird das daran, dass der Cloudflare-Managed-Anteil im Rangbereich 5001–10000 über die aktuellen 5,7 % klettert.
Abschnittsbezogene KI-Politiken im Spiegel-Stil verbreiten sich unter den großen Nachrichten-Flaggschiffen. Die ökonomische Logik – KI darf niedrigrangige Inhalte zitieren, der Burggraben bleibt geschützt – ist überzeugend genug, dass wir bis Ende 2026 mindestens 10 weitere große Redaktionen mit solchen Regeln erwarten. Zuerst lohnt der Blick auf die deutsche und französische Mittelklassepresse; der rechtliche Rahmen belohnt dort Experimente.
Der Kreis mit explizitem Allow für GPTBot wächst, angeführt von B2B-SaaS und Dev-Tools. Sobald AI Search für Softwareanbieter ein messbarer Akquisitionskanal wird (wie für Sicherheit bereits geschehen), schreibt der marginale CMO User-agent: GPTBot \n Allow: /, um sich gegen versehentliche Überblockierung abzusichern. Wir erwarten, dass sich die 108er-Liste bis Jahresende ungefähr verdoppelt.
Was wir nicht erwarten: eine spürbare Veränderung des Silent-Majority-Anteils. Die 80 % des Webs, die zur KI schweigen, umfassen Sektoren (Government, Telecom, Infrastruktur, B2B-SaaS) ohne wirtschaftlichen Anlass für eine Regel und ohne rechtlichen Druck dazu. Eine universelle KI-Politik kommt nicht.
VI. Einschränkungen
- Ein-Snapshot-Bias. Die Abrufe erfolgten in einem 36-Stunden-Fenster Anfang Mai 2026. In den Top 100 ändert sich die Datei täglich; auf die Schlagzeilenzahlen ist pro Quartal eine Drift von 1 bis 2 Prozentpunkten zu erwarten.
- Lücken in der Branchenklassifikation. 6.593 von 10.000 Sites blieben nach dem Vier-Ebenen-Klassifikator
unknown. Pro-Branchen-Prozente sind robust bei großem n (News: 650, Streaming: 440, SaaS: 369, Academia: 268, Adult: 254, E-Commerce: 224, Government: 172, Finance: 129, Dev: 129) und deutlich rauschanfälliger unter n=30. Der Länder-News-Schnitt ist ähnlich begrenzt – DE/FR/UK haben n≥15, Korea/Schweden/Tschechien beruhen auf n=20–25. robots.txtist freiwillig. EinDisallowist eine Bitte, keine Barriere.Bytespider,PerplexityBotund andere ignorieren Regeln dokumentiert. Wir haben Richtlinienerklärungen gemessen, nicht deren Durchsetzung.- Einzelne US-basierte IP. 21 % der aufgelösten Domains konnten wir nicht lesen. Die meisten sind CDN-Apex-Punkte ohne Webserver; ein kleiner Teil sind Sites, deren CDN uns vor dem Origin blockiert hat. Das verzerrt die Stichprobe leicht in Richtung älterer Infrastruktur und gegen nach Herkunftsland geofencete Sites.
- Tranco-Semantik. Tranco filtert auf Stabilität; es ist kein echtes Ranking des Nutzerverhaltens. Die Aggregatzahlen sind robust gegenüber der Listenwahl, die genauen Rangpositionen nicht.
- Keine Traffic-Daten. Wir haben
robots.txt-Politik gemessen, nicht den tatsächlichen Durchsatz von KI-Bots. Politik und Traffic decken sich nicht immer.
VII. So reproduzieren Sie das
Alles, was zur Erstellung dieses Berichts diente, liegt im Deliverable-Ordner.
- tranco_top10k.csv — Eingabeliste
- out/sites.csv — Domain × Rang × Branche × Sprache × robots.txt-Status (10.000 Zeilen)
- out/fetch_meta.csv — Abruf-Ergebnis pro Domain (Status, Schema, Bytes, Fehler)
- out/bot_status.csv — Domain × Bot-Raster (250.000 Zeilen: blockiert, Regel vorhanden, Fetch-Status)
- out/site_meta.csv — ein analytischer Datensatz pro Site (Vorlage, Summary-Flags)
- out/analysis.json — jede im Bericht zitierte Kennzahl
- 01_fetch_robots.py, 02_classify.py, 03_parse_and_analyze.py — vollständige Python-Pipeline
Alle Skripte und Datensätze herunterladen
Methodische Korrekturen, Datenprobleme und Folgeanalysen sind willkommen unter support@thunderbit.com. Dieser Bericht erscheint unabhängig von jeder kommerziellen Position, die Thunderbit innehat; wir bauen einen KI-gestützten Web-Scraper und haben ein strukturelles Interesse daran, dass robots.txt im öffentlichen Web ein bedeutsamer, maschinenlesbarer Vertrag bleibt. Die Daten in diesem Bericht stehen für sich. — Das Thunderbit-Forschungsteam, Mai 2026.
Thunderbit KI-Web-Scraper ausprobieren Get Started Free
