Ringkasan Eksekutif
Laporan sebelumnya mengajukan pertanyaan kebijakan: berapa banyak situs web yang paling banyak dikunjungi di dunia yang memberi tahu AI crawler apa yang boleh dan tidak boleh mereka lakukan?
Tindak lanjut ini mengajukan pertanyaan operasional di baliknya: seberapa andal robots.txt sebagai infrastruktur yang kini diminta untuk memikul kebijakan itu?
Jawabannya tidak nyaman. robots.txt masih bekerja karena bersifat publik, murah, mudah dibaca mesin, dan sudah dipahami oleh crawler. Namun, file ini juga diminta melakukan jauh lebih banyak daripada yang awalnya dirancang. Pada 2026, file teks biasa yang sama bisa memuat kontrol crawl SEO, indeks sitemap, ekstensi mesin pencari lawas, opt-out pelatihan AI, kosakata kebijakan yang disisipkan Cloudflare, reservasi hak cipta, dan bahasa hukum untuk sengketa di masa depan.
Itu adalah utang konfigurasi.
Dataset di balik laporan ini sama dengan crawl Tranco Top 10.000 yang digunakan dalam studi AI crawler sebelumnya. Dari 10.000 domain, 6.638 mengembalikan robots.txt yang dapat dibaca; 610 lainnya mengembalikan 404, yang menurut protokol diperlakukan sebagai izin implisit. Ini memberi 7.248 situs yang dapat dianalisis untuk keputusan akses bot dan 6.638 file konkret untuk analisis kompleksitas konfigurasi.
Enam temuan menonjol:
-
Sebagian besar file
robots.txtberukuran kecil, tetapi ekor kanannya sangat kompleks. Ukuran median file hanya 834 byte dan 31 baris. Namun 1.005 file berukuran setidaknya 5 KB, 273 berukuran setidaknya 20 KB, dan 28 berukuran setidaknya 100 KB. File terbesar dalam sampel berukuran 248 KB. -
Ratusan situs web besar menjalankan file yang lebih mirip konfigurasi produksi daripada catatan kebijakan. Median file memiliki 9 direktif
Disallow. Namun, 707 situs memiliki setidaknya 100 aturanDisallow, 13 memiliki setidaknya 1.000, 240 menyebut setidaknya 50 user agent, dan 110 menyebut setidaknya 100 user agent. -
Penyimpangan protokol bukanlah hal teoretis. Di antara 6.638 file yang dapat dibaca, 685 memuat
Crawl-delay, 303 memuatHost, 200 memuatClean-param, 9 memuatRequest-rate, 5 memuatVisit-time, dan 271 memuat bahasaContent-Signalala Cloudflare. Semua ini bukan bagian dari satu standar yang bersih. Ini adalah folklore crawler yang terkumpul. -
Googlebot diperlakukan sebagai warga istimewa. 562 domain yang dapat dianalisis memblokir setidaknya satu crawler mesin pencari tradisional. Dalam 404 kasus di antaranya, Googlebot diizinkan sementara setidaknya satu crawler mesin pencari lain diblokir. Diskriminasi terhadap AI crawler tidak muncul dalam ekosistem yang netral;
robots.txtsudah lebih dulu mengodekan hierarki mesin pencari. -
Kebijakan AI membuat utang ini semakin terlihat. 1.377 file yang dapat dibaca memuat bahasa kebijakan AI; 719 memuat bahasa hak cipta, syarat, lisensi, atau izin; dan 501 memuat keduanya. File ini kini menjadi sekaligus antarmuka mesin dan artefak hukum. Itu berguna, tetapi rapuh.
-
File yang paling berisiko tidak selalu file yang paling anti-AI. Ecommerce, travel, sosial, finansial, akademia, dan berita semuanya menghasilkan file yang kompleks karena alasan berbeda: kontrol anggaran crawl, jalur lawas, konten buatan pengguna, reservasi hak, dan pengecualian khusus bot. Aturan AI sedang dilapiskan di atas dasar yang sudah berantakan.
Kesimpulan utama: robots.txt tetap menjadi permukaan kebijakan crawler terpenting di web publik, tetapi ia adalah fondasi yang lemah untuk tata kelola AI bernilai tinggi kecuali ekosistem menstandarkan identitas crawler, kosakata penggunaan AI, dan auditabilitas kebijakan.
Metodologi
Laporan ini menggunakan ulang dataset dari analisis Thunderbit sebelumnya tentang kebijakan AI crawler pada domain Tranco Top 10.000.
Bahan inputnya adalah:
tranco_top10k.csv— daftar domain asli Tranco Top 10K.out/fetch_meta.csv— status fetch, jumlah byte, skema, hasil redirect, dan metadata kesalahan.out/sites.csv— domain, peringkat, kategori, bahasa, dan statusrobots.txt.out/site_meta.csv— satu baris analitis per situs, termasuk kelas template, flag pemblokiran AI, ukuran file, dan field ringkasan kebijakan bot.out/bot_status.csv— satu baris per domain dan crawler, termasuk apakah bot tersebut diblokir dan apakah aturan tertentu ada.raw_robots/— isirobots.txtyang disimpan untuk 6.638 situs yang mengembalikan status200.
Untuk tindak lanjut ini, setiap file robots.txt yang dapat dibaca dipindai untuk:
- ukuran file dan jumlah baris;
- baris aktif non-komentar;
- jumlah direktif
User-agent,Disallow,Allow, danSitemap; - direktif lawas atau non-inti seperti
Crawl-delay,Host,Clean-param,Request-rate, danVisit-time; - kosakata era AI termasuk
Content-Signal,llms.txt, AI, LLM, machine learning, TDM, dan2019/790; - kosakata hukum seperti hak cipta, syarat layanan, lisensi, izin, dan bahasa reservasi hak;
- perlakuan terhadap crawler pencarian untuk Googlebot, Bingbot, DuckDuckBot, Slurp, Baiduspider, dan YandexBot.
Laporan ini juga mendefinisikan skor utang konfigurasi sederhana untuk triase. Skor ini menggabungkan ukuran file, jumlah user agent, jumlah Disallow, jumlah Allow, jumlah direktif non-standar, serta campuran bahasa kebijakan AI dan bahasa hukum. Skor ini tidak dimaksudkan sebagai ukuran universal atas kebenaran. Ini adalah cara untuk mengidentifikasi file yang kemungkinan sulit dipelihara, ditinjau, atau dipahami.
Semua tabel dan grafik turunan disertakan dalam folder pengiriman.
Temuan 1: File Median Itu Sederhana; Ekor Panjangnya Tidak
File robots.txt yang umum di web teratas masih kecil.
Di seluruh 6.638 file yang dapat dibaca:
| Metrik | Median | P90 | P95 | P99 | Maks |
|---|---|---|---|---|---|
| Ukuran file | 834 byte | 6,7 KB | 15,8 KB | 76,0 KB | 248,3 KB |
| Baris | 31 | 238 | 332 | 1.008 | 4.998 |
| Baris aktif | 23 | 198 | 282 | 837 | 4.998 |
Direktif User-agent | 1 | 21 | 39 | 137 | 823 |
Direktif Disallow | 9 | 103 | 176 | 422 | 4.997 |
Direktif Allow | 1 | 17 | 33 | 69 | 890 |
Distribusi ini penting karena robots.txt sering dibahas seolah-olah hanya deklarasi kecil:
User-agent: *
Disallow: /private/
Model mental itu keliru untuk sebagian yang cukup berarti dari web dengan trafik tinggi.
Dalam dataset ini:
| Ambang kompleksitas | Situs |
|---|---|
robots.txt berukuran >= 5 KB | 1.005 |
| Berukuran >= 20 KB | 273 |
| Berukuran >= 100 KB | 28 |
Setidaknya 50 direktif User-agent | 240 |
Setidaknya 100 direktif User-agent | 110 |
Setidaknya 100 direktif Disallow | 707 |
Setidaknya 1.000 direktif Disallow | 13 |
Setidaknya 100 direktif Allow | 40 |
File yang paling besar dan paling kompleks bukan sekadar bahan studi akademik. File itu milik properti nyata dengan trafik tinggi:
| Domain | Peringkat | Kategori | Byte | User-agent | Disallow | Allow |
|---|---|---|---|---|---|---|
linkedin.com | 17 | sosial | 114.341 | 76 | 4.184 | 281 |
runescape.com | 5.226 | unknown | 113.393 | 1 | 4.997 | 0 |
academia.edu | 832 | akademia | 57.384 | 63 | 2.044 | 227 |
etsy.com | 286 | ecommerce | 51.320 | 3 | 1.621 | 120 |
thepaper.cn | 9.395 | berita | 56.867 | 1 | 1.496 | 0 |
opentable.com | 4.137 | unknown | 70.494 | 32 | 1.683 | 176 |
alfabank.ru | 2.625 | finansial | 73.158 | 2 | 1.566 | 133 |
File-file ini lebih mirip tabel routing produksi daripada slogan kebijakan. Mereka mengodekan bertahun-tahun peluncuran produk, jalur lawas, pola parameter yang diblokir, pengecualian crawler, eksperimen SEO, keputusan CDN, dan kini aturan AI-crawler.
Ekor panjangnya bukan hanya kisah AI. Dari 273 file yang berukuran minimal 20 KB, 131 memuat bahasa kebijakan AI dan 142 tidak. Dari 707 file dengan setidaknya 100 direktif Disallow, hanya 207 yang memuat bahasa kebijakan AI. Dengan kata lain, AI tidak menciptakan masalah file besar. AI datang setelah bertahun-tahun operasi web biasa sudah lebih dulu memenuhi file itu dengan aturan jalur, referensi sitemap, dan pengecualian crawler.
Itu penting karena kemudahan pemeliharaan bergantung pada bentuk, bukan hanya niat. File kecil dengan blok AI yang langsung bisa mudah diaudit. File ecommerce atau travel berukuran 70 KB bisa sulit diaudit meskipun tidak mengatakan apa pun soal AI. Risikonya bukan bahwa setiap file besar salah. Risikonya adalah kebijakan efektif menjadi terlalu sulit diverifikasi oleh orang yang bertanggung jawab atasnya.
Risiko operasionalnya sederhana: ketika robots.txt tumbuh, makin sulit bagi penerbit, engineer platform, pengacara, atau pimpinan SEO untuk menjawab pertanyaan dasar: apa sebenarnya yang diizinkan file ini?
Pertanyaan itu tidak lagi sepele. Dalam parsing bergaya RFC, crawler bisa mencocokkan grup user-agent yang lebih spesifik alih-alih User-agent: *; pencocokan path yang lebih panjang bisa mengesampingkan path yang lebih pendek; direktif Allow dan Disallow berinteraksi menurut prioritas; dan aturan deny-all generik bisa tanpa sengaja menangkap crawler baru yang belum ada saat file ditulis.
Untuk file 30 baris, manusia masih bisa menalar hal itu. Untuk file 4.000 baris dengan puluhan bot bernama, seharusnya tidak ada yang bisa.
Temuan 2: robots.txt Menanggung Lebih dari Sekadar Aturan Crawl
Perdebatan AI-crawler membuat robots.txt terlihat secara politis, tetapi file dasarnya sudah lebih dulu menumpuk tanggung jawab yang tidak saling terkait.
robots.txt situs besar modern dapat memuat:
- kontrol path crawler;
- penemuan sitemap;
- ekstensi khusus mesin pencari;
- petunjuk laju crawl;
- petunjuk kanonisasi host;
- petunjuk pembersihan parameter URL;
- kosakata kebijakan yang disisipkan CDN;
- teks reservasi hak cipta;
- opt-out pelatihan AI;
- komentar hukum yang bisa dibaca manusia.
Dataset menunjukkan pelapisan ini dengan jelas.
| Sinyal | File | Porsi file yang dapat dibaca |
|---|---|---|
Crawl-delay | 685 | 10,3% |
Host | 303 | 4,6% |
Clean-param | 200 | 3,0% |
Content-Signal | 271 | 4,1% |
Request-rate | 9 | 0,1% |
Visit-time | 5 | 0,1% |
Penyebutan llms.txt | 83 | 1,3% |
| Bahasa hak cipta, syarat, lisensi, atau izin | 719 | 10,8% |
| Bahasa kebijakan AI | 1.377 | 20,7% |
Sebagian direktif ini dikenali luas oleh crawler tertentu. Sebagian adalah konvensi lawas. Sebagian khusus vendor. Sebagian sebenarnya bukan direktif crawler sama sekali, melainkan bahasa hukum atau produk yang disisipkan di komentar.
Begitulah penyimpangan protokol terlihat.
Crawl-delay adalah contoh yang berguna. Banyak operator situs mengenalnya, tetapi dukungannya tidak merata di antara crawler besar. Host dan Clean-param secara historis terkait dengan perilaku Yandex. Content-Signal merupakan bagian dari kosakata kebijakan era AI Cloudflare. llms.txt adalah format penemuan yang diusulkan dan berdekatan, bukan standar yang secara universal dihormati. Namun semuanya muncul di jenis file yang sama, sering berdampingan dengan aturan klasik User-agent dan Disallow.
Angkanya juga menunjukkan bagaimana konvensi lama dan baru kini hidup berdampingan. Crawl-delay muncul di 685 file, lebih dari dua kali lipat 271 file yang memuat Content-Signal. Host muncul di 303 file dan Clean-param di 200, yang sebagian besar mencerminkan konvensi era mesin pencari. llms.txt, meskipun banyak dibicarakan di lingkaran AI-search, hanya disebut di 83 file yang dapat dibaca. Web yang hidup tidak sedang menuju satu kosakata. Ia sedang menumpuk kosakata.
Masalahnya bukan bahwa satu ekstensi tertentu salah. Masalahnya adalah file ini telah menjadi wadah tanpa versi untuk beberapa sistem tata kelola yang saling tumpang tindih.
Itu menciptakan tiga jenis utang:
- Utang semantik. Crawler berbeda mungkin menafsirkan file yang sama secara berbeda.
- Utang kepemilikan. Tim SEO, legal, infrastruktur, keamanan, dan produk mungkin semua punya alasan untuk mengubah file itu, tetapi tidak ada satu tim pun yang benar-benar memiliki seluruh kebijakan.
- Utang audit. Sebuah situs bisa menerbitkan kebijakan yang tampak disengaja sementara hanya parser yang bisa menentukan perilaku efektifnya.
AI membuat ini semakin penting karena taruhannya berubah. Ketika petunjuk laju crawl lawas diabaikan, hasilnya mungkin hanya trafik tambahan. Ketika opt-out pelatihan AI ambigu, hasilnya bisa menjadi bukti dalam sengketa hak cipta atau lisensi.
Temuan 3: File Ini Kini Menjadi Antarmuka Mesin sekaligus Artefak Hukum
Laporan AI-crawler awal menunjukkan bahwa 17,0% situs yang dapat dianalisis menulis aturan spesifik AI secara eksplisit. Tindak lanjut ini melihat beban tekstual yang ditambahkan oleh kebijakan tersebut.
Di antara 6.638 file robots.txt yang dapat dibaca:
- 1.377 memuat bahasa kebijakan AI;
- 719 memuat bahasa hak cipta, syarat, lisensi, hak, atau izin;
- 271 memuat
Content-Signal; - 83 menyebut
llms.txt.
Tumpang tindihnya adalah bagian cerita yang lebih menarik:
| Pola tekstual | File |
|---|---|
| Bahasa kebijakan AI dan bahasa hukum/hak | 501 |
| Bahasa kebijakan AI tanpa bahasa hukum/hak | 876 |
| Bahasa hukum/hak tanpa bahasa kebijakan AI | 218 |
Content-Signal dengan bahasa hukum/hak | 242 |
| Blok AI eksplisit dengan bahasa hukum/hak | 424 |
Ini adalah jenis file baru.
File robots.txt tradisional ditujukan kepada crawler. File robots.txt dengan pembukaan hukum ditujukan kepada setidaknya empat audiens sekaligus:
- operator crawler, yang memerlukan direktif yang bisa dibaca mesin;
- vendor search dan AI, yang memerlukan sinyal kebijakan;
- pengacara, yang menginginkan reservasi hak yang eksplisit;
- auditor, pengadilan, atau jurnalis di masa depan, yang mungkin membaca komentar sebagai bukti niat.
Desain multi-audiens ini menjelaskan mengapa beberapa file kini terdengar seperti dokumen kebijakan. Namun, ini juga melemahkan pemisahan yang bersih antara apa yang bisa diparse crawler dan apa yang ingin dinyatakan seorang pengacara.
876 file dengan bahasa kebijakan AI tetapi tanpa kosakata hukum sebagian besar adalah file kebijakan mesin: nama bot, blok Disallow, dan bahasa template. 501 file dengan keduanya berbeda. Mereka mencoba menjadi instruksi crawler sekaligus reservasi hak pada saat yang sama. 218 file dengan bahasa hukum tetapi tanpa kosakata AI menunjukkan bahwa pola ini tidak dimulai bersama LLM; robots.txt memang sudah digunakan sebagai tempat untuk menyatakan syarat, batas izin, dan klaim hak.
Sebagai contoh, komentar bisa menyatakan bahwa machine learning dilarang, sementara blok direktif sebenarnya hanya melarang sebagian user agent yang dikenal. Sebuah situs bisa mengklaim hak secara global tetapi hanya menyebut beberapa crawler. Template CDN bisa menyisipkan kosakata terkait AI ke dalam file yang operatornya tidak pernah menulis bahasa hukum itu secara manual. Sebuah situs bisa menulis aturan User-agent: * yang luas dan tanpa sengaja memblokir crawler masa depan.
Dari perspektif tata kelola, robots.txt menjadi menarik justru karena ia publik dan bisa dibaca mesin. Tetapi semakin banyak kebijakan yang dibawanya, semakin terasa keterbatasannya:
- Tidak ada lapisan autentikasi yang membuktikan bahwa kebijakan tertentu telah ditinjau oleh pemegang hak, bukan diwarisi dari infrastruktur.
- Tidak ada riwayat versi bawaan.
- Tidak ada field terstruktur untuk penggunaan yang dimaksud, seperti pelatihan, retrieval, indeks pencarian, ringkasan, caching, atau evaluasi model.
- Tidak ada registri universal identitas AI crawler.
- Tidak ada mekanisme penegakan.
Ini tidak membuat file itu tak berguna. Ini membuatnya rapuh.
Interpretasi yang lebih tepat adalah bahwa robots.txt sedang menjadi lapisan pemberitahuan: deklarasi preferensi dan niat yang publik dan dapat diperiksa. Ia bukan sistem manajemen hak yang lengkap.
Temuan 4: Mesin Pencari Sudah Tidak Setara Bahkan Sebelum AI Datang
Salah satu temuan terkuat dalam laporan asli adalah bahwa banyak penerbit membedakan antara crawler pelatihan AI dan crawler pencarian. Mereka memblokir CCBot, GPTBot, atau Google-Extended sambil mempertahankan visibilitas pencarian Google.
Tindak lanjut ini menambahkan poin berbeda: crawler mesin pencari tradisional pun tidak diperlakukan setara.
Kami memeriksa enam crawler mesin pencari:
- Googlebot;
- Bingbot;
- DuckDuckBot;
- Slurp;
- Baiduspider;
- YandexBot.
Di seluruh 7.248 situs yang dapat dianalisis:
| Perlakuan terhadap search crawler | Situs |
|---|---|
| Memblokir setidaknya satu crawler pencarian | 562 |
| Mengizinkan Googlebot tetapi memblokir setidaknya satu crawler pencarian lain | 404 |
| Memblokir semua enam crawler pencarian yang diperiksa | 152 |
Jumlah bot yang diblokir tidak tersebar merata:
| Crawler pencarian | Situs yang memblokirnya |
|---|---|
| Baiduspider | 424 |
| YandexBot | 393 |
| Slurp | 255 |
| DuckDuckBot | 231 |
| Bingbot | 204 |
| Googlebot | 158 |
Googlebot adalah crawler yang paling jarang diblokir dalam set ini. Baiduspider dan YandexBot jauh lebih sering diblokir, dan dalam sebagian besar kasus itu Googlebot tetap diizinkan. Di antara 404 situs yang mengizinkan Googlebot sambil memblokir crawler pencarian lain, 269 memblokir Baiduspider dan 240 memblokir YandexBot.
Contohnya sangat terkenal:
| Domain | Crawler pencarian yang diblokir saat Googlebot diizinkan |
|---|---|
facebook.com | Baiduspider, YandexBot |
apple.com | Baiduspider |
twitter.com | DuckDuckBot, Slurp, Baiduspider, YandexBot |
netflix.com | DuckDuckBot, Slurp |
x.com | DuckDuckBot, Slurp, Baiduspider, YandexBot |
tiktok.com | Baiduspider |
baidu.com | Bingbot, DuckDuckBot, Slurp, YandexBot |
washingtonpost.com | YandexBot |
wsj.com | YandexBot |
bilibili.com | DuckDuckBot, Slurp, YandexBot |
temu.com | Slurp |
t-mobile.com | Baiduspider, YandexBot |
Ini penting untuk perdebatan AI karena menunjukkan bahwa robots.txt bukan protokol akses universal yang netral bahkan sebelum crawler LLM datang. Web publik memang sudah memiliki hierarki:
- Googlebot sering dipertahankan karena trafik pencarian Google terlalu berharga untuk dipertaruhkan.
- Crawler regional atau kompetitor lebih mudah diblokir.
- Sebagian situs memperlakukan akses crawler pencarian sebagai keputusan per pasar atau per vendor.
Crawler AI memasuki ekosistem tempat akses yang terdiferensiasi memang sudah normal.
Itu membuat transisi kebijakan lebih mudah dipahami. Penerbit yang menulis "blok Google-Extended, izinkan Googlebot" bukan menciptakan bentuk diskriminasi baru. Ia sedang menerapkan pola lama pada kelas crawler baru: pertahankan distribusi, batasi ekstraksi.
Pertanyaan yang belum terjawab adalah apakah pola lama ini akan skala. Dalam search, hanya ada segelintir crawler yang penting secara ekonomi. Dalam AI, identitas crawler terfragmentasi di antara vendor model, bot retrieval, broker data, crawler akademik, agen browser sintetis, dan pengambil data di level infrastruktur. Jumlah user agent bernama akan terus bertambah kecuali ekosistem terkonsolidasi di sekitar seperangkat sinyal berbasis tujuan yang lebih kecil.
Begitulah utang konfigurasi bertambah.
Temuan 5: Kompleksitas Berbeda Antar Sektor, tetapi Tidak Sejalan dengan Tingkat Pemblokiran AI
Laporan asli menunjukkan sebaran besar antar sektor dalam pemblokiran AI: berita memblokir dalam tingkat tinggi; telekomunikasi, pemerintah, dan SaaS memblokir dalam tingkat rendah.
Kompleksitas konfigurasi memotong web dengan cara berbeda.
Di antara kategori terpilih yang memiliki cukup file robots.txt yang dapat dibaca untuk perbandingan yang berguna:
| Kategori | n | Median byte | P90 byte | Median Disallow | P90 Disallow | Median User-agent | P90 User-agent |
|---|---|---|---|---|---|---|---|
| ecommerce | 215 | 1.738 | 10.388 | 37 | 164 | 3 | 49 |
| travel | 63 | 2.074 | 27.368 | 41 | 779 | 5 | 34 |
| berita | 647 | 1.534 | 7.039 | 19 | 114 | 6 | 68 |
| finansial | 121 | 1.002 | 8.337 | 17 | 132 | 2 | 23 |
| akademia | 253 | 839 | 3.959 | 14 | 75 | 1 | 11 |
| pemerintah | 151 | 1.227 | 3.263 | 13 | 46 | 1 | 4 |
| SaaS | 368 | 485 | 12.606 | 4 | 56 | 1 | 10 |
| dev tools | 119 | 273 | 9.255 | 3 | 58 | 1 | 10 |
P90 Disallow by category chart here<<<<<<<<<<<<<<<<<<<<<<<<<
Berita kompleks secara politis karena menulis aturan AI eksplisit dan teks hukum. Namun ecommerce dan travel kompleks secara operasional karena mereka memiliki katalog besar, navigasi faceted, halaman hasil pencarian, filter, alur akun pengguna, dan URL berparameter.
Perbedaan itu penting.
Travel adalah contoh paling jelas. Kategori ini hanya memiliki 63 file yang dapat dibaca dalam irisan ini, tetapi P90 robots.txt-nya adalah 27,4 KB dan P90 jumlah Disallow-nya 779, jauh di atas berita. Itu bukan berarti situs travel memiliki kebijakan AI yang lebih matang. Itu berarti situs travel punya lebih banyak permukaan yang bisa tanpa sengaja menghabiskan anggaran crawler: pencarian tanggal, halaman ketersediaan, pagination ulasan, alur pemesanan, kombinasi filter, dan jalur inventori yang dilokalkan.
SaaS adalah kejutan jenis lain. File median-nya hanya 485 byte, tetapi file P90 melonjak ke 12,6 KB. Sebagian besar situs SaaS terbuka dan ringan; sebagian kecil membawa file kontrol jalur yang panjang, sering kali karena dokumentasi, permukaan login, route aplikasi, dan halaman pemasaran berada di bawah domain yang sama.
Berita berada di tengah secara operasional tetapi di dekat puncak secara politis. Jumlah User-agent P90-nya adalah 68, lebih tinggi daripada ecommerce, travel, finansial, akademia, pemerintah, SaaS, dan dev tools dalam tabel ini. Itu adalah tanda kebijakan khusus bot, bukan sekadar kebersihan path.
File robots.txt milik penerbit bisa kompleks karena kebijakan hak. File marketplace bisa kompleks karena manajemen anggaran crawl. File universitas bisa kompleks karena ribuan jalur lawas menumpuk di bawah satu domain. File platform sosial bisa kompleks karena harus membuka sebagian permukaan dan menekan yang lain dalam skala besar.
Kebijakan AI dilapiskan di atas semua itu. Ia tidak menggantikan alasan-alasan yang sudah membuat file menjadi kompleks.
Ini membantu menjelaskan mengapa tata kelola robots.txt era AI tidak bisa diselesaikan dengan daftar blok universal. File dasarnya punya tugas yang berbeda:
- situs ecommerce mengelola jalur duplikat dan permukaan inventori;
- situs travel mengelola listing, kalender, ulasan, dan halaman pencarian dinamis;
- situs berita mengelola hak cipta, arsip, dan posisi lisensi;
- situs SaaS dan dev tooling sering ingin visibilitas AI;
- pemerintah sering membutuhkan akses publik tetapi tetap memiliki sistem sensitif yang harus dikecualikan;
- platform sosial mengelola konten buatan pengguna, permukaan profil, dan masalah anti-penyalahgunaan.
Aturan crawler AI yang sama berarti hal berbeda di setiap lingkungan.
Temuan 6: Indeks Utang Konfigurasi Mengidentifikasi Risiko Tinjauan, Bukan Kegagalan Moral
Analisis ini membuat skor utang konfigurasi sederhana untuk mengidentifikasi file robots.txt yang kemungkinan sulit ditinjau.
Skor ini memberi bobot pada:
- ukuran file;
- jumlah direktif
User-agent; - jumlah direktif
Disallow; - jumlah direktif
Allow; - jumlah direktif non-inti;
- keberadaan bahasa kebijakan AI;
- campuran pemblokiran AI eksplisit dan bahasa hukum atau hak cipta.
Ini bukan skor kebenaran. File yang sangat kompleks bisa sepenuhnya disengaja. File yang sederhana pun masih bisa salah. Tujuannya adalah triase: jika sebuah file besar, penuh kebijakan, spesifik bot, dan penuh pengecualian, file itu layak mendapat disiplin peninjauan yang lebih kuat.
Distribusi skornya curam. Skor file yang dapat dibaca pada median adalah 1,74. Skor P90 adalah 13,29, P95 adalah 15,00, dan P99 adalah 27,57. Hanya 366 file yang mendapat skor setidaknya 15, 80 mendapat skor setidaknya 25, dan 41 mendapat skor setidaknya 30. Itulah antrean tinjauan praktis: tidak setiap situs membutuhkan proyek tata kelola, tetapi ekor atas membutuhkannya.
Tampilan kategori juga menunjukkan mengapa label tunggal "pemblokir AI" terlalu datar:
| Kategori | Skor median | Skor P90 |
|---|---|---|
| travel | 4,92 | 28,94 |
| search | 2,97 | 24,23 |
| sosial | 2,25 | 15,00 |
| berita | 4,91 | 14,92 |
| finansial | 1,67 | 12,61 |
| SaaS | 0,98 | 11,85 |
| ecommerce | 3,88 | 10,87 |
| pemerintah | 1,57 | 6,38 |
Travel dan search memiliki skor P90 tertinggi karena sebagian kecil file menjadi sangat besar dan sarat aturan. Berita memiliki salah satu skor median tertinggi karena bahasa kebijakan dan perlakuan khusus bot lebih umum di seluruh kategori. Ecommerce memiliki jumlah Disallow median yang tinggi, tetapi skor utang P90-nya lebih rendah daripada travel karena kompleksitasnya lebih terkonsentrasi pada aturan jalur daripada sinyal kebijakan/hukum campuran.
File dengan skor tertinggi dalam dataset ini mencakup:
| Domain | Mengapa skornya tinggi |
|---|---|
linkedin.com | File sangat besar, ribuan aturan path, banyak user agent bernama, bahasa kebijakan AI eksplisit |
lnkd.in | Permukaan kebijakan yang sama seperti infrastruktur shortlink LinkedIn |
fragrantica.com | Ratusan blok user-agent bernama plus bahasa kebijakan AI |
sovcombank.ru | Ratusan blok user-agent dan bahasa hukum/kebijakan |
academia.edu | Matriks allow/disallow besar dan kebijakan pemblokiran AI eksplisit |
opentable.com | Set aturan path besar, banyak direktif sitemap, permukaan kebijakan terkait AI |
etsy.com | File kontrol path ecommerce besar dengan lebih dari 1.600 aturan Disallow |
runescape.com | Hampir 5.000 direktif Disallow di bawah satu grup user-agent |
File-file ini tidak boleh diejek karena kompleks. Kompleksitas sering kali mencerminkan kebutuhan bisnis yang nyata. Namun, file-file ini menunjukkan mengapa kebijakan robots.txt layak mendapat disiplin engineering yang sama seperti konfigurasi produksi lainnya:
- kepemilikan harus eksplisit;
- perubahan harus ditinjau;
- bagian yang digenerasi harus diberi label;
- komentar hukum harus dipisahkan dari direktif mesin jika memungkinkan;
- kasus uji harus menegaskan akses bot yang diharapkan untuk crawler kritis;
- riwayat versi harus dipertahankan;
- nama bot lama harus dipensiunkan atau didokumentasikan;
- pelatihan AI, retrieval AI, indeks pencarian, dan pengarsipan harus diperlakukan sebagai tujuan yang terpisah.
Poin terakhir adalah yang paling penting. Tata bahasa saat ini berpusat pada user-agent: ia meminta operator situs menamai bot. Kebutuhan era AI adalah berpusat pada tujuan: ia meminta operator situs menyatakan penggunaan apa yang diizinkan.
Itu bukan hal yang sama.
Ketidaksesuaian itulah mengapa daftar blok yang makin panjang tidak akan bertahan baik. Seorang penerbit bisa menambahkan GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider, Applebot-Extended, dan PerplexityBot hari ini, tetapi nama crawler, agen retrieval, atau broker dataset berikutnya bisa muncul besok. Kebijakan berbasis tujuan akan memungkinkan situs mengatakan "indeks pencarian ya, pelatihan AI tidak, retrieval yang dipicu pengguna mungkin" tanpa mengubah robots.txt menjadi buku alamat bot.
Artinya bagi Tata Kelola AI
Perdebatan publik sering membingkai robots.txt sebagai sesuatu yang bermakna atau sudah usang. Data ini menyarankan jawaban yang lebih praktis:
robots.txt bermakna, tetapi terlalu banyak beban.
Ia bermakna karena situs-situs besar menggunakannya, crawler dapat memparsinya, dan pilihan kebijakan terlihat oleh peneliti, jurnalis, vendor, dan pengadilan. Laporan asli menemukan bahwa 17,0% situs teratas yang dapat dianalisis memiliki aturan AI spesifik yang disengaja. Itu bukan noise simbolik.
Ia terlalu banyak beban karena file ini kini harus mengekspresikan lebih dari sekadar akses bot:
- "Jangan latih model pada konten ini."
- "Anda boleh menggunakan konten ini untuk pengindeksan pencarian."
- "Anda boleh menggunakan konten ini untuk retrieval langsung."
- "Anda tidak boleh membuat dataset cache."
- "Reservasi hukum ini berlaku di bawah hukum text-and-data-mining Uni Eropa."
- "Situs yang dikelola CDN ini mengirim
Content-Signal: ai-train=no." - "Situs ini ingin Googlebot tetapi tidak YandexBot."
- "Situs ini punya 1.000 jalur URL lawas yang tidak boleh di-crawl."
Tata bahasanya tidak dirancang untuk sebanyak itu tugas.
Tiga perubahan akan mengurangi utang itu:
-
Identitas crawler perlu registri. Operator situs tidak seharusnya harus memelihara daftar yang terus tumbuh dari
GPTBot,ClaudeBot,anthropic-ai,CCBot,Google-Extended,Applebot-Extended,Bytespider,OAI-SearchBot,ChatGPT-User, dan masih banyak lagi. Tanpa registri, kebijakan akan selalu tertinggal dari perilaku crawler. -
Penggunaan AI perlu kosakata terstruktur. Pelatihan, retrieval, pengindeksan, ringkasan, penjualan ulang dataset, evaluasi model, dan browsing yang dipicu pengguna adalah penggunaan yang berbeda. Mengungkapkannya lewat nama user-agent khusus vendor itu rapuh.
-
Kebijakan perlu dapat diaudit. Web membutuhkan cara untuk membedakan reservasi hak yang ditulis manual dari default CDN yang diwarisi, template CMS yang digenerasi, aturan lawas yang kedaluwarsa, dan blok catch-all yang tidak sengaja. Pembedaan itu penting bagi kepercayaan dan litigasi.
Semua ini bukan berarti mengganti robots.txt dalam semalam. Jalan yang lebih baik adalah pelapisan: biarkan robots.txt sebagai permukaan penemuan dan kompatibilitas, tetapi standarkan kebijakan yang bisa dibaca mesin di sekitarnya untuk penggunaan spesifik AI.
llms.txt adalah salah satu upaya, tetapi adopsinya dalam dataset ini masih sangat kecil: hanya 83 file yang dapat dibaca menyebutkannya. Content-Signal lebih terlihat karena Cloudflare bisa mendistribusikannya melalui infrastruktur, dan semua 271 file Content-Signal dalam pemindaian ini juga cocok dengan bahasa kebijakan AI. Namun, distribusi bukanlah konsensus. Solusi yang tahan lama kemungkinan membutuhkan mesin standardisasi yang membosankan: field yang jelas, semantik yang jelas, komitmen crawler, dan test suite publik.
Kesimpulan
Pertarungan AI crawler telah mengubah robots.txt menjadi artefak tata kelola. Itu sekaligus berguna dan berisiko.
Berguna, karena file ini publik. Peneliti dapat mengauditnya. Penerbit dapat mengubahnya. Crawler dapat mematuhinya. Pengadilan dapat membacanya. Penyedia infrastruktur dapat menerapkannya dalam skala besar.
Berisiko, karena file ini menanggung terlalu banyak.
File robots.txt median dalam Tranco Top 10K masih cukup kecil untuk dipahami. Namun ekor panjang web dengan trafik tinggi dipenuhi file-file besar, lawas, berlapis, spesifik vendor, dan sarat muatan hukum. Ratusan situs kini memelihara konfigurasi robots.txt yang lebih tepat dipahami sebagai sistem kebijakan produksi daripada sekadar petunjuk crawler sederhana.
Pelajaran utamanya bukan bahwa robots.txt gagal. Pelajarannya adalah web telah mempromosikannya tanpa merombaknya.
Jika kebijakan akses AI akan bergantung pada deklarasi publik yang bisa dibaca mesin, langkah berikutnya bukan daftar blok lain yang lebih panjang. Langkahnya adalah infrastruktur kebijakan yang lebih baik: izin berbasis tujuan, identitas crawler yang stabil, template yang dapat ditinjau, dan jejak audit.
Sampai saat itu tiba, lapisan tata kelola AI web publik akan terus bertumpu pada file teks yang sejak awal tidak pernah dimaksudkan memikul beban sebesar ini.
Catatan Reprodusibilitas
Folder pengiriman mencakup:
source_data/analysis.json— metrik agregat asli.source_data/site_meta.csv— tabel analitis per situs asli.source_data/bot_status.csv— tabel kebijakan domain-per-bot asli.source_data/fetch_meta.csv— metadata fetch asli.source_data/sites.csv— tabel domain/kategori/status asli.derived_data/robots_complexity_by_site.csv— metrik kompleksitas per situs yang dihasilkan untuk laporan ini.derived_data/search_bot_treatment.csv— matriks perlakuan crawler pencarian.derived_data/category_complexity_summary.csv— ringkasan kompleksitas tingkat kategori.derived_data/top_config_debt_sites.csv— situs teratas berdasarkan skor triase yang dijelaskan di atas.derived_data/summary_metrics.json— semua metrik utama yang dikutip dalam laporan ini.
Koreksi metodologi, isu dataset, dan analisis lanjutan dipersilakan dikirim ke support@thunderbit.com. Laporan ini diterbitkan secara independen dari posisi komersial apa pun yang dimiliki Thunderbit; kami membangun AI-powered web scraper, dan kami memiliki kepentingan struktural agar robots.txt tetap menjadi kontrak yang bermakna dan dapat dibaca mesin di web publik. Data dalam laporan ini berdiri sendiri. — Tim riset Thunderbit, Mei 2026.
Coba Thunderbit untuk AI Web Scraping Get Started Free
