การเติบโตของ llms.txt: เว็บไซต์กำลังส่งสัญญาณถึง AI อย่างไร

งานศึกษาจากการครอว์ลนี้สำรวจว่าเว็บไซต์ที่มีทราฟฟิกสูงกำลังเผยแพร่แนวทางที่เครื่องอ่านได้สำหรับโมเดลภาษาขนาดใหญ่อย่างไร การใช้งานในระยะแรกมีหน้าตาแบบไหน และเหตุใดการวัดการยอมรับจึงต้องดูมากกว่าการนับการตอบกลับ HTTP 200

• ชุดข้อมูล: data/llms_probe_results_top_10000.csv
• ดาวน์โหลดรายการ Tranco: 6 พฤษภาคม 2026
• ขอบเขต: /llms.txt และ /llms-full.txt ระดับรากของเว็บไซต์

ตัวชี้วัดสำคัญ

• 5.86%: การยอมรับ llms.txt ที่ถูกต้องใน Tranco Top 10,000 คิดเป็น 586 โดเมน
• 1.03%: การยอมรับ llms-full.txt ที่ถูกต้อง คิดเป็น 103 โดเมน โดยทุกโดเมนที่ใช้ไฟล์เต็มอย่างถูกต้องก็มีไฟล์ดัชนีที่ถูกต้องด้วย
• 63.51%: สัดส่วนของการตอบกลับ HTTP 200 สำหรับ /llms.txt ที่ไม่ผ่านการตรวจสอบความถูกต้อง
• 2.74 เท่า: ค่าประมาณของการนับเกิน หากวัดการยอมรับจากการตอบกลับ HTTP 200 ดิบเพียงอย่างเดียว

สรุปสำหรับผู้บริหาร

llms.txt ยังเป็นธรรมเนียมบนเว็บที่อยู่ในช่วงเริ่มต้น แต่ไม่ใช่การทดลองเฉพาะกลุ่มอีกต่อไป จากการครอว์ลโดเมน Tranco Top 10,000 เมื่อวันที่ 6 พฤษภาคม 2026 งานศึกษานี้พบไฟล์ llms.txt ที่ถูกต้อง 586 ไฟล์ หรือคิดเป็นอัตราการยอมรับ 5.86% ส่วนไฟล์คู่หู llms-full.txt พบได้น้อยกว่ามาก โดยมี 103 โดเมนที่ใช้ไฟล์เต็มอย่างถูกต้อง คิดเป็นอัตรา 1.03%

ข้อค้นพบด้านวิธีวิจัยที่สำคัญที่สุดคือ สถานะโค้ดไม่ใช่ตัวแทนที่ดีของการยอมรับ ระบบครอว์ลพบการตอบกลับ HTTP 200 จำนวน 1,606 ครั้งสำหรับ /llms.txt แต่มีเพียง 586 ครั้งที่ผ่านการตรวจสอบ อีก 1,020 ครั้งที่เหลือส่วนใหญ่เป็นการรีไดเร็กต์ไปผิดเป้า หน้า HTML ทั่วไป เนื้อหาว่างเปล่า หรือการตอบกลับที่ไม่ถูกต้องแบบอื่น ๆ หากใช้ตัวครอว์ลแบบง่ายที่นับทุกการตอบกลับ 200 ว่าเท่ากับการยอมรับจริง ก็จะประเมินการยอมรับเกินจริงราว 2.74 เท่า

ในกลุ่มผู้ใช้ที่ถูกต้อง คุณภาพการใช้งานดีกว่าภาพลักษณ์ของไฟล์ตัวอย่างล้วน ๆ อย่างที่หลายคนอาจคิด ค่ากลางของไฟล์ที่ถูกต้องอยู่ที่ประมาณ 7.1 KB, 61.77% ของไฟล์ที่ถูกต้องมีขนาดมากกว่า 5 KB, 70.82% มีส่วน Markdown 6 ส่วนขึ้นไป และ 77.47% มีลิงก์ Markdown 11 ลิงก์ขึ้นไป กลุ่มผู้ใช้รายแรก ๆ ได้แก่ Cloudflare, Azure, GitHub, DigiCert, WordPress.org, Adobe, Dropbox, PayPal, Stripe, Salesforce, Slack, Zendesk, Okta, Datadog และ Cloudinary

llms.txt ควรถูกมองว่าเป็นสัญญาณเชิงอธิบายและเชิงนำทางสำหรับระบบ AI ไม่ใช่ตัวแทนของ robots.txt คุณค่าของมันไม่ได้อยู่แค่ว่ามีไฟล์อยู่หรือไม่ แต่อยู่ที่ว่าไฟล์นั้นช่วยให้เครื่องจักรหาแหล่งข้อมูลที่เชื่อถือได้ กระชับ และเป็นปัจจุบันได้หรือไม่

บริบท: เว็บกำลังเพิ่มสัญญาณสำหรับ AI

เว็บไซต์ใช้ robots.txt มานานเพื่อสื่อความต้องการต่อบอต, ใช้ sitemap.xml เพื่อช่วยให้ค้นพบ URL ได้ดีขึ้น และใช้ข้อมูลแบบมีโครงสร้างเพื่อช่วยให้ระบบค้นหาและแพลตฟอร์มตีความหน้าเว็บได้ การมาของ generative AI ทำให้เกิดโจทย์อีกแบบหนึ่ง เนื้อหาอาจถูกนำไปใช้เพื่อฝึกโมเดล, ดึงข้อมูล, สรุป, browsing แบบเอเจนต์, ช่วยเขียนโค้ด, ซัพพอร์ตลูกค้า และสร้างคำตอบ สิ่งนี้ทำให้เกิดความต้องการสองด้านพร้อมกัน: ผู้เผยแพร่ต้องการควบคุมการใช้งานอัตโนมัติมากขึ้น แต่ก็ต้องการให้ระบบ AI หาแหล่งข้อมูลหลักที่ถูกต้องได้เมื่อระบบเหล่านั้นเข้ามาใช้งานเว็บไซต์ของพวกเขา

ข้อเสนอ ต้นฉบับ llms.txt ซึ่ง Jeremy Howard เสนอในปี 2024 มองว่าไฟล์นี้เป็นเอกสาร Markdown ที่วางไว้ที่รากเว็บไซต์ เพื่อให้ข้อมูลที่ LLM อ่านได้ง่ายในเวลาที่ใช้งานจริง ข้อเสนอนี้ให้เหตุผลว่าหน้า HTML มักมีเมนู โฆษณา สคริปต์ และสิ่งรบกวนอื่น ๆ ที่ทำให้โมเดลภาษาประมวลผลยากกว่าเดิม ไฟล์ Markdown ที่กระชับสามารถชี้โมเดลไปยังหน้าสำคัญ เอกสาร API ตัวอย่าง นโยบาย และข้อมูลผลิตภัณฑ์ได้

งานวิจัยบนเว็บภายนอกช่วยวางฉากหลังให้กว้างขึ้น Consent in Crisis ของ Data Provenance Initiative อธิบายการเพิ่มขึ้นอย่างรวดเร็วของข้อจำกัดที่เกี่ยวข้องกับ AI ใน robots.txt และข้อกำหนดการใช้งาน และให้เหตุผลว่า กลไกให้ความยินยอมบนเว็บที่มีอยู่เดิมไม่ได้ออกแบบมาสำหรับการนำข้อมูลไปใช้ซ้ำในระดับใหญ่โดย AI Cloudflare Radar AI Insights ก็ทำให้รูปแบบของ AI crawler และ robots.txt มองเห็นได้ในระดับโดเมน Top 10,000 เช่นกัน ในสภาพแวดล้อมแบบนี้ llms.txt อยู่ฝั่งที่สร้างสรรค์ของการส่งสัญญาณให้ AI ไม่ใช่ “ห้ามครอว์ล” แต่เป็น “ถ้าต้องเข้าใจเว็บไซต์นี้ ให้เริ่มตรงนี้”

หลักฐานภายนอกและข้อถกเถียงเรื่องการยอมรับ

การถกเถียงต่อสาธารณะเกี่ยวกับ llms.txt แบ่งออกเป็นสองมุมมอง มุมมองเชิงบวกคือไฟล์นี้ช่วยให้ระบบ AI เข้าถึงเนื้อหาที่เชื่อถือได้อย่างสะอาดและมีประสิทธิภาพกว่าเดิม มุมมองเชิงระวังคือยังไม่มีผู้ให้บริการ LLM รายใหญ่รายใดประกาศอย่างชัดเจนว่าจะใช้ไฟล์นี้เป็นสัญญาณด้านอันดับ การครอว์ล หรือการอ้างอิง ดังนั้นผู้เผยแพร่จึงไม่ควรคาดหวังว่าทราฟฟิกจะเพิ่มขึ้นจากไฟล์นี้เพียงอย่างเดียว เอกสารอ้างอิงภายนอกทั้งสามชิ้นที่ตรวจสอบสำหรับการอัปเดตนี้สนับสนุนข้อสรุปที่ละเอียดกว่า: llms.txt เป็นโครงสร้างพื้นฐานที่มีประโยชน์ แต่หลักฐานเรื่องผลต่อทราฟฟิกโดยตรงยังจำกัดและขึ้นกับบริบท

เกณฑ์อ้างอิงด้านการยอมรับภายนอกกำลังเปลี่ยนอย่างรวดเร็ว

ตัวติดตามการยอมรับของ Rankability รายงานอัตราการยอมรับ 0.3% ในเว็บไซต์ Top 1,000 ณ วันที่ 22 มิถุนายน 2025 หรือ 3 จาก 1,000 เว็บไซต์ โดยอธิบายว่ามีการสแกนอัตโนมัติรายเดือนที่ domain.com/llms.txt และมีการตรวจสอบที่ตัดการรีไดเร็กต์และการตอบกลับ HTML ออก วิธีการนี้มีทิศทางใกล้เคียงกับแนวทางตรวจสอบแบบอนุรักษนิยมของงานศึกษานี้

ผลลัพธ์ที่ได้ต่างกันมาก งานศึกษานี้พบไฟล์ llms.txt ที่ถูกต้อง 75 ไฟล์ใน Tranco Top 1,000 เมื่อวันที่ 6 พฤษภาคม 2026 หรือ 7.50% ตัวเลขทั้งสองไม่ควรถูกนำไปใช้เป็นอนุกรมเวลาแบบเคร่งครัด เพราะแหล่งจัดอันดับ รายละเอียดการทำงาน ตรรกะการตรวจสอบ และช่วงเวลาการครอว์ลอาจต่างกัน แต่ความต่างดังกล่าวชี้ว่า การยอมรับเปลี่ยนไปอย่างมีนัยสำคัญระหว่างกลางปี 2025 ถึงพฤษภาคม 2026 โดยเฉพาะในเว็บไซต์สาย developer, SaaS, cloud, security และเอกสารประกอบ

แหล่งข้อมูล	จุดเวลา	กลุ่มตัวอย่าง	อัตราการยอมรับที่รายงานว่าถูกต้อง	การตีความ
Rankability	22 มิถุนายน 2025	เว็บไซต์ Top 1,000	0.3%	เกณฑ์อ้างอิงสาธารณะช่วงแรกที่แสดงการยอมรับต่ำมากในกลางปี 2025
งานศึกษานี้	6 พฤษภาคม 2026	Tranco Top 1,000	7.50%	การครอว์ลในช่วงหลังที่แสดงการยอมรับให้เห็นชัดในเว็บไซต์ทราฟฟิกสูง
งานศึกษานี้	6 พฤษภาคม 2026	Tranco Top 10,000	5.86%	ตัวอย่างที่กว้างขึ้น แสดงว่าการยอมรับวัดได้จริง แต่ยังไม่ใช่กระแสหลัก

การทดลองด้านทราฟฟิกยังให้ผลผสมกัน

Search Engine Land เผยแพร่การวิเคราะห์ 10 เว็บไซต์ในเดือนมกราคม 2026 โดยติดตามเว็บไซต์เป็นเวลา 90 วันก่อนและ 90 วันหลังการติดตั้ง บทความรายงานว่า 2 เว็บไซต์มีทราฟฟิกจาก AI เพิ่มขึ้น 12.5% และ 25%, 8 เว็บไซต์ไม่เห็นการเปลี่ยนแปลงที่วัดได้ และอีก 1 เว็บไซต์ลดลง 19.7% ข้อสรุปสำคัญคือควรระวังเรื่องเหตุและผล: กรณีที่ดูเหมือนประสบความสำเร็จทั้งสองกรณีก็มีการเปิดเทมเพลตใหม่, สร้างศูนย์ทรัพยากรใหม่, เพิ่มตารางเปรียบเทียบที่ดึงข้อมูลออกมาได้, ได้รับการกล่าวถึงในสื่อ, แก้ปัญหาทางเทคนิค หรือเผยแพร่เนื้อหาแบบ FAQ เพิ่มเติม ในกรอบความคิดนี้ llms.txt เป็นการบันทึกงานเนื้อหาและงานเทคนิคที่แข็งแรงกว่าเดิม ไม่ได้ดูเหมือนเป็นตัวก่อให้เกิดการเติบโตด้วยตัวมันเอง

การทดลองบนบล็อกส่วนตัวของ Renat Alimbekov ให้ข้อสรุปเชิงบวกมากกว่า จากการสังเกตไซต์ขนาดเล็ก เขาเปรียบเทียบสองช่วงเวลา 4 เดือนใน Yandex.Metrica หลังเพิ่มทั้ง llms.txt และ llms-full.txt จำนวนเซสชันที่มาจาก LLM เพิ่มจาก 75 เป็น 92 หรือเพิ่มขึ้น 23% ขณะที่จำนวนผู้ใช้เพิ่มจาก 51 เป็น 64 เซสชันจาก Perplexity เพิ่มจาก 29 เป็น 55 ขณะที่เซสชันจาก ChatGPT ลดจาก 31 เป็น 26 โพสต์เดียวกันยังระบุด้วยว่าทราฟฟิกแนะนำรวมเติบโตเร็วกว่า จาก 160 เป็น 290 เซสชัน ดังนั้นสัดส่วนเซสชันจาก LLM จึงลดจาก 47% เหลือ 32%

ประเภทของหลักฐาน	ผลที่สังเกตได้	ข้อควรระวังหลัก	ส่งผลต่อรายงานนี้อย่างไร
การศึกษาก่อน-หลัง 10 เว็บไซต์ของ Search Engine Land	2 เว็บไซต์เพิ่มขึ้น, 8 เว็บไซต์ไม่เปลี่ยนอย่างมีนัยสำคัญ, 1 เว็บไซต์ลดลง	กรณีบวกมีการเปลี่ยนเนื้อหา, PR และเทคนิคพร้อมกัน	สนับสนุนให้มอง llms.txt เป็นโครงสร้างพื้นฐาน ไม่ใช่คันโยกการเติบโตแบบเดี่ยว ๆ
การสังเกตบล็อกส่วนตัวของ Alimbekov ก่อน-หลัง	เซสชันที่มาจาก LLM เพิ่ม 23% ในช่วงหลัง	ไม่มีกรุ๊ปควบคุม; ทราฟฟิกแนะนำรวมเพิ่ม 81% และสัดส่วน LLM ลดลง	บ่งชี้ว่าบล็อกสายเทคนิคอาจได้ประโยชน์ โดยเฉพาะจาก Perplexity แต่ยังแยกเหตุผลเชิงสาเหตุไม่ได้
งานศึกษาการยอมรับจากการครอว์ลนี้	มีไฟล์ที่ถูกต้อง 586 ไฟล์ และการใช้งานแบบมีโครงสร้างจำนวนมาก	วัดการมีอยู่และโครงสร้าง ไม่ได้วัดผลต่อทราฟฟิกปลายทาง	แสดงการยอมรับและความ成熟ของการใช้งาน แต่ยังไม่ใช่ ROI โดยตัวมันเอง

บทถกเถียงนี้ช่วยให้มองเห็นอะไรชัดขึ้น

หลักฐานภายนอกทำให้การตีความชุดข้อมูลนี้คมชัดขึ้น ไฟล์ llms.txt ที่จัดโครงสร้างดีสามารถลดแรงเสียดทานในการแยกวิเคราะห์ของเครื่องได้ โดยเฉพาะกับเอกสารสำหรับนักพัฒนา เอกสารอ้างอิง API และเนื้อหาฐานความรู้ แต่กรณีทราฟฟิกที่แข็งแรงที่สุดยังดูเหมือนต้องพึ่งเนื้อหาที่มีประโยชน์ ดึงข้อมูลออกมาได้ เชื่อถือได้ และค้นพบได้โดยไม่ต้องพึ่งไฟล์นี้ ดังนั้นคำถามในทางปฏิบัติไม่ใช่ “llms.txt สำคัญไหม” แบบแยกเดี่ยว แต่คือไฟล์นี้เป็นส่วนหนึ่งของระบบเนื้อหาที่อ่านได้โดย AI ที่กว้างกว่านั้นหรือไม่

การตีความที่อัปเดต: ควรนำ llms.txt ไปใช้เป็นโครงสร้างพื้นฐานต้นทุนต่ำสำหรับฝั่ง AI ไม่ควรวางตำแหน่งมันเป็นตัวแทนของเอกสารที่ดีขึ้น เนื้อหาที่มีโครงสร้าง การเข้าถึงทางเทคนิค การอ้างอิง ลิงก์ หรืออำนาจของแบรนด์

ลองใช้ Thunderbit สำหรับการดึงข้อมูลเว็บด้วย AI

ระเบียบวิธีวิจัย

งานศึกษานี้ใช้โดเมน Tranco Top 10,000 เป็นกลุ่มตัวอย่าง Tranco เป็นการจัดอันดับเว็บไซต์ระดับท็อปที่ออกแบบมาเพื่อการวิจัย โดยให้ความเสถียรและต้านการบิดเบือนได้ดีกว่ารายการอันดับยอดนิยมหลายรายการ ไฟล์ต้นทางของ Tranco ถูกดาวน์โหลดเมื่อวันที่ 6 พฤษภาคม 2026 โดยมีเวลาปรับปรุงล่าสุดของแหล่งข้อมูลเป็นวันที่ 5 พฤษภาคม 2026 เวลา 22:17:59 GMT

ระบบครอว์ลตรวจสอบ 2 เส้นทางระดับรากของแต่ละโดเมน:

• https://example.com/llms.txt พร้อม fallback เป็น HTTP เมื่อจำเป็น
• https://example.com/llms-full.txt พร้อม fallback เป็น HTTP เมื่อจำเป็น

สำหรับแต่ละการตรวจสอบ ระบบครอว์ลบันทึกสถานะโค้ด, URL สุดท้าย, วิธีดึงข้อมูล, จำนวนไบต์ของการตอบกลับ, content type, ข้อความผิดพลาด, เวลาที่ใช้ และผลการตรวจสอบความถูกต้อง เนื้อหาที่ดึงสำเร็จถูกบันทึกไว้ใน raw_llms_txt/ เพื่อใช้ทบทวนและวิเคราะห์ต่อ

กฎการตรวจสอบความถูกต้อง

การตอบกลับจะถูกนับเป็นไฟล์ที่ถูกต้องก็ต่อเมื่อได้เนื้อหาที่สำเร็จและไม่ดูเหมือนหน้า fallback ทั่วไป เส้นทางของ URL สุดท้ายต้องยังเป็น /llms.txt หรือ /llms-full.txt เนื้อหาว่างเปล่าถูกปฏิเสธ เอกสาร HTML ที่ชัดเจนและ app shell ถูกปฏิเสธ ส่วน content type ใช้เป็นหลักฐานประกอบ ไม่ใช่กฎเดียว เพราะมีไฟล์ข้อความที่ถูกต้องจำนวนเล็กน้อยซึ่งถูกเสิร์ฟด้วย content type ที่ไม่ปกติ

ภาพรวมการยอมรับ

การครอว์ลพบไฟล์ llms.txt ที่ถูกต้อง 586 ไฟล์ใน Tranco Top 10,000 คิดเป็นอัตราการยอมรับที่ถูกต้อง 5.86% ส่วนไฟล์ llms-full.txt ซึ่งเป็นไฟล์คู่หูที่เล็กกว่าพบว่ามีอยู่และถูกต้องใน 103 โดเมน หรือ 1.03% ของตัวอย่างทั้งหมด

ตัวชี้วัด	จำนวน	สัดส่วนของ Top 10,000
โดเมนที่ครอว์ล	10,000	100.00%
ไฟล์ llms.txt ที่ถูกต้อง	586	5.86%
ไฟล์ llms-full.txt ที่ถูกต้อง	103	1.03%
การตอบกลับ HTTP 200 สำหรับ /llms.txt	1,606	16.06%
การตอบกลับ HTTP 200 ที่ถูกปฏิเสธว่าไม่ถูกต้อง	1,020	10.20%

การยอมรับไม่ได้กระจุกอยู่แค่เว็บไซต์ใหญ่สุดเท่านั้น

อัตราการยอมรับใน Top 1,000 สูงกว่าทั้งชุด Top 10,000 แต่ก็ไม่ได้จำกัดอยู่แค่เว็บไซต์ที่ใหญ่ที่สุดเท่านั้น อัตราการยอมรับใน Top 1,000 อยู่ที่ 7.50% ส่วนช่วง 1,000 โดเมนสุดท้าย อันดับ 9,001-10,000 ลดลงเหลือ 3.80% ช่วงกลางของการจัดอันดับยังคงมีความเคลื่อนไหว: ช่วง 2,001-3,000, 3,001-4,000, 5,001-6,000 และ 6,001-7,000 ล้วนอยู่ราว 6%

ผู้ใช้กลุ่มแรก ๆ

โดเมนที่ยอมรับอย่างถูกต้องและมีอันดับสูงสุดคือ Cloudflare ที่อันดับ Tranco 4 ผู้ใช้ระดับสูงรายอื่น ๆ ได้แก่ Azure, GitHub, DigiCert, WordPress.org, Adobe, Sentry, Dropbox, PayPal, Shopify, Taboola, Avast, Weather.com, Oxylabs, SourceForge, Cisco, Stripe, Slack, Dell, NVIDIA, Indeed, Zendesk, Calendly, Palo Alto Networks, Okta, Braze, Klaviyo, Intercom, Datadog, Cloudinary, ClassLink และ OneSignal

ผู้ใช้งานเหล่านี้ไม่ใช่กลุ่มสุ่ม พวกเขามักมีพื้นที่เอกสารขนาดใหญ่ มีไลน์ผลิตภัณฑ์ที่ต้องอธิบาย มี API หรือ ecosystem สำหรับนักพัฒนา มีเนื้อหาซัพพอร์ต หน้าราคา ข้อมูลด้านความปลอดภัยและความเป็นส่วนตัว และมีอำนาจของแบรนด์มากพอที่จะใส่ใจว่าระบบ AI ตีความเว็บไซต์ของตนอย่างไร

อันดับ	โดเมน	ขนาดไฟล์	รูปแบบที่สังเกตได้
4	cloudflare.com	4,225 B	ดัชนีแบบกระชับสำหรับผลิตภัณฑ์ นักพัฒนา บริษัท และราคา
26	azure.com	47,037 B	เครื่องมือนักพัฒนา, AI, compute, storage, security, monitoring และทรัพยากรเสริม
28	github.com	27,108 B	การเข้าถึงแบบโปรแกรม, Copilot, MCP, REST API, Actions, repositories และลิงก์ CLI
248	stripe.com	64,229 B	payments, Connect, Checkout, Billing, Tax, Atlas, Radar และเอกสารนักพัฒนา
265	salesforce.com	1.02 MB	แค็ตตาล็อกลิงก์ผลิตภัณฑ์และ Agentforce ขนาดใหญ่ โดยไม่มีหัวข้อย่อย Markdown

หมวดหมู่ของผู้ใช้ใน Top 1,000

งานศึกษานี้จัดหมวดหมู่ผู้ใช้ที่ถูกต้อง 75 รายใน Tranco Top 1,000 โดยใช้บริบทของโดเมน, หัวข้อแรก, โครงสร้างไฟล์ดิบ และคีย์เวิร์ดในเนื้อหา กลุ่มใหญ่ที่สุดคือการตลาด, สื่อ และ adtech ที่ 22.67% รองลงมาคือ cloud, developer และ infrastructure ที่ 20.00% ส่วน SaaS, productivity และ customer operations อยู่ที่ 17.33% และด้าน security, identity และ privacy อยู่ที่ 12.00%

หมวดหมู่	โดเมน	สัดส่วนของผู้ใช้ Top 1,000	คะแนนคุณภาพค่ากลาง	ลิงก์ค่ากลาง
การตลาด, สื่อ และ adtech	17	22.67%	94	25
Cloud, dev และ infrastructure	15	20.00%	94	62
SaaS, productivity และ customer ops	13	17.33%	94	46
Security, identity และ privacy	9	12.00%	98	78
CMS, hosting และเว็บเพรสเซนซ์	7	9.33%	100	24

รูปแบบของ TLD

โดเมนระดับบนสุดไม่ใช่ป้ายกำกับอุตสาหกรรม แต่เป็นสัญญาณทิศทางที่มีประโยชน์ ในบรรดา TLD ที่มีอย่างน้อย 50 โดเมนในตัวอย่าง .io มีอัตราการยอมรับที่ถูกต้องสูงสุดที่ 14.44% รองลงมาคือ .com ที่ 8.19% การยอมรับที่ต่ำกว่าใน .gov, .edu และ .net บ่งชี้ว่ากลุ่มผู้ใช้ระยะแรกเป็นเชิงพาณิชย์และเชิงเทคนิคมากกว่าสถาบัน

คุณภาพการใช้งาน

การยอมรับที่ถูกต้องไม่ได้หมายความว่าคุณภาพการใช้งานจะสม่ำเสมอ ไฟล์บางส่วนเป็นดัชนีที่กระชับและมีการแบ่งส่วนดี บางส่วนเป็นข้อความเล่าเรื่องเป็นหลัก บางส่วนเป็นแค็ตตาล็อกลิงก์ดิบ บางส่วนแทบว่างเปล่าเหมือนไฟล์ตัวอย่าง และบางส่วนเป็นการเทเนื้อหาขนาดหลายเมกะไบต์ ซึ่งอาจครบถ้วนแต่มีต้นทุนสูงในการดึงและประมวลผล

ในบรรดาไฟล์ llms.txt ที่ถูกต้อง 362 ไฟล์มีขนาดใหญ่กว่า 5 KB หรือ 61.77% ของผู้ใช้ที่ถูกต้องทั้งหมด ค่ากลางของขนาดไฟล์อยู่ที่ประมาณ 7.1 KB ค่าขนาดไฟล์ P90 อยู่ที่ 156 KB, P95 อยู่ที่ 356 KB, P99 อยู่ที่ 2.54 MB และไฟล์ที่ใหญ่ที่สุดที่พบคือ 7.97 MB

สัญญาณเนื้อหาที่พบบ่อย

การสแกนคีย์เวิร์ดในไฟล์ที่ถูกต้องพบว่าหลายเว็บไซต์ไม่ได้แค่ประกาศตัวตนเท่านั้น แต่ยังชี้โมเดลไปยังเนื้อหาที่มีประโยชน์ในเชิงปฏิบัติ คำที่เกี่ยวกับ support หรือ help ปรากฏใน 70.31% ของไฟล์ที่ถูกต้อง คำว่า blog, guide หรือ tutorial ปรากฏใน 67.92% คำที่เกี่ยวกับ security, privacy, compliance หรือ terms ปรากฏใน 61.43% คำว่า pricing ปรากฏใน 53.92% documentation ใน 52.22% API ใน 33.96% และสัญญาณของ changelog หรือ release ใน 27.30%

การให้คะแนนคุณภาพและต้นแบบการใช้งาน

เพื่อยกระดับจากแค่การมีอยู่ไปสู่ความ成熟 งานศึกษานี้สร้างคะแนนการใช้งานแบบน้ำหนักเบา คะแนนนี้พิจารณาประเภทเนื้อหา, ขนาดไฟล์, โครงสร้าง Markdown, จำนวนลิงก์, ขอบเขตหัวข้อ และสัญญาณเตือน เช่น ไม่มีหัวข้อย่อย, ไม่มีลิงก์ Markdown, content type แปลก, ไฟล์เล็กมาก, ไฟล์ใหญ่มาก และพฤติกรรมแบบกองลิงก์ นี่ไม่ใช่มาตรฐานทางการ แต่เป็นโมเดลคะแนนสำหรับงานวิจัยเพื่อเปรียบเทียบการใช้งานที่สังเกตได้

เมื่อใช้โมเดลนี้ ไฟล์ที่ถูกต้อง 416 ไฟล์ถูกจัดเป็นดัชนีแบบมีโครงสร้างที่แข็งแรง 107 ไฟล์เป็นดัชนีที่ใช้งานได้ 24 ไฟล์เป็นแบบบางหรือไม่สม่ำเสมอ และ 39 ไฟล์เป็นเชิงสัญลักษณ์หรือมีประโยชน์ต่ำ การวิเคราะห์ต้นแบบแยกต่างหากพบดัชนีแบบมีโครงสร้าง 296 ไฟล์, ไฟล์ข้อความแบ่งส่วน 113 ไฟล์, แค็ตตาล็อกลิงก์ 63 ไฟล์, ดัชนีแบบบาง 52 ไฟล์, ไฟล์เชิงสัญลักษณ์หรือไฟล์ตัวอย่าง 50 ไฟล์ และกองเนื้อหาขนาดใหญ่ 12 ไฟล์

ต้นแบบการใช้งาน	โดเมน	สัดส่วนของไฟล์ที่ถูกต้อง	คะแนนค่ากลาง	ขนาดไฟล์ค่ากลาง	ลิงก์ค่ากลาง
ดัชนีแบบมีโครงสร้าง	296	50.51%	98	11,241 B	61.5
ข้อความแบ่งส่วน	113	19.28%	78	4,718 B	0
แค็ตตาล็อกลิงก์	63	10.75%	86	4,160 B	23
ดัชนีแบบบาง	52	8.87%	66	2,814 B	0
เชิงสัญลักษณ์หรือไฟล์ตัวอย่าง	50	8.53%	27	15 B	0
กองเนื้อหาขนาดใหญ่	12	2.05%	74	2.84 MB	7,259.5

ผู้ใช้ระดับบนมีการใช้งานที่หนาแน่นกว่า

ผู้ใช้ที่ถูกต้อง 75 รายใน Tranco Top 1,000 มีคะแนนคุณภาพค่ากลาง 96, ขนาดไฟล์ค่ากลาง 9,068 ไบต์, จำนวนลิงก์ Markdown ค่ากลาง 52 และจำนวนส่วนค่ากลาง 11 ผู้ใช้ 511 รายที่อยู่ในอันดับ 1,001-10,000 มีค่ากลางต่ำกว่า คือคะแนน 90, ขนาดไฟล์ 6,506 ไบต์, ลิงก์ Markdown 23 ลิงก์ และ 9 ส่วน ผู้ใช้ Top 1,000 ยังมีแนวโน้มเป็นดัชนีแบบมีโครงสร้างมากกว่า: 69.33% เทียบกับ 47.75% ในกลุ่มหลัง

ปัญหาการเกิดผลบวกปลอม

ความเสี่ยงด้านการวัดที่ใหญ่ที่สุดคือผลบวกปลอม จาก 1,606 โดเมนที่ตอบกลับ HTTP 200 สำหรับ /llms.txt มี 1,020 โดเมนที่ไม่ผ่านการตรวจสอบ สาเหตุที่ไม่ถูกต้องที่พบบ่อยที่สุดคือการรีไดเร็กต์ไปผิดเป้า ซึ่งพบ 618 กรณี อีก 367 การตอบกลับเป็นเอกสาร HTML ทั่วไป 29 กรณีส่งเนื้อหาว่างเปล่า และอีก 6 กรณีเป็นการตอบกลับที่ไม่ถูกต้องประเภทอื่นหรือไม่สามารถจัดหมวดหมู่ได้

เรื่องนี้สำคัญเพราะเว็บไซต์ขนาดใหญ่จำนวนมากส่งเส้นทางที่ไม่รู้จักไปยังหน้าเข้าสู่ระบบ หน้าแรก app shell หน้าประจำภูมิภาค หน้าขอความยินยอม หรือหน้า fallback ด้านการตลาด การตอบกลับเหล่านี้อาจดูเหมือนปกติสำหรับครอว์ลที่ดูแค่สถานะโค้ด แต่จริง ๆ แล้วไม่มีสัญญาณ llms.txt ที่ถูกต้อง

llms-full.txt: มีน้อยกว่าและไม่สม่ำเสมอกว่า

ไฟล์คู่หู llms-full.txt พบได้น้อยกว่า llms.txt มาก การครอว์ลพบไฟล์เต็มที่ถูกต้อง 103 ไฟล์ เท่ากับ 17.58% ของผู้ใช้ llms.txt ที่ถูกต้อง และ 1.03% ของตัวอย่าง Top 10,000 ทั้งหมด

การใช้งานไฟล์เต็มมีความไม่สม่ำเสมอ ในบรรดาผู้ใช้สองไฟล์ 103 ราย มี 57 รายที่ไฟล์ llms-full.txt ใหญ่กว่าไฟล์ดัชนี แต่ 46 รายมีไฟล์เต็มที่ไม่ใหญ่กว่าไฟล์ดัชนี หรือมีไฟล์เต็มที่เล็กกว่า 100 ไบต์ อัตราส่วนขนาดค่ากลางระหว่างไฟล์เต็มต่อไฟล์ดัชนีอยู่ที่ 1.43 แต่กรณีสุดโต่งสูงกว่านั้นมาก ไฟล์เต็มของ Supabase ใหญ่กว่าไฟล์ดัชนีประมาณ 7,139 เท่า ส่วน Made-in-China.com มีไฟล์เต็มขนาด 89.89 MB

โดเมน	llms.txt	llms-full.txt	อัตราส่วน
made-in-china.com	4.49 MB	89.89 MB	20.0x
sendbird.com	281.86 KB	11.99 MB	42.5x
taboola.com	286.78 KB	11.73 MB	40.9x
supabase.co	1.26 KB	8.98 MB	7,139.3x
neon.tech	27.44 KB	5.01 MB	182.7x

ข้อแนะนำ: ควรเผยแพร่ llms-full.txt เฉพาะเมื่อเว็บไซต์มีไปป์ไลน์เอกสารที่เสถียร มีวินัยด้านเวอร์ชัน และมีเหตุผลชัดเจนที่จะเปิดเผยเนื้อหาปริมาณมากในไฟล์เดียวที่เครื่องอ่านได้

llms.txt, robots.txt และ sitemap.xml

ไม่ควรมอง llms.txt ว่าเป็น robots.txt แบบใหม่ ทั้งสองเป็นไฟล์เครื่องอ่านได้ที่อยู่ระดับรากเหมือนกัน แต่สื่อสารคนละเรื่อง robots.txt คือสัญญาณด้านความต้องการของบอตและการควบคุมการเข้าถึง ส่วน sitemap.xml คือสัญญาณการค้นพบ URL ขณะที่ llms.txt เป็นสัญญาณเชิงอธิบายและเชิงนำทาง

สัญญาณ	บทบาทหลัก	ผู้อ่านโดยทั่วไป	การตีความในงานศึกษานี้
robots.txt	ระบุความต้องการของบอตและข้อจำกัดระดับเส้นทาง	Search crawler, AI crawler, archive crawler, บอตทั่วไป	สัญญาณด้านการกำกับดูแลและการเข้าถึง
sitemap.xml	แสดงรายการ URL ที่ค้นพบได้สำหรับระบบจัดทำดัชนี	เครื่องมือค้นหาและไปป์ไลน์การจัดทำดัชนี	สัญญาณด้านการค้นพบ
llms.txt	ให้บริบทเว็บไซต์แบบกระชับ, ลิงก์สำคัญ, เอกสาร, API, ตัวอย่าง และการอ้างอิงนโยบาย	แอปพลิเคชัน LLM, เอเจนต์ AI, เครื่องมือสำหรับนักพัฒนา, ระบบดึงข้อมูล	สัญญาณด้านการอธิบายและการนำทาง

ข้อเสนอแนะ

สำหรับเว็บไซต์ที่กำลังพิจารณา llms.txt รูปแบบการใช้งานที่แข็งแรงที่สุดในชุดข้อมูลนี้และหลักฐานทราฟฟิกภายนอกบ่งชี้แนวทางที่ใช้งานได้จริงดังนี้:

• เผยแพร่ /llms.txt ที่รากเว็บไซต์ และเปิดให้เข้าถึงได้โดยไม่ต้องล็อกอิน ไม่ต้องรัน JavaScript ไม่มีชั้นขอความยินยอม และไม่มีการรีไดเร็กต์ออกนอกเส้นทาง
• ให้บริการเป็น text/plain หรือ text/markdown เมื่อเป็นไปได้
• เริ่มจากคำอธิบายสั้น ๆ ของเว็บไซต์ แล้วจัดลิงก์ตามผลิตภัณฑ์, เอกสาร, API, ราคา, changelog, ตัวอย่าง, ซัพพอร์ต, นโยบาย และทรัพยากรของบริษัท
• เลืกลิงก์ canonical มากกว่าการไล่ใส่ URL ให้ครบทุกอัน
• หลีกเลี่ยงไฟล์เชิงสัญลักษณ์ที่ว่างเปล่า เพราะอย่างดีที่สุดก็เป็นเพียงสัญญาณอ่อน ๆ
• หลีกเลี่ยงการเทข้อมูลจำนวนมหาศาลที่ไม่แบ่งแยก เว้นแต่มีกรณีใช้งานสำหรับเครื่องบริโภคข้อมูลโดยตรงที่ชัดเจนและมีไปป์ไลน์สร้างไฟล์ที่เชื่อถือได้
• ตรวจสอบ URL สุดท้าย, เนื้อหาการตอบกลับ, content type, โครงสร้าง Markdown, จำนวนลิงก์ และขนาดไฟล์หลังเผยแพร่

ทีมงานควรกำหนดความคาดหวังอย่างระมัดระวังด้วย การทดลองสาธารณะที่มีอยู่ยังไม่พิสูจน์ว่า llms.txt เพิ่มทราฟฟิกอ้างอิงจาก AI ได้โดยลำพัง หากทีมต้องการทดสอบผลทางธุรกิจ ควรติดตามทั้ง LLM referrals, หน้าที่ถูกอ้างอิง, คำขอจากบอต, ความสดของดัชนี และการเปลี่ยนแปลงของเนื้อหาไปพร้อมกัน การทดลองที่มีประโยชน์ควรเปรียบเทียบกลุ่มหน้าเว็บที่จับคู่กัน คงการอัปเดตเนื้อหาให้คงที่เท่าที่ทำได้ และแยกทราฟฟิกเฉพาะแพลตฟอร์มอย่าง Perplexity, ChatGPT, Gemini, Claude และ Bing/Copilot ออกมาต่างหาก

ข้อจำกัด

นี่เป็นภาพสแนปช็อตจากการครอว์ล ไม่ใช่ความจริงถาวร เว็บไซต์สามารถเพิ่ม ลบ หรือเปลี่ยนไฟล์ llms.txt ได้ทุกเมื่อ บางโดเมนอาจบล็อกคำขออัตโนมัติหรือทำงานต่างกันตามภูมิศาสตร์ การตั้งค่า TLS ตรรกะรีไดเร็กต์ user agent หรือระบบป้องกันบอต งานศึกษานี้ทดสอบเฉพาะไฟล์ระดับรากเท่านั้น และไม่ได้ค้นหาโดเมนย่อยหรือเส้นทางที่ไม่มาตรฐาน

คะแนนคุณภาพและต้นแบบการใช้งานเป็นเครื่องมือวิจัย ไม่ใช่ป้ายกำกับการปฏิบัติตามข้อกำหนดอย่างเป็นทางการ การวิเคราะห์หัวข้อเป็นแบบอิงคีย์เวิร์ด และควรอ่านว่าเป็นแนวโน้มทิศทาง งานศึกษานี้ไม่ได้พิสูจน์ว่าแพลตฟอร์ม AI ใดแพลตฟอร์มหนึ่งในปัจจุบันอ่าน, ยอมรับ, หรือใช้ llms.txt ในการทำงานจริง

หลักฐานทราฟฟิกภายนอกที่ทบทวนในเวอร์ชันนี้ก็มีข้อจำกัดเช่นกัน การวิเคราะห์ของ Search Engine Land เหมาะจะมองเป็นการสังเกตหลายไซต์แบบเตือนความระวัง มากกว่าจะเป็นการทดลองสุ่มแบบควบคุม ผลของ Alimbekov มีประโยชน์ในฐานะกรณีศึกษาระดับไซต์ที่โปร่งใส แต่ก็ยังขาดกลุ่มควบคุม และครอบคลุมช่วงเวลาที่ทราฟฟิกแนะนำรวมเพิ่มขึ้นอย่างมาก เอกสารอ้างอิงเหล่านี้ช่วยจัดกรอบการถกเถียง แต่ไม่ได้ทำให้การครอว์ลนี้กลายเป็นการศึกษาทราฟฟิกเชิงสาเหตุ

ไฟล์และการทำซ้ำผล

ไฟล์	วัตถุประสงค์
crawl_llms_txt.py	ตัวครอว์ลสำหรับ /llms.txt และ /llms-full.txt
analyze_llms_txt.py	การวิเคราะห์การยอมรับหลักและการสร้างกราฟ
deep_analyze_llms_txt.py	การวิเคราะห์รองสำหรับ decile ของอันดับ, TLD, สัญญาณหัวข้อ, คะแนนคุณภาพ, ต้นแบบการใช้งาน และพฤติกรรมสองไฟล์
deep_dive_early_quality.py	การจัดกลุ่มผู้ใช้ระยะแรกและวิเคราะห์คุณภาพเชิงลึก
data/llms_probe_results_top_10000.csv	ชุดข้อมูลผลการครอว์ลหลัก
data/deep_analysis_top_10000.json	สรุปการวิเคราะห์รอง
data/deep_early_quality_analysis.json	หมวดหมู่ผู้ใช้ระยะแรก, การเปรียบเทียบโคฮอร์ตคุณภาพ, รายละเอียดต้นแบบการใช้งาน และกรณีศึกษา

แหล่งอ้างอิง

• ไฟล์ /llms.txt, Jeremy Howard, 2024.
• HTTP Archive Web Almanac 2024 Methodology.
• Cloudflare Radar: Expanded AI insights.
• Cloudflare Radar AI Insights.
• Consent in Crisis: The Rapid Decline of the AI Data Commons, Data Provenance Initiative.
• Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation.
• Does llms.txt matter?, Search Engine Land, มกราคม 2026.
• The State of llms.txt Adoption, Rankability, มิถุนายน 2025.
• How LLMS.txt Increased AI Chat Traffic by 23%, Renat Alimbekov.

ยินดีรับการแก้ไขวิธีวิจัย ปัญหาชุดข้อมูล และการวิเคราะห์ต่อเนื่องที่ support@thunderbit.com รายงานนี้เผยแพร่อย่างเป็นอิสระจากจุดยืนเชิงพาณิชย์ใด ๆ ที่ Thunderbit อาจถืออยู่ ข้อมูลในรายงานนี้ยืนได้ด้วยตัวเอง — ทีมวิจัย Thunderbit, พฤษภาคม 2026.

ลองใช้ Thunderbit เพื่อดึงและวิเคราะห์ข้อมูลเว็บ Get Started Free