llms.txt adalah file penurunan harga singkat di akar situs yang mencantumkan halaman mana yang dianggap situs terbaik, ditulis untuk sistem AI dan bukan untuk manusia di browser. Mulai dari esai satu orang hingga banyak situs yang mengirimkan file yang diperiksa seratnya, dan alat di sekitarnya — generator, validator, pemeriksa — kini muncul dalam penelusuran untuk 'llms.txt file generator' dan 'llms.txt validator'.
Apa yang seharusnya dilakukannya
- Berikan peta yang dikurasi kepada agen AI, sehingga model tidak memilih halaman hanya berdasarkan popularitas tautan.
- Usulkan toc yang dapat dibaca mesin: panduan Anda, tentang Anda, standar Anda, log perubahan Anda.
- Duduk di sebelah robots.txt tanpa menggantinya. robots.txt menyatakan apa yang diperbolehkan, llms.txt menyatakan apa yang layak dibaca.
Dimana ia berdiri
OpenAI, Google, dan lainnya telah mengindeks sinyal jujur yang dapat dibaca mesin dari situs secara langsung; rekomendasi peta situs untuk menjaga robot, peta situs, tanggal, dan metadata tetap akurat adalah panduan yang dijalankan. Pembacaan langsung llms.txt lebih rumit: crawler AI terbesar mendokumentasikan aturan robot dan pengindeksan halaman mereka, sementara proposalnya sendiri tetap merupakan konvensi komunitas yang secara resmi tidak disetujui oleh satupun dari mereka. Itu bukanlah sebuah kegagalan. Budaya dokumentasi yang satu ini sangat bagus — tetapi Anda tidak dapat memperlakukan llms.txt seperti Anda memperlakukan robots.txt, di mana ketidakpatuhan mempunyai konsekuensi melalui server tertentu.
Situs ini tetap menerbitkannya. Harganya satu file kecil, mendokumentasikan situs Anda dengan jujur kepada siapa pun yang datang dengan skrip, dan jika crawler besar mulai menggunakannya besok, file tersebut sudah ada di sana.