llms.txt es un breve archivo de rebajas en la raíz de un sitio que enumera las que el sitio considera sus mejores páginas, escritas para sistemas de inteligencia artificial en lugar de para humanos en un navegador. Pasó del ensayo de una persona a muchos sitios que envían un archivo con pelusa verificada, y las herramientas que lo rodean (generadores, validadores, verificadores) ahora aparecen en las búsquedas de 'generador de archivos llms.txt' y 'validador llms.txt'.
¿Qué se supone que debe hacer?
- Proporcione a un agente de IA un mapa seleccionado, para que el modelo no elija páginas únicamente por la popularidad de los enlaces.
- Proponga un índice de contenido legible por máquina: sus guías, su información, sus estándares, su registro de cambios.
- Siéntate junto al archivo robots.txt sin reemplazarlo. robots.txt dice lo que está permitido, llms.txt dice lo que vale la pena leer.
donde se encuentra
OpenAI, Google y otros ya están indexando directamente señales honestas legibles por máquina de sitios; La recomendación del mapa del sitio de mantener precisos los robots, los mapas del sitio, las fechas y los metadatos es la guía que se lleva a cabo. La lectura directa de llms.txt es más complicada: los mayores rastreadores de IA documentan sus reglas de robot y la indexación de páginas, mientras que la propuesta en sí sigue siendo una convención de la comunidad acordada oficialmente con ninguno de ellos. Eso no es un fracaso. Es una muy buena cultura de documentación en este caso, pero no se puede tratar a llms.txt de la misma manera que se trata a robots.txt, donde el incumplimiento tiene consecuencias a través de servidores específicos.
Este sitio publica uno de todos modos. Cuesta un archivo pequeño, documenta su sitio honestamente para cualquiera que llegue mediante un script, y si un rastreador importante comienza a consumirlo mañana, el archivo ya estaba allí.