OpenAI a annoncé son intention d'honorer un signal partagé dans robots.txt qui permet aux opérateurs de sites Web d'exprimer leurs préférences quant à l'utilisation de leur contenu pour la formation de base en IA. Le signal fait partie d'un effort du groupe de travail de l'IETF visant à réduire la nécessité pour les éditeurs de maintenir des règles distinctes pour chaque fournisseur.
Quels changements pour les propriétaires de sites
- OpenAI indique qu'il vise à mettre en œuvre le signal dans les mois à venir et prévoit de partager les détails de mise en œuvre ultérieurement.
- Le signal partagé est volontaire et ne remplacera pas les contrôles d'exploration existants d'OpenAI.
- Les autres fournisseurs participants sont encouragés à honorer la même préférence.
L'annonce décrit un changement prévu et non une fonctionnalité déjà active sur chaque site. Les opérateurs de sites Web doivent continuer à utiliser les contrôles documentés des robots d'exploration et surveiller les conseils de mise en œuvre.
Une préférence robots.txt permet de communiquer une politique aux robots d'exploration ; cela ne garantit pas que tous les systèmes automatisés le suivront ou affecteront l'indexation de recherche ordinaire de la même manière.