Cloudflare a annoncé un système permettant d'évaluer si ses robots vérifiés continuent de respecter les préférences du site Web. L'entreprise distingue l'identité vérifiée d'un robot de son comportement au fil du temps.
Ce que le système est censé observer
- Si un robot suit les préférences d'exploration indiquées par un site.
- S'il répond aux demandes de ralentissement, y compris les réponses HTTP 429.
- Si des observations répétées soutiennent une bande de confiance explicable plutôt que de s'appuyer uniquement sur un contrôle d'identité unique.
Cloudflare indique qu'un bot vérifié peut toujours mal se comporter en raison d'un bug ou d'une erreur de configuration. Sa surveillance est un programme Cloudflare pour les robots répertoriés, et non un mécanisme d'application universel pour tous les robots d'exploration du Web.
Les propriétaires de sites doivent publier des préférences claires et surveiller leur propre trafic. robots.txt communique les préférences du robot mais ne constitue pas un contrôle d'accès ; les ressources sensibles nécessitent toujours une authentification et une autorisation.