Cloudflare anunció un sistema para evaluar si sus Verified Bots continúan respetando las preferencias del sitio web. La empresa distingue la identidad verificada de un bot de su comportamiento a lo largo del tiempo.
Qué debe observar el sistema
- Si un rastreador sigue las preferencias de rastreo indicadas por un sitio.
- Si responde a solicitudes para reducir la velocidad, incluidas las respuestas HTTP 429.
- Si las observaciones repetidas respaldan una banda de confianza explicable en lugar de depender únicamente de una verificación de identidad única.
Cloudflare dice que un bot verificado aún puede comportarse mal debido a un error o un error de configuración. Su monitoreo es un programa de Cloudflare para los bots listados, no un mecanismo de aplicación universal para todos los rastreadores de la web.
Los propietarios de sitios deben publicar preferencias claras y controlar su propio tráfico. robots.txt comunica las preferencias del rastreador pero no es un control de acceso; Los recursos confidenciales aún necesitan autenticación y autorización.