Vercel agregó controles separados para rastreadores de IA y asistentes de IA en su conjunto de reglas administradas Firewall AI Bots. Un proyecto puede registrar o bloquear estas categorías de forma independiente.
Diferentes agentes tienen diferentes propósitos.
- Los rastreadores de IA recopilan contenido para indexarlo o entrenar modelos.
- Los asistentes de IA recuperan páginas en respuesta a acciones del usuario o consultas de búsqueda.
- El conjunto de reglas puede bloquear una categoría y permitir la otra, y Vercel dice que actualiza las reglas a medida que se agregan nuevos bots.
Los controles operan en el firewall, no a través del archivo robots.txt de una página. Decida qué acceso automatizado permite el sitio y pruebe la política antes de publicarla para que los servicios útiles no se bloqueen por error.
Vercel dice que el conjunto de reglas administrado está disponible en todos los planes. Revise las reglas y la documentación actuales porque la clasificación de los bots y el comportamiento del producto pueden cambiar.