Vercel a ajouté des contrôles distincts pour les robots d'exploration IA et les assistants IA dans son ensemble de règles gérées Firewall AI Bots. Un projet peut enregistrer ou bloquer ces catégories indépendamment.
Différents agents ont des objectifs différents
- Les robots d'exploration d'IA collectent du contenu pour l'indexation ou la formation de modèles.
- Les assistants IA récupèrent des pages en réponse aux actions des utilisateurs ou aux requêtes de recherche.
- L'ensemble de règles peut bloquer une catégorie tout en autorisant l'autre, et Vercel dit qu'il met à jour les règles à mesure que de nouveaux robots sont ajoutés.
Les contrôles fonctionnent au niveau du pare-feu, et non via le fichier robots.txt d'une page. Décidez quel accès automatisé le site autorise et testez la politique avant de la publier afin que les services utiles ne soient pas bloqués par erreur.
Vercel indique que l'ensemble de règles gérées est disponible sur tous les plans. Consultez les règles et la documentation actuelles, car la classification des robots et le comportement des produits peuvent changer.