robots.txt décide qui peut explorer. La méta noindex décide qui peut indexer. Interdisez une URL qui sert actuellement noindex et le robot d'exploration risque de ne jamais revenir voir ce noindex : la page peut rester indéfiniment dans l'index à partir de données obsolètes.
Les quatre cas à connaître
- Pages de remplissage à crawling autorisé mais pas indexées : laissez le crawling et servez <meta name="robots" content="noindex">. C'est le cas de la page de recherche.
- Ne jamais récupérer du tout (brouillons derrière l'authentification, exportations) : robots.txt Interdire. Fonctionne lorsque rien d'autre ne leur est lié.
- URL déjà indexées qui doivent disparaître : autoriser l'exploration pour que le noindex soit lu ; la désindexation prend ensuite des jours, tranquillement.
- Contenu privé ou volé qui doit disparaître maintenant : il s'agit d'une demande de suppression traitée par le moteur de recherche, pas d'une règle des robots.
Les fusils à pied
- Un refus qui ne correspond à rien : /search/ règles contre les URL qui se trouvent dans /en/search/. Testez la règle par rapport à une VRAIE URL, une fois.
- Pages bloquées toujours nommées dans le plan du site : le plan du site dit d'aller chercher, le Disallow dit de ne pas le faire ; vous déposez des preuves contradictoires.
- Une balise méta supprimée par le CDN ou le pré-rendu : vérifiez l'URL de SORTIE, pas votre fichier source.
Une habitude englobe les trois : dans la Search Console, exécutez URL Inspection sur la véritable URL de production et lisez les deux moitiés : ce que la récupération a obtenu et ce que contient l'index.