robots.txt decide quién puede rastrear. El meta noindex decide quién puede indexar. No permita una URL que actualmente proporcione noindex y es posible que el rastreador nunca vuelva a ver ese noindex: la página puede permanecer en el índice indefinidamente a partir de datos obsoletos.
Los cuatro casos que vale la pena conocer
- Páginas baratas que deben rastrearse pero no indexarse: permite el crawling y sirve <meta name="robots" content="noindex">. Es el caso de la página de búsqueda.
- Nunca recuperar nada (borradores detrás de la autenticación, exportaciones): robots.txt No permitir. Funciona cuando nada más los vincula.
- URL ya indexadas que deben eliminarse: permitir el rastreo para que se lea el noindex; Luego, la desindexación lleva días, de forma silenciosa.
- Contenido privado o robado que debe desaparecer ahora: es una solicitud de eliminación manejada por el motor de búsqueda, no una regla de robots.
Las escopetas
- Un Disallow que no coincide con nada: /search/ gobierna contra las URL que se encuentran en /en/search/. Pruebe la regla con una URL REAL, una vez.
- Las páginas bloqueadas todavía tienen nombres en el mapa del sitio: el mapa del sitio dice ir a buscar, Disallow dice no hacerlo; está presentando pruebas contradictorias.
- Una metaetiqueta que la CDN o el prerenderizador eliminaron: verifique la URL de SALIDA, no su archivo fuente.
Un hábito detecta los tres: en Search Console, ejecute la inspección de URL en la URL de producción real y lea ambas mitades: lo que obtuvo la búsqueda y lo que contiene el índice.