robots.txt memutuskan siapa yang boleh merayapi. Meta noindex memutuskan siapa yang boleh mengindeks. Larang URL yang saat ini menyajikan noindex dan crawler mungkin tidak akan pernah kembali untuk melihat noindex tersebut: halaman dapat berada di indeks tanpa batas waktu karena data basi.

Empat kasus yang perlu diketahui

  • Halaman murah yang boleh dirangkak tapi tidak boleh diindeks: izinkan crawling, layankan <meta name="robots" content="noindex">. Ini kasus halaman pencarian.
  • Jangan pernah mengambil sama sekali (draf di belakang autentikasi, ekspor): robots.txt Larang. Berfungsi ketika tidak ada tautan lain ke sana.
  • URL yang sudah diindeks dan harus dibuka: izinkan perayapan agar noindex terbaca; penghapusan pengindeksan kemudian membutuhkan waktu berhari-hari, secara diam-diam.
  • Konten pribadi atau curian yang harus dihilangkan sekarang: permintaan penghapusan ditangani oleh mesin pencari, bukan aturan robot.

Senapan kaki

  1. Larangan yang tidak cocok dengan apa pun: /search/ berlaku terhadap URL yang ada di /en/search/. Uji aturan terhadap URL NYATA, sekali.
  2. Halaman yang diblokir masih diberi nama di peta situs: peta situs mengatakan ambil, Larang mengatakan jangan; Anda mengajukan bukti yang bertentangan.
  3. Tag meta yang dihapus oleh CDN atau prarender: verifikasi URL OUTPUT, bukan file sumber Anda.

Ada satu kebiasaan yang mencakup ketiganya: di Search Console, jalankan Inspeksi URL pada URL produksi sebenarnya dan baca kedua bagiannya: apa yang diambil dan apa yang disimpan indeks.