Cloudflare mengumumkan sistem untuk mengevaluasi apakah Bot Terverifikasinya terus menghormati preferensi situs web. Perusahaan membedakan identitas terverifikasi bot dari perilakunya dari waktu ke waktu.
Apa yang ingin diamati oleh sistem
- Apakah perayap mengikuti preferensi perayapan yang dinyatakan oleh situs.
- Apakah itu merespons permintaan untuk melambat, termasuk respons HTTP 429.
- Apakah observasi berulang mendukung kelompok kepercayaan yang dapat dijelaskan dibandingkan hanya mengandalkan pemeriksaan identitas satu kali saja.
Cloudflare mengatakan bot yang terverifikasi masih dapat berperilaku buruk karena bug atau kesalahan konfigurasi. Pemantauannya adalah program Cloudflare untuk bot yang terdaftar, bukan mekanisme penegakan universal untuk setiap crawler di web.
Pemilik situs harus mempublikasikan preferensi yang jelas dan memantau lalu lintas mereka sendiri. robots.txt mengkomunikasikan preferensi perayap tetapi bukan kontrol akses; sumber daya sensitif masih memerlukan otentikasi dan otorisasi.