OpenAI mengumumkan bahwa mereka berencana untuk menerapkan sinyal bersama di robots.txt yang memungkinkan operator situs web mengekspresikan preferensi tentang penggunaan konten mereka untuk pelatihan AI dasar. Sinyal ini merupakan bagian dari upaya kelompok kerja IETF yang dimaksudkan untuk mengurangi kebutuhan penerbit untuk menerapkan aturan terpisah untuk setiap penyedia.
Perubahan apa yang terjadi pada pemilik situs
- OpenAI mengatakan pihaknya bertujuan untuk mengimplementasikan sinyal tersebut dalam beberapa bulan mendatang dan berencana untuk membagikan detail implementasinya nanti.
- Sinyal yang dibagikan bersifat sukarela dan tidak akan menggantikan kontrol crawler OpenAI yang sudah ada.
- Penyedia lain yang berpartisipasi didorong untuk menghormati preferensi yang sama.
Pengumuman tersebut menjelaskan perubahan yang direncanakan, bukan fitur yang sudah aktif di setiap situs. Operator situs web harus terus menggunakan kontrol perayap yang terdokumentasi dan memperhatikan panduan penerapan.
Preferensi robots.txt membantu mengkomunikasikan kebijakan kepada crawler; ini tidak menjamin bahwa setiap sistem otomatis akan mengikutinya atau memengaruhi pengindeksan pencarian biasa dengan cara yang sama.