Pemilik situs segera memiliki cara yang lebih ringkas untuk menyatakan apakah kontennya boleh dipakai melatih model AI. OpenAI dan Google mengumumkan dukungan terhadap sinyal bersama di robots.txt pada 30 Oktober 2026, sementara Microsoft juga menyiapkan penerapan untuk Bing. Gagasannya sederhana: publisher tidak perlu lagi menulis aturan terpisah untuk setiap penyedia AI.
Sinyal yang dibahas menggunakan policy token __usage_ai-training sebagai nilai User-Agent dalam kelompok robots.txt. Pemilik situs dapat memakai Disallow untuk menolak penggunaan konten dalam pelatihan, atau Allow untuk membuat pengecualian pada jalur tertentu. Contohnya, sebuah situs dapat menolak pelatihan untuk seluruh halaman tetapi tetap mengizinkan direktori press-kit.
Namun, mekanisme ini belum menjadi standar final dan belum berlaku serentak. Dasarnya adalah Internet-Draft berjudul Machine-Readable Training Preference Signal yang diajukan ke kelompok kerja AI Preferences di IETF. Dokumen itu merupakan draf individual, bukan standar yang sudah disahkan IETF. Token dan detail implementasinya masih dapat berubah dalam proses standardisasi.
Bukan tombol untuk memblokir crawler
Perbedaan paling penting ada pada arti sinyalnya. Policy token tersebut menyatakan preferensi tentang penggunaan konten untuk pelatihan model fondasi generatif. Ia tidak otomatis melarang bot mengambil halaman. Aturan crawling biasa di robots.txt tetap berjalan terpisah, begitu juga kontrol khusus seperti GPTBot milik OpenAI atau Google-Extended milik Google.
Artinya, sebuah situs dapat menyatakan “jangan pakai untuk training” tanpa otomatis menghilang dari mesin pencari. Sebaliknya, menambahkan sinyal baru ini juga tidak menjamin semua bot akan mematuhinya. robots.txt adalah mekanisme sukarela. Crawler yang sengaja mengabaikan aturan tetap membutuhkan pembatasan teknis di tingkat server, jaringan, atau kontrak.
Google menjelaskan bahwa jika publisher memakai sinyal bersama untuk opt-out dan tidak menulis aturan Google-Extended secara eksplisit, Google berencana memperlakukannya sebagai larangan bagi Google-Extended. Kontrol khusus Google-Extended tetap dapat dipakai untuk membuat pilihan yang lebih rinci. Google menargetkan dukungan pada 2027.
OpenAI menyatakan akan menghormati sinyal bersama dalam beberapa bulan mendatang. Perusahaan itu mengatakan aturan crawler yang sudah tersedia tetap berlaku dan tidak akan digantikan oleh mekanisme baru. Microsoft menetapkan jadwal lebih spesifik: Bing akan mulai menghormati preferensi tersebut ketika melakukan crawling mulai 1 Februari 2027.
Training berbeda dari grounding
Publisher juga perlu membedakan pelatihan model dari grounding. Pelatihan menggunakan data untuk memperbarui atau membentuk parameter model. Grounding memakai konten yang diambil dari web untuk membantu menghasilkan jawaban pada saat pengguna bertanya. Satu izin tidak otomatis mencakup izin lainnya.
Pengumuman Microsoft secara khusus memisahkan preferensi AI Training dan AI Grounding, termasuk kontrol pada tingkat halaman. Dengan model seperti ini, publisher dapat menolak penggunaan untuk melatih model tetapi tetap mengizinkan kontennya menjadi sumber jawaban Bing atau Copilot. Pilihan sebaliknya juga mungkin, tergantung aturan yang diterapkan.
Pemisahan tersebut penting karena kontrol yang terlalu kasar bisa memaksa publisher memilih antara perlindungan konten dan visibilitas. Menolak training tidak sama dengan meminta halaman dihapus dari pencarian. Mengizinkan grounding juga tidak menjamin sebuah artikel akan muncul dalam setiap jawaban AI atau mendatangkan trafik.
Yang perlu dilakukan publisher sekarang
Belum ada alasan untuk menghapus aturan lama dan hanya mengandalkan token baru. Selama implementasi tiap penyedia belum aktif, publisher yang ingin membatasi penggunaan AI sebaiknya tetap memakai kontrol khusus yang telah didokumentasikan masing-masing perusahaan. Sinyal bersama dapat ditambahkan sebagai persiapan, tetapi jangan dianggap sebagai pengganti pengamanan atau perjanjian lisensi.
Untuk situs berita dan dokumentasi, langkah praktisnya adalah memetakan tiga keputusan secara terpisah: apakah crawler boleh mengambil halaman, apakah konten boleh dipakai untuk training, dan apakah konten boleh dipakai sebagai sumber grounding. Menaruh semuanya di satu aturan Disallow mungkin terlihat mudah, tetapi bisa mengorbankan distribusi yang sebenarnya masih diinginkan.
PeDeDe juga perlu membaca perubahan ini dengan hati-hati. Sinyal bersama mengurangi pekerjaan administratif, tetapi tidak menyelesaikan perdebatan tentang kompensasi, hak cipta, atau penegakan. Ia memberi bahasa mesin yang lebih seragam untuk menyampaikan preferensi; ia bukan kontrak dan bukan pagar teknis.
Sumber [OpenAI — Making it easier for websites to express AI training preferences](https://openai.com/index/helping-websites-express-ai-training-preferences), [Google Search Central — Supporting a shared AI training control for websites](https://developers.google.com/search/blog/2026/10/ai-training-control), dan [Microsoft Bing — Your content, your choice](https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/). Sumber konteks: [IETF Internet-Draft — Machine-Readable Training Preference Signal](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/).