Cloudflare memperkenalkan pengaturan Disallow AI Training yang memungkinkan pemilik situs tetap mengizinkan trafik pencarian, tetapi menolak penggunaan konten untuk melatih model AI. Pengumuman ini menjawab dilema yang selama ini dihadapi penerbit kecil dan besar: membuka akses ke crawler agar tetap mudah ditemukan, atau menutupnya karena tidak ingin karya mereka diserap tanpa kompensasi dan kontrol yang jelas.
Pengaturan tersebut diumumkan Cloudflare pada 15 September 2026 sebagai bagian dari perubahan pada Bot Management dan AI Crawl Control. Menurut perusahaan, masalahnya muncul karena sejumlah crawler dipakai untuk lebih dari satu tujuan. Crawler yang sama bisa membantu mesin pencari menemukan halaman, tetapi juga dikaitkan dengan pengumpulan data untuk training. Jika pemilik situs hanya memakai robots.txt untuk melarang training, aturan itu tidak selalu cukup untuk membedakan fungsi crawler di lapangan.
Cloudflare ingin membuat pembedaan itu lebih tegas. Di dashboard-nya, pemilik situs dapat memilih apakah trafik AI tertentu boleh lewat, harus diblokir, atau tetap dapat mengakses konten dengan model komersial. Untuk opsi Disallow AI Training, targetnya bukan menghilangkan situs dari pencarian, melainkan menolak kategori penggunaan yang dianggap berbeda dari indeksasi dan penemuan halaman.
Ini bukan berarti pengaturan tersebut bisa menghentikan setiap bot secara ajaib. Cloudflare sendiri menjelaskan bahwa sinyal preferensi hanya efektif jika crawler mematuhinya. Operator yang sengaja menyamarkan identitas atau mengabaikan aturan tetap membutuhkan pengendalian di lapisan jaringan, seperti Bot Management atau aturan blokir. Perbedaan antara menyatakan preferensi dan benar-benar menegakkan akses menjadi bagian penting dari desain ini.
Cloudflare juga mengubah cara mengelompokkan bot. Perusahaan memperkenalkan kategori Training, Search, dan Agent untuk membantu pemilik situs membaca tujuan trafik dengan lebih spesifik. Pada halaman yang menampilkan iklan, domain baru di Cloudflare akan memakai pengaturan awal yang memblokir Training dan Agent, sementara Search tetap diizinkan, menurut pengumuman perusahaan. Pemilik domain lama tetap perlu memeriksa konfigurasi mereka sendiri karena aturan yang sudah dipilih dapat memengaruhi hasil akhir.
Ada konsekuensi yang perlu diperhatikan. Crawler campuran—yang melakukan pencarian sekaligus aktivitas lain—dapat diperlakukan berdasarkan aturan paling ketat yang berlaku. Cloudflare menyebut Googlebot, Applebot, dan BingBot sebagai contoh crawler yang bisa ikut terdampak bila pemilik situs memilih memblokir perilaku Training. Jadi, label “Search diizinkan” tidak otomatis berarti semua crawler yang punya fungsi pencarian akan selalu lolos. Identitas, kategori perilaku, dan konfigurasi akun tetap menentukan.
Perubahan ini juga menunjukkan bahwa robots.txt tidak lagi dianggap cukup untuk seluruh persoalan AI. File tersebut berguna sebagai bahasa preferensi yang sederhana, tetapi tidak dapat memverifikasi siapa yang datang, untuk tujuan apa data digunakan, atau apakah crawler benar-benar mengikuti aturan. Cloudflare mencoba menambahkan lapisan identitas dan penegakan di jaringan, meski efektivitas akhirnya tetap bergantung pada kerja sama operator bot dan kemampuan pemilik situs mengatur akses.
Langkah ini berkaitan dengan eksperimen Cloudflare sebelumnya. Pada 2025, perusahaan memperkenalkan Pay per Crawl sebagai cara bagi pemilik konten untuk mengenakan biaya kepada crawler AI melalui respons HTTP 402 dan mekanisme pembayaran. Pada Juli 2026, Cloudflare kembali mendorong gagasan Pay Per Use: kompensasi sebaiknya mengikuti nilai ketika konten muncul dalam jawaban atau hasil pencarian, bukan hanya jumlah permintaan crawl. Disallow AI Training berada di sisi lain dari spektrum itu. Pemilik situs tidak harus memilih antara membuka semua akses dan menutup seluruh pintu; mereka dapat menentukan penggunaan yang diterima.
Bagi penerbit, kontrol semacam ini penting karena trafik pencarian dan training AI menghasilkan hubungan ekonomi yang berbeda. Pencarian tradisional masih berpotensi mengirim pembaca kembali ke artikel. Sistem AI dapat merangkum jawaban di tempat lain dan mengurangi kebutuhan untuk membuka halaman sumber. Dari sudut pandang pemilik situs, masalahnya bukan semata-mata apakah bot datang, tetapi apa yang terjadi setelah konten diambil dan apakah ada nilai yang kembali.
Namun, pemisahan teknis tidak menyelesaikan seluruh perdebatan. Pemilik situs tetap perlu menentukan lisensi, harga, akses untuk riset, dan perlakuan terhadap arsip publik. Platform AI juga perlu memberi identitas yang dapat diperiksa serta menjelaskan cara data digunakan. Jika kategori bot berubah terlalu cepat atau tidak transparan, pemilik situs akan sulit membuat kebijakan yang konsisten.
Untuk pembaca biasa, dampaknya mungkin tidak terlihat langsung. Situs favorit masih dapat muncul di mesin pencari, tetapi sebagian crawler lain bisa menerima penolakan atau respons berbeda. Untuk pengelola web, perubahan ini menandai pergeseran dari aturan “boleh atau tidak boleh dicrawl” menuju kebijakan yang membedakan tujuan akses. Web tidak lagi hanya berdebat tentang pintu depan yang terbuka. Ia mulai merancang jenis tamu yang boleh masuk, untuk berapa lama, dan dengan syarat apa.
Sumber utama: - Cloudflare, “Have it both ways: stay discoverable in search while disallowing AI training” (15 September 2026): https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
Sumber tambahan: - Cloudflare, “Your site, your rules: new AI traffic options for all customers” (1 Juli 2026): https://blog.cloudflare.com/content-independence-day-ai-options/ - Cloudflare, “Making AI search smarter” (1 Juli 2026): https://blog.cloudflare.com/making-ai-search-smarter/ - Cloudflare, “Introducing pay per crawl” (1 Juli 2025): https://blog.cloudflare.com/introducing-pay-per-crawl/