Cloudflare Menilai Kepercayaan Bot dari Perilakunya, Bukan Identitas Saja

Cloudflare sedang mengubah cara menilai bot yang mengaku sebagai pengunjung tepercaya. Dalam tulisan yang diterbitkan 16 Oktober 2026, perusahaan itu memperkenalkan sistem yang mengamati perilaku Verified Bot dari waktu ke waktu—bukan hanya memeriksa identitasnya sekali lalu memasukkannya ke daftar izin.

Gagasan dasarnya sederhana: bot bisa jujur tentang siapa pengelolanya, tetapi tetap berperilaku buruk setelah mendapatkan akses. Ia dapat mengabaikan robots.txt, terus mengirim permintaan setelah menerima sinyal untuk memperlambat laju, atau salah konfigurasi sehingga membebani origin. Karena itu, Cloudflare ingin memisahkan dua pertanyaan yang selama ini sering dicampur: apakah bot benar-benar bot yang ia klaim, dan apakah perilakunya layak dipercaya.

Identitas bukan tiket bebas

Dalam dokumentasi Cloudflare, Verified Bot perlu memenuhi dua standar. Bot harus mengidentifikasi diri secara jujur, misalnya melalui tanda tangan kriptografis Web Bot Auth, daftar IP yang dipublikasikan, user-agent yang stabil, atau reverse DNS. Ia juga harus menunjukkan perilaku non-abusif: mengikuti robots.txt dan arahan crawl, menjaga laju permintaan tetap masuk akal, serta tidak mencoba menghindari preferensi pemilik situs.

Web Bot Auth menangani bagian identitas dengan menandatangani pesan HTTP sehingga permintaan dapat dikaitkan dengan bot tertentu. BotBase kemudian berfungsi sebagai direktori untuk mencatat bot dan agen yang diketahui, termasuk perilaku dan cara operasinya. Cloudflare membedakan bot yang dioperasikan langsung oleh satu pihak dengan layanan perantara yang dapat dipakai banyak pengguna. Pembedaan itu penting karena kepercayaan kepada operator tidak selalu sama dengan kepercayaan kepada setiap orang yang mengendalikan layanan tersebut.

Perubahan terbaru berada di lapisan setelah identitas. Cloudflare mengatakan sistem barunya akan mengamati apakah bot mematuhi preferensi situs secara konsisten. Hasil pengamatan itu akan dirangkum sebagai trust band—rentang yang menjelaskan seberapa sering bot mengikuti aturan dan perilaku apa yang memengaruhi penilaiannya. Perusahaan menyebut skor tersebut akan dibuat dapat dijelaskan, bukan sekadar angka tanpa alasan.

Dua sinyal awal: robots.txt dan HTTP 429

Sinyal pertama yang dipantau adalah robots.txt. File ini tetap menjadi cara utama pemilik situs menyampaikan bagian mana yang boleh atau tidak boleh diakses crawler. RFC 9309 mendefinisikan aturan Robots Exclusion Protocol dan menjelaskan bahwa crawler diminta mengikuti aturan yang bisa dibaca dari /robots.txt. Namun, standar itu juga menegaskan bahwa robots.txt bukan mekanisme otorisasi atau pengamanan akses.

Bagi Cloudflare, kepatuhan bukan berarti satu pelanggaran kecil langsung menghapus status Verified. Sistemnya mencoba mencari pola berulang yang menunjukkan bot mengabaikan preferensi situs. Perusahaan juga menekankan bahwa tidak adanya larangan eksplisit bukan otomatis berarti semua tindakan diperbolehkan. Jika pemilik situs menyampaikan bahwa akses lanjutan tidak diinginkan melalui sinyal lain, bot tetap diharapkan merespons secara wajar.

Sinyal kedua adalah HTTP 429, yaitu respons “Too Many Requests”. Status ini biasanya berarti pengunjung perlu mengurangi laju permintaan, berhenti sementara, atau menunggu durasi tertentu sebelum mencoba lagi. Cloudflare akan melihat apakah bot memperlambat atau menghentikan permintaannya setelah menerima 429. Bot yang konsisten menyesuaikan diri akan meningkatkan kepercayaan; bot yang terus mengirim pada laju yang sama akan menurunkannya.

Di sinilah sistem tersebut berbeda dari pemeriksaan satu kali. Sebuah crawler mungkin terlihat normal ketika pertama kali diverifikasi, lalu berubah setelah skala operasinya meningkat. Penilaian berkelanjutan memberi ruang untuk menangkap perubahan itu tanpa berpura-pura bahwa reputasi adalah sesuatu yang permanen.

Belum menjadi fitur yang langsung tersedia untuk semua pelanggan

Cloudflare mengatakan sistem ini masih dipakai secara internal untuk membangun riwayat perilaku dan menyempurnakan cara pengamatan diterjemahkan menjadi panduan. Perusahaan berencana membuatnya tersedia untuk seluruh pelanggan. Nantinya, pemilik situs disebut dapat memilih ambang kepercayaan yang menentukan bagaimana trafik Verified Bot diperlakukan.

Artinya, pengumuman ini belum sama dengan tombol baru yang langsung bisa dipakai semua operator situs. Detail seperti bentuk trust band, periode pengamatan, cara menangani perubahan perilaku, dan jalur banding masih menentukan apakah sistem tersebut berguna di lapangan. Skor yang sulit dijelaskan dapat menciptakan masalah baru jika sebuah bot diturunkan statusnya tanpa bukti yang bisa diperiksa.

Cloudflare sudah punya bagian lain dari rantai akuntabilitas ini. Bot Preference Sync membantu menyelaraskan preferensi situs dengan kebijakan trafik untuk kategori Search, Agent, dan Training. Bot Management memberi pemilik situs tempat untuk menentukan tindakan terhadap trafik tersebut. Sistem penilaian baru mencoba menghubungkan keduanya: preferensi dipublikasikan, perilaku diamati, lalu hasilnya dipakai untuk membuat keputusan trafik yang lebih kontekstual.

Mengapa ini penting untuk web yang makin otomatis

Perdebatan tentang bot biasanya berhenti pada pertanyaan “boleh crawl atau tidak”. Masalahnya menjadi lebih rumit ketika bot dipakai untuk pencarian, pelatihan model, riset, pemantauan, transaksi, dan agen yang bekerja atas nama manusia. Semua aktivitas itu dapat memakai jalur HTTP yang sama, tetapi dampaknya bagi pemilik situs berbeda.

Cloudflare sebelumnya menggambarkan trafik internet sebagai campuran manusia, bot, dan sesi hibrida yang bisa berpindah dari tindakan pengguna ke tindakan agen. Dalam situasi seperti ini, identitas membantu pemilik situs memahami siapa yang datang, tetapi perilaku membantu menjawab apakah akses tersebut perlu dipertahankan. Bot yang menyebut dirinya sebagai layanan pencarian tetap perlu menghormati batas laju dan preferensi konten. Agen yang sah tetap tidak boleh menganggap izin satu kali sebagai hak untuk melakukan apa pun.

Bagi penerbit dan pemilik situs, pendekatan ini juga menunjukkan batas robots.txt. File itu penting sebagai bahasa preferensi, tetapi tidak dapat memverifikasi identitas crawler, memaksa kepatuhan, atau menjelaskan apakah sebuah bot mengubah perilakunya setelah menerima penolakan. Di sisi lain, bagi operator bot, status Verified mulai terlihat seperti tanggung jawab yang harus dipelihara, bukan lencana yang cukup diperoleh sekali.

Cloudflare belum menjanjikan bahwa sistem ini akan menghapus semua penyalahgunaan atau false positive. Itu memang bukan hasil yang bisa disimpulkan dari pengumuman tersebut. Nilai utamanya justru terletak pada perubahan model mental: kepercayaan terhadap otomatisasi harus dibangun dari bukti perilaku yang konsisten. Jika rencana ini dijalankan dengan data yang transparan dan ambang yang dapat dipahami, pemilik situs punya alasan yang lebih baik untuk membedakan bot yang berguna dari bot yang hanya terlihat rapi di permukaan.

Sumber - Cloudflare, “Continuous accountability for Verified bots” (16 Oktober 2026): https://blog.cloudflare.com/verified-bots-accountability/

Sumber tambahan: - Cloudflare, “Unveiling good and bad behaviors on the Agentic Internet” (7 Agustus 2026): https://blog.cloudflare.com/good-and-bad-agentic-behaviors/ - Cloudflare Docs, “Verified bots” (diperbarui 8 Oktober 2026): https://developers.cloudflare.com/bots/concepts/bot/verified-bots/ - Cloudflare Docs, “Web Bot Auth” (diperbarui 8 Oktober 2026): https://developers.cloudflare.com/bots/reference/bot-verification/web-bot-auth/ - IETF, RFC 9309, “Robots Exclusion Protocol” (September 2022): https://www.rfc-editor.org/rfc/rfc9309.html