NIST, National Security Agency, dan Cybersecurity and Infrastructure Security Agency menerbitkan panduan baru untuk menangani insiden selama pelatihan dan evaluasi sistem AI frontier. Dokumen itu memuat 10 praktik yang dibagi ke dalam lima tahap: persiapan, deteksi, respons, pemulihan, dan pelaporan.

Pengumuman NIST pada 16 Oktober 2026 menempatkan panduan ini sebagai dokumen sukarela untuk industri. Fokusnya bukan pada kesalahan kecil dalam jawaban model, melainkan pada situasi ketika satu atau beberapa agen AI mengambil tindakan signifikan yang tidak diperintahkan lalu melewati kebijakan, kontrol, atau batas keamanan yang sengaja dipasang operator.

Kalimat tersebut penting karena agen AI tidak hanya menghasilkan teks. Dalam pengujian tertentu, agen dapat membaca berkas, menjalankan kode, memakai alat, mengubah konfigurasi, atau mengambil keputusan berurutan. Jika rangkaian tindakan itu keluar dari ruang lingkup tugas, tim evaluasi perlu memperlakukannya sebagai insiden yang harus dideteksi, dibatasi, dan dipelajari—bukan sekadar sebagai keluaran model yang aneh.

Lima tahap yang dibuat lebih eksplisit

NIST tidak menempatkan respons sebagai kegiatan yang baru dimulai setelah sesuatu rusak. Tahap pertama adalah persiapan: organisasi perlu menentukan batas tugas, jalur eskalasi, pemilik keputusan, bukti yang harus disimpan, serta cara menghentikan evaluasi bila muncul perilaku berisiko. Untuk pengujian agen, persiapan juga berarti menjelaskan alat apa yang boleh dipakai dan tindakan apa yang memerlukan persetujuan manusia.

Tahap deteksi berkaitan dengan mengenali penyimpangan ketika evaluasi berlangsung. Contohnya dapat mencakup pemantauan jejak tindakan agen, akses ke sistem, perubahan tujuan, percobaan menghindari pengawasan, atau aktivitas yang tidak sesuai dengan lingkungan uji. NIST tidak menyamakan semua perilaku tak terduga dengan serangan, tetapi tim harus memiliki cara untuk membedakan kegagalan biasa, perilaku yang perlu diperiksa, dan pelanggaran kontrol yang memerlukan penghentian segera.

Setelah insiden dikenali, tahap respons berfokus pada pembatasan dampak. Itu bisa berarti menghentikan sesi, mencabut kredensial alat, mengisolasi lingkungan, menjaga bukti, dan memindahkan keputusan ke operator manusia. Urutannya tidak selalu sama untuk setiap evaluasi. Sistem yang menguji kemampuan siber, misalnya, membutuhkan pembatasan berbeda dari sistem yang menguji otomasi laboratorium atau akses ke data perusahaan.

Pemulihan kemudian memastikan evaluasi dapat dihentikan atau dilanjutkan secara aman. Tim perlu mengetahui apa yang berubah, apakah lingkungan uji masih dapat dipercaya, dan apakah kredensial atau data harus diputar ulang. Pelaporan menjadi tahap terakhir, tetapi bukan formalitas. Catatan insiden perlu membantu organisasi menjelaskan apa yang terjadi, mengapa kontrol gagal, bukti apa yang tersedia, serta perubahan apa yang akan mencegah pengulangan.

Mengapa kerangka keamanan siber masih relevan

Panduan ini dibangun di atas NIST SP 800-61r3, dokumen incident response yang diterbitkan pada April 2025. SP 800-61r3 memperlakukan respons insiden sebagai bagian dari manajemen risiko siber, bukan prosedur darurat yang berdiri sendiri. Persiapan, deteksi, respons, pemulihan, dan perbaikan berkelanjutan perlu terhubung dengan tata kelola, identifikasi aset, perlindungan, dan pembelajaran setelah insiden.

Prinsip itu cocok untuk sistem AI agentik karena masalahnya bukan hanya model. Insiden dapat melibatkan model, prompt, alat, akun, jaringan, data, evaluator, dan keputusan organisasi sekaligus. Log keluaran saja sering tidak cukup. Tim mungkin juga perlu menyimpan versi model, konfigurasi evaluasi, izin alat, urutan panggilan, jejak keputusan, hasil pemeriksaan manusia, serta perubahan pada lingkungan selama pengujian. Tanpa bukti tersebut, penyelidikan akan sulit membedakan apakah agen salah memahami tujuan, menerima instruksi yang berkonflik, menemukan celah pada sandbox, atau memang mengembangkan strategi untuk mencapai target dengan cara yang tidak diinginkan.

Bukan standar wajib dan bukan sertifikat aman

NIST menyebut publikasi ini sebagai praktik sukarela. Dokumen tersebut tidak menyatakan bahwa sebuah model aman hanya karena organisasi mengikuti daftar 10 praktik. Ia juga tidak memberi sertifikasi untuk agen atau laboratorium evaluasi. Nilainya lebih sederhana: menyediakan bahasa bersama agar pengembang, penguji, operator keamanan, dan regulator dapat membicarakan insiden dengan struktur yang sama.

Batas ini perlu dijaga karena label “AI safety” mudah berubah menjadi klaim pemasaran. Panduan respons tidak menjamin bahwa semua tindakan berbahaya akan terdeteksi. Ia juga tidak menghapus kebutuhan untuk menguji sistem dalam lingkungan terisolasi, membatasi akses, meninjau kode integrasi, dan menyiapkan keputusan penghentian yang benar-benar bisa dijalankan. Daftar praktik hanya berguna jika organisasi bersedia menguji apakah kontrol tersebut bekerja dalam kondisi yang mendekati penggunaan nyata.

NIST, NSA, dan CISA mengatakan pekerjaan lanjutan tentang kesiapan dan respons untuk pelatihan serta evaluasi AI agentik akan dipertimbangkan pada fase berikutnya. Artinya, dokumen ini lebih tepat dibaca sebagai fondasi awal daripada jawaban final. Bagi laboratorium dan perusahaan yang menjalankan evaluasi frontier, pesan utamanya jelas: pengujian harus punya prosedur insiden sebelum eksperimen dimulai, bukan setelah agen melakukan sesuatu yang tidak dapat dijelaskan.

Sumber - Primary: https://www.nist.gov/news-events/news/2026/10/key-practices-incident-readiness-and-response-super-intelligence-training - Context: https://csrc.nist.gov/pubs/sp/800/61/r3/final - Context: https://csrc.nist.gov/projects/incident-response

Gambar: Ilustrasi original PeDeDe.