Cloudflare memangkas biaya rata-rata satu review kode berbasis AI sebesar 68 persen. Dalam tulisan teknis yang terbit pada 19 Oktober 2026, systems engineer Ryan Skidmore menjelaskan bahwa biaya review turun dari sekitar 2,43 dolar menjadi 0,77 dolar, sementara median waktu penyelesaian menyusut dari 4 menit 9 detik menjadi 1 menit 32 detik.

Hasil itu bukan datang dari satu model baru atau trik prompt singkat. Cloudflare membongkar alur reviewer internalnya, menghitung token yang benar-benar dikirim ke penyedia model, lalu mengubah cara sistem menyimpan konteks dan memilih model. Sekitar 40 persen penghematan berasal dari perubahan pada kode reviewer. Sisanya datang dari eksperimen terhadap kombinasi model dan tingkat effort yang dipakai pada setiap tahap.

Biaya membengkak karena konteks

Cloudflare sebelumnya memindahkan seluruh reviewer ke model Anthropic pada awal Agustus setelah evaluasi internal menunjukkan performa yang lebih baik untuk beban kerja tersebut. Keputusan itu menaikkan biaya per pekerjaan dari 1,38 dolar menjadi 2,03 dolar. Reviewer standar berbasis Codex, misalnya, berpindah ke Claude Opus 4.7 dan biayanya naik dari sekitar 0,25 dolar menjadi 0,88 dolar per review.

Masalahnya tidak hanya terletak pada harga model. Satu review rata-rata memicu 16,6 panggilan ke model bahasa. Dalam seluruh panggilan itu, sistem menulis sekitar 72 ribu token ke cache dan membaca kembali sekitar 1,08 juta token karena setiap panggilan membawa konteks percakapan yang terus membesar. Sebelum optimasi, output token hanya menyumbang sekitar 23 persen biaya. Cache write mengambil 43 persen, sedangkan cache read mengambil 34 persen.

Angka tersebut memperlihatkan biaya yang mudah luput ketika orang hanya membandingkan tarif input dan output. Pada sistem agen, konteks yang berulang dapat menjadi komponen terbesar. Model mungkin menghasilkan jawaban yang relatif pendek, tetapi prompt berisi definisi tool, instruksi agen, struktur repositori, hasil kerja reviewer lain, dan percakapan sebelumnya tetap harus diproses.

Prefix caching yang benar-benar dipakai

Cloudflare menemukan bahwa permintaan pertama dalam sebuah sesi hanya membaca prefix yang sudah tersimpan pada 14 sampai 26 persen sesi. Padahal setiap sesi memakai definisi tool dan instruksi agen yang sama, sekitar 11 ribu sampai 21 ribu token untuk setiap repositori. Secara teori, bagian yang stabil itu cocok dipakai ulang.

Akar masalahnya ada pada cara OpenCode v1 menyusun system prompt. Instruksi agen ditempatkan dalam satu blok bersama informasi yang berubah-ubah, seperti direktori kerja dan tanggal. Cache breakpoint hanya dibuat di ujung blok. Akibatnya, bagian yang sama antar-repositori tidak pernah disimpan sebagai prefix mandiri yang bisa dibaca sesi lain.

Pada 16 September, Cloudflare menambahkan penanda di akhir instruksi agen dan plugin yang memisahkan blok stabil dari informasi khusus repositori. Mereka juga mengeluarkan detail yang berubah-ubah dari bagian depan prompt. Daftar skill dinonaktifkan dan deskripsi tool dijaga tetap konsisten agar prefix tidak berubah tanpa alasan. Setelah perubahan itu, tingkat cache hit pada permintaan pertama naik menjadi 91 sampai 99,5 persen.

Perubahan lain memindahkan indeks referensi untuk reviewer standar ke dalam prompt. Sebelumnya, setiap sesi harus membaca beberapa berkas referensi melalui tool call pada tiga giliran awal. Setelah referensi disiapkan sejak awal, jumlah panggilan model turun dari 15,9 menjadi 9,6 per pekerjaan, sedangkan biaya reviewer itu turun dari 1,12 dolar menjadi 0,72 dolar.

Model besar tidak harus bekerja di semua tahap

Cloudflare juga mengurangi jumlah panggilan melalui perubahan desain reviewer. Dalam konfigurasi sebelumnya, koordinator mengirim pekerjaan ke beberapa reviewer spesialis dan menunggu mereka mengumpulkan temuan. Tim kemudian menggabungkan sebagian langkah, menghapus pemeriksaan yang tidak memberi informasi baru, dan mengatur ulang kapan model perlu dipanggil.

Di sisi pemilihan model, Cloudflare tidak memakai model paling mahal untuk semua tugas. Pekerjaan yang membutuhkan penalaran mendalam tetap mendapat tingkat effort tinggi, tetapi tahap yang lebih rutin dapat memakai model atau konfigurasi yang lebih ringan. Ini bukan berarti model kecil selalu cukup. Cloudflare mencatat bahwa pada tingkat effort medium, reviewer performa kehilangan sebagian temuan nyata. Reviewer keamanan juga mungkin mengalami hal serupa, sehingga pengujian berikutnya tetap diarahkan pada effort tinggi.

Reviewer versi baru, OpenCode v2, juga dibandingkan dengan versi lama dalam mode shadow pada repositori canary. Keduanya menyetujui atau menolak pull request yang sama pada 98 persen kasus yang diuji. Setelah dipindahkan sepenuhnya pada awal Oktober, review tier penuh berjalan sekitar 13 persen lebih cepat dengan model yang sama.

Pelajaran untuk tim yang membangun agen

Tulisan Cloudflare menarik bukan karena angka 68 persennya saja, melainkan karena menunjukkan lokasi biaya yang sering tersembunyi. Ketika agen memanggil model berkali-kali, optimasi paling berharga bisa berada di urutan pesan, batas cache, dan jumlah giliran—bukan pada prompt yang terdengar lebih pintar.

Cloudflare menyarankan dua pemeriksaan awal untuk tim yang menjalankan agen dalam volume tinggi. Pertama, lihat apakah permintaan pertama setiap sesi benar-benar membaca cache atau malah selalu menulis ulang prefix yang sama. Kedua, ukur apakah model dengan effort yang lebih rendah masih menemukan masalah nyata, bukan hanya menghasilkan laporan yang lebih murah.

Ada batas penting pada klaim ini. Angka tersebut berasal dari reviewer internal Cloudflare dengan pola repositori, model, dan standar kualitas milik mereka sendiri. Penghematan yang sama tidak otomatis berlaku untuk semua aplikasi. Namun pendekatannya dapat dipindahkan: ukur token yang benar-benar dipakai, pisahkan konteks stabil dari konteks dinamis, kurangi panggilan yang tidak perlu, lalu uji kualitas sebelum menyimpulkan bahwa biaya sudah turun tanpa mengorbankan hasil.