OpenAI Uji AI untuk Kode COBOL, Fortran, dan Bahasa Lama

OpenAI memperkenalkan dua evaluasi untuk mengukur kemampuan model AI bekerja dengan bahasa pemrograman yang jarang dipakai dalam data pelatihan, tetapi masih menopang sistem penting. Fokusnya bukan sekadar membuat potongan kode baru, melainkan membangun perangkat lunak dari nol dan memigrasikan program lama tanpa mengubah perilaku yang diharapkan.

Dalam tulisan riset yang terbit pada 19 Oktober 2026, OpenAI menyebut bahasa seperti COBOL, Fortran, dan Visual Basic sebagai bahasa dengan lebih sedikit kode serta dokumentasi dibanding Python atau JavaScript. Masalahnya, bahasa-bahasa itu masih muncul di layanan penting. OpenAI mengutip data IBM yang menyebut COBOL mendukung lebih dari 40 persen sistem perbankan online, 80 persen transaksi kartu kredit tatap muka, dan 95 persen transaksi ATM. Fortran, menurut rujukan yang disertakan OpenAI, dipakai dalam prakiraan cuaca dan analisis keselamatan reaktor nuklir.

Menguji pembuatan SQLite dalam 20 bahasa

Evaluasi pertama bernama MultiLangBench. Model diminta membangun mesin basis data yang kompatibel dengan SQLite dari nol dalam bahasa pemrograman tertentu. Program menerima berkas basis data dan kueri SQL, lalu menghasilkan berkas basis data yang sudah diubah. Hasilnya dibandingkan dengan implementasi SQLite rujukan melalui kueri validasi.

Desain ini membuat pengujian dapat memakai antarmuka yang sama di banyak bahasa. OpenAI mengadaptasi pengujian dari test suite SQLite dan merilis setup serta test suite MultiLangBench di GitHub. Repositorinya menjelaskan bahwa sekitar 24 ribu dari 51 ribu pengujian SQLite berhasil diubah ke format evaluasi tersebut. Untuk pengujian yang lebih hemat, repo menyediakan 272 test awal, sementara seluruh suite dapat dipakai jika dibutuhkan presisi lebih tinggi.

Menurut hasil yang dipublikasikan OpenAI, GPT-6 Astra mencapai rata-rata test pass rate 87,4 persen di 20 bahasa pada tingkat reasoning maksimum. Angka pembanding GPT-5.6 Sol adalah 26,8 persen. Peningkatan muncul di semua bahasa yang diuji. Pada COBOL, misalnya, skor naik dari 10,9 persen menjadi 72,1 persen. Fortran naik dari 21,4 persen menjadi 83,5 persen, sementara Visual Basic naik dari 27,5 persen menjadi 89,4 persen. Astra mencatat skor di atas 83 persen pada 19 dari 20 bahasa; COBOL tetap menjadi bahasa paling sulit dengan skor 72 persen.

OpenAI juga menguji GPT-6 Luna sebagai opsi yang lebih murah. Model itu mencapai rata-rata 40,3 persen dan diperkirakan berbiaya 0,77 dolar per sampel, dibanding 3,48 dolar untuk GPT-5.6 Sol. OpenAI menyebut biaya tersebut sekitar 78 persen lebih rendah, tetapi hasil Luna tetap berada cukup jauh di bawah Astra dalam evaluasi ini.

Migrasi COBOL tidak cukup hanya bisa berjalan

Evaluasi kedua menguji migrasi program COBOL ke C++, Java, Kotlin, Python, atau Rust. Tantangan utamanya adalah mempertahankan perilaku, bukan hanya menghasilkan program baru yang dapat dikompilasi. Program COBOL untuk transaksi dan pencatatan bisnis sering menyimpan aturan yang tidak tertulis di dokumentasi. Detail seperti pembulatan, penanganan catatan yang tidak ditemukan, dan aturan aritmetika dapat menjadi bagian dari kebutuhan bisnis.

OpenAI memberi contoh aritmetika fixed-point pada COBOL. Digit desimal berlebih dapat dibuang kecuali pembulatan diminta secara eksplisit. Jika hasil migrasi melakukan pembulatan secara otomatis, program mungkin tetap berjalan tanpa error, tetapi menghasilkan angka finansial yang berbeda. Karena itu, evaluasi memakai hidden test dan mensyaratkan kesamaan byte-per-byte pada keluaran yang dapat diamati. Migrasi dianggap berhasil hanya jika seluruh pengujian lulus.

Pada evaluasi tersebut, GPT-6.1 Sol mencapai akurasi 86,6 persen pada tingkat reasoning rendah, dibanding 5,4 persen untuk GPT-5.6 Sol. OpenAI menyebut GPT-6.1 Sol mencapai hasil itu dengan 61 persen dari biaya API pembanding. Pada tingkat reasoning lebih tinggi, akurasinya naik menjadi 97,9 persen.

Angka benchmark belum sama dengan migrasi produksi

Hasil ini menarik karena menggeser pembicaraan tentang coding AI dari bahasa yang paling populer ke sistem yang paling sulit diganti. Namun benchmark tetap bukan pengganti proses migrasi sungguhan. Repositori OpenAI sendiri menekankan bahwa MultiLangBench mengukur test pass rate dan biaya API dalam lingkungan terkontrol, termasuk tanpa akses internet.

Migrasi COBOL di dunia nyata juga bergantung pada dependensi lama, aturan bisnis, format data, perangkat lunak pendukung, dan pengujian yang mungkin belum terdokumentasi. OpenAI menyebut hasil evaluasinya sebagai kemajuan untuk membantu tim memelihara dan memodernisasi sistem lama, bukan izin untuk memindahkan sistem produksi tanpa pemeriksaan ahli.

Nilai praktis dari rilis ini ada pada dua hal. Pertama, MultiLangBench memberi cara yang lebih konkret untuk menguji apakah model benar-benar bisa bekerja lintas bahasa, bukan hanya menyelesaikan contoh kecil. Kedua, evaluasi migrasi COBOL menempatkan kesetiaan terhadap perilaku sebagai syarat utama. Untuk sistem yang mengatur transaksi, jadwal, atau catatan penting, kode yang terlihat lebih modern tidak otomatis lebih benar.

AI yang lebih mampu memahami bahasa lama dapat membantu mempersempit jarak antara perangkat lunak yang masih dipakai dan talenta yang tersedia saat ini. Tetapi keputusan akhirnya tetap perlu bertumpu pada pengujian, audit aturan bisnis, dan kemampuan manusia untuk menjelaskan mengapa sebuah perubahan aman.