GitHub membuka fitur computer use dalam public preview untuk GitHub Copilot CLI dan aplikasi Copilot di macOS serta Windows pada 1 Oktober 2026. Dengan fitur ini, Copilot dapat berinteraksi dengan aplikasi desktop atas nama pengguna: membaca konten yang bisa diakses, memahami konteks visual, mengeklik kontrol, memasukkan atau mengubah teks, menekan tombol, menggulir, menyeret elemen, dan mengikuti alur kerja lintas aplikasi.

Perubahan ini memperluas wilayah kerja Copilot. Sebelumnya, agent coding terutama beroperasi di repositori, terminal, editor, atau layanan yang menyediakan API. Computer use ditujukan untuk pekerjaan yang berada di aplikasi lama atau perangkat lunak dengan antarmuka grafis tetapi tidak memiliki API, command-line interface, atau integrasi MCP yang bisa dipakai agent.

Dari kode ke aplikasi yang hanya punya tombol

GitHub memberi contoh alur laporan pengeluaran yang dijalankan melalui Safari. Contoh tersebut menunjukkan jenis pekerjaan yang ingin ditangani fitur ini: membaca informasi dari satu aplikasi, memindahkan data ke aplikasi lain, dan mengikuti urutan tindakan yang biasanya dilakukan manusia melalui layar. Pengguna juga dapat meminta Copilot merangkum notifikasi di browser, memperbarui isi presentasi, atau memindahkan informasi melalui workflow dalam aplikasi desktop.

Kemampuan itu terdengar sederhana karena manusia sudah lama mengerjakan tugas tersebut dengan mouse dan keyboard. Bagi agent AI, perpindahan dari API ke antarmuka visual adalah perubahan teknis yang penting. Agent tidak hanya perlu memahami teks instruksi, tetapi juga harus menemukan kontrol yang tepat, menjaga urutan tindakan, dan membaca keadaan aplikasi setelah setiap langkah. Kesalahan memilih tombol dapat mengubah data, mengirim pesan, atau menjalankan proses yang tidak dimaksudkan.

Computer use juga mengisi celah yang selama ini membuat otomatisasi berbasis agent tidak merata. Sistem internal perusahaan sering berjalan di aplikasi desktop, software lawas, portal vendor, atau perangkat lunak khusus yang tidak dirancang untuk integrasi modern. Selama aplikasi itu bisa dipahami lewat aksesibilitas atau konteks visual, Copilot berpotensi membantu mengerjakan bagian yang sebelumnya harus dilakukan sepenuhnya secara manual.

Persetujuan tetap berada di tengah alur

GitHub mengatakan Copilot meminta persetujuan sebelum mengendalikan aplikasi. Pengguna dapat meninjau atau mengatur ulang aplikasi yang sebelumnya sudah diberi izin selalu. Pada macOS, pengaturan computer use juga memandu pengguna untuk memberikan izin Accessibility dan Screen Recording yang diperlukan sistem operasi. Administrator organisasi dapat menonaktifkan fitur tersebut melalui pengaturan yang dikelola organisasi.

Rangkaian kontrol ini bukan detail tambahan. Computer use memiliki permukaan risiko yang berbeda dari agent yang hanya mengusulkan perubahan kode. Agent yang dapat melihat layar mungkin menemukan data sensitif. Agent yang dapat mengeklik dan mengetik dapat melakukan tindakan yang punya konsekuensi langsung. Karena itu, keputusan desain GitHub untuk mempertahankan persetujuan dan izin aplikasi menjadi bagian dari produk, bukan sekadar langkah konfigurasi.

Namun persetujuan pengguna tidak otomatis menyelesaikan semua risiko. Pengguna tetap perlu memperhatikan aplikasi yang sedang dikendalikan, data yang terlihat di layar, dan tindakan yang diminta agent. Izin Screen Recording, misalnya, dapat memberi akses terhadap konteks visual yang lebih luas daripada satu dokumen atau jendela. Dalam lingkungan perusahaan, kebijakan organisasi dan pembatasan akun perlu berjalan bersama fitur ini.

Cara mengaktifkan

Di Copilot CLI, computer use dapat diaktifkan dengan perintah /computer on. Statusnya bisa diperiksa menggunakan /computer show dan dimatikan dengan /computer off. Di aplikasi GitHub Copilot, pengguna dapat membuka Settings, memilih Computer Use, lalu menyalakan Enable Computer Use. Perintah /computer on juga tersedia di aplikasi tersebut.

GitHub menyarankan pengguna menjelaskan hasil yang diinginkan, aplikasi yang terlibat, serta batasan penting dalam prompt. Instruksi yang menyebutkan tujuan dan ruang lingkup secara jelas akan membantu agent memahami apakah ia hanya perlu membaca informasi, mengisi formulir, atau menjalankan workflow sampai tahap tertentu. Untuk tindakan yang mengirim, menghapus, atau mengubah data, batas akhir yang eksplisit tetap lebih aman daripada memberi perintah umum seperti “urus semuanya”.

Agent mulai meninggalkan terminal

Peluncuran ini sejalan dengan perubahan lain di Copilot. Pada hari yang sama, GitHub juga mengumumkan dynamic workflows di Copilot CLI, aplikasi Copilot, dan Copilot SDK. Dynamic workflows memungkinkan proses ditentukan dalam kode, menjalankan tahap secara berurutan atau paralel, meneruskan hasil terstruktur, memakai beberapa agent, serta berhenti di checkpoint untuk ditinjau. Computer use menambah kemampuan bertindak di permukaan aplikasi; dynamic workflows menambah struktur pada cara pekerjaan itu diatur.

Keduanya belum menghapus kebutuhan akan pemeriksaan manusia. Computer use masih berada dalam public preview dan bergantung pada izin sistem operasi, dukungan aplikasi, serta kemampuan agent membaca konteks yang berubah. Workflow yang berjalan di banyak tahap juga perlu memiliki checkpoint, log, dan batas tindakan yang jelas. Agent yang bisa mengoperasikan lebih banyak aplikasi bukan berarti agent tersebut memahami tujuan bisnis dengan sempurna.

Bagi pengembang individual, computer use mungkin berguna untuk tugas administratif dan software yang sulit diintegrasikan. Bagi organisasi, pertanyaan utamanya lebih besar: aplikasi mana yang boleh dikendalikan, data apa yang boleh terlihat, tindakan apa yang wajib meminta persetujuan, dan bagaimana aktivitas agent diaudit. Jawabannya akan menentukan apakah fitur ini menjadi penghemat waktu atau justru menambah jalur baru untuk kesalahan operasional.

Untuk saat ini, GitHub menempatkan computer use sebagai kemampuan eksperimental yang bisa menjembatani agent AI dengan dunia aplikasi desktop. Nilai praktisnya akan terlihat bukan dari demo yang berhasil sekali, melainkan dari seberapa baik pengguna dapat membatasi izin, meninjau tindakan, dan memulihkan keadaan ketika agent salah membaca layar atau mengikuti langkah yang keliru.

Sumber - GitHub Changelog, “GitHub Copilot can now interact with desktop apps with computer use” (1 Oktober 2026): https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps/

Sumber tambahan: - GitHub Changelog, “Dynamic workflows in Copilot CLI and the Copilot app” (1 Oktober 2026): https://github.blog/changelog/2026-10-01-dynamic-workflows-in-copilot-cli-and-the-copilot-app/ - GitHub Changelog, “GitHub Copilot app generally available” (17 Juni 2026): https://github.blog/changelog/2026-06-17-github-copilot-app-generally-available/