Tim riset kecerdasan buatan di Block—perusahaan induk Square, Cash App, dan Tidal yang dipimpin Jack Dorsey—resmi memperkenalkan Dessa. Model percakapan otonom ini dirancang dengan pendekatan yang membalik pakem industri: ia dilatih dari nol (*from scratch*) murni menggunakan rekaman gelombang suara percakapan manusia, tanpa melibatkan representasi teks, tokenizer karakter, maupun model bahasa besar (*large language model*/LLM) yang sudah ada sebelumnya.

Dessa dirancang sebagai sistem *true speech-to-speech* dengan kemampuan *full-duplex*, memungkinkan kecerdasan buatan ini mendengarkan dan berbicara secara simultan layaknya dua manusia yang sedang berbincang tatap muka.

Kegagalan Saluran Suara Berbasis Teks

Sebagian besar asisten suara digital yang beredar hari ini—mulai dari generasi awal asisten ponsel cerdas hingga antarmuka suara berbasis LLM populer—masih mengandalkan arsitektur *cascade* tiga tahap. Suara pengguna pertama-tama diubah menjadi teks (*speech-to-text*), teks tersebut diproses oleh model bahasa, lalu jawaban teks dikonversi kembali menjadi audio sintesis (*text-to-speech*). Sekalipun beberapa model multimodal terbaru mulai memproses audio secara langsung, fondasi penalarannya tetap berakar kuat pada data korpus teks.

Menurut tim peneliti Block, meratakan ucapan manusia menjadi deretan karakter teks membuang porsi informasi terbesar yang dibawa oleh suara. Teks tidak mampu merekam keraguan, helaan napas, intonasi sarkastis, ritme bicara, desah tawa, maupun getaran suara yang menunjukkan kesedihan mendalam. Akibatnya, interaksi suara AI sering kali terasa kaku, lambat, dan memicu kecanggungan komunikasi.

Lebih dari sekadar persoalan estetika percakapan, Block menyoroti bahwa ketergantungan pada teks membawa risiko keselamatan (*safety problem*) yang nyata. Sebuah model yang secara mendasar tuli terhadap emosi tidak akan mengenali kepanikan atau rasa sakit akut pengguna apabila kata-kata yang diucapkan terdengar biasa saja saat diubah menjadi teks datar. Dessa dibangun untuk menutup celah tersebut dengan memproses sinyal akustik emosional secara alami sejak lapisan pertama bobot modelnya.

Melatih Percakapan Tanpa Huruf di Satu Rak GB200

Filosofi di balik proyek ini meniru cara manusia belajar berbicara pada fase awal kehidupannya. Seorang bayi mengenali bahasa, intonasi, dan maksud komunikasi murni lewat pendengaran, jauh sebelum mereka mengenal bentuk huruf atau aturan tata bahasa tertulis. Tim riset Dessa, yang dipimpin oleh Ragavan Thurairatnam dan bertanggung jawab langsung kepada Jack Dorsey, menguji apakah arsitektur *deep learning* mampu mencapai tingkat pemahaman serupa tanpa alat bantu teks.

Hasilnya, Dessa berhasil mempelajari struktur bahasa, fakta dunia, dan dinamika interaksi sosial menggunakan jumlah kata yang ratusan kali lebih sedikit dibandingkan korpus triliunan token yang ditelan model bahasa komersial. Namun, pemrosesan audio murni menuntut efisiensi komputasi yang sangat berbeda: satu kata yang diucapkan memakan ruang byte ribuan kali lebih besar daripada kata yang sama dalam bentuk string teks, dan tidak ada dua pengucapan kalimat yang memiliki bentuk gelombang identik.

Meski menghadapi tantangan data akustik yang padat, tim Block berhasil menyelesaikan pelatihan model ini hanya menggunakan satu kluster sistem NVIDIA GB200 NVL72. Inferensinya berjalan lebih cepat daripada waktu nyata (*faster than real-time*), menghilangkan jeda pemrosesan yang selama ini menjadi ciri khas asisten virtual. Model ini bahkan dapat dieksekusi secara lokal (*on-device*) pada laptop bertenaga chip Apple M4 Max atau perangkat keras dengan kemampuan setara.

Dinamika Percakapan Alami dan Jebakan "Uncanny"

Dalam serangkaian rekaman demo yang dirilis, Dessa memperlihatkan respons dialog yang tidak linier. Model ini tidak menunggu lawan bicara menyelesaikan kalimat untuk memberikan reaksi. Ketika mendengar lelucon, ia dapat tertawa spontan di tengah kalimat. Ia juga secara aktif melontarkan respons penegas (*backchanneling*) seperti "yeah!", "got it!", atau gumaman kecil untuk menunjukkan bahwa ia terus menyimak percakapan.

Dessa juga menunjukkan kemampuan beradaptasi terhadap dinamika fisik suara. Ketika pembicara meminta model berbicara lebih keras, Dessa menaikkan volume suaranya tanpa perlu instruksi teks terprogram. Ketika seorang pembicara lupa mengingat judul film yang sedang dibahas, Dessa langsung menyambung dan menyelesaikan kalimat tersebut berdasarkan konteks percakapan yang sedang berjalan.

Kendati demikian, pendekatan berbasis suara murni ini memunculkan perilaku tak terduga yang unik. Tanpa pustaka teks terstruktur yang kaku layaknya ensiklopedia Wikipedia, Dessa sesekali tergelincir ke dalam wilayah aneh (*uncanny valley*). Dalam salah satu sesi rekaman, model ini sempat salah menyapa lawan bicaranya dengan nama "Ronaldo" sebelum menyadari kekeliruannya, atau melantur membahas film Superman lawas karya Bryan Singer ketika lawan bicaranya tengah mengulas karya sutradara Christopher Nolan.

Uji Terbatas Peneliti Keamanan

Block menegaskan bahwa proyek ini berakar pada tiga motivasi utama: eksplorasi ilmiah, penjembatan komunikasi manusia-AI yang lebih utuh, dan mitigasi risiko keselamatan. Membangun model yang memahami dunia semata-mata dari suara merupakan wilayah baru yang belum banyak dipetakan oleh komunitas riset global.

Untuk mengantisipasi potensi penyalahgunaan atau risiko perilaku model yang belum teridentifikasi, Block tidak langsung merilis Dessa ke publik luas. Perusahaan saat ini membuka pendaftaran akses awal khusus bagi kelompok kecil peneliti keselamatan AI (*AI safety researchers*) independen untuk menguji batas ketahanan serta mengidentifikasi kerentanan sebelum teknologi ini diintegrasikan lebih jauh ke dalam ekosistem produk Block.

Sumber https://block.xyz/dessa

Sumber tambahan: https://www.theverge.com/ai-artificial-intelligence/1017906/jack-dorsey-block-dessa-ai-voice-speech