Peneliti ciptakan kacamata sonar untuk komunikasi via gerakan wajah

Seorang peneliti  Cornell University telah mengembangkan kacamata sonar yang “mendengar” pengguna tanpa berbicara. Kacamata ini menggunakan mikrofon kecil dan speaker untuk membaca kata-kata yang diucapkan pengguna saat diam-diam memerintahkannya untuk menjeda atau melewati musik, memasukkan kode sandi tanpa menyentuh ponsel, atau mengerjakan model CAD tanpa keyboard.

Siswa Cornell Ph.D. Ruidong Zhang berhasil mengembangkan sistem tersebut, yang telah menggarap proyek serupa menggunakan earbud nirkabel — dan model sebelumnya yang mengandalkan kamera. Faktor bentuk kacamata menghilangkan kebutuhan untuk menghadap ke kamera atau meletakkan sesuatu di telinga pengguna.

“Sebagian besar teknologi dalam pengenalan suara senyap terbatas pada serangkaian perintah yang ditentukan sebelumnya dan mengharuskan pengguna untuk menghadap atau memakai kamera, yang tidak praktis dan tidak layak,” kata Cheng Zhang, asisten profesor ilmu informasi Cornell. "Kami memindahkan sonar ke tubuh," kata Cheng Zhang lagi sebagaimana dilansir dari Engadget.

Para peneliti mengatakan sistem hanya memerlukan beberapa menit data pelatihan (misalnya, membaca serangkaian angka) untuk mempelajari pola bicara pengguna. Kemudian, setelah siap bekerja, ia mengirim dan menerima gelombang suara di wajah pengguna, merasakan gerakan mulut sambil menggunakan algoritma deep learning untuk menganalisis profil gema secara real time "dengan akurasi sekitar 95%".

Sistem melakukan ini sambil memindahkan pemrosesan data secara nirkabel ke ponsel pengguna, sehingga aksesori tetap kecil dan tidak mengganggu. Versi saat ini menawarkan masa pakai baterai sekitar 10 jam untuk sensor akustik. Selain itu, tidak ada data yang keluar dari ponsel, menghilangkan masalah privasi.

“Kami sangat senang dengan sistem ini karena benar-benar mendorong bidang kinerja dan privasi lebih maju,” kata Cheng Zhang. “Ini berbentuk kecil, berdaya rendah, dan sensitif terhadap privasi, yang semuanya merupakan fitur penting untuk menerapkan teknologi baru yang dapat dikenakan di dunia nyata.”

Privasi juga berperan saat melihat potensi penggunaan di dunia nyata. Misalnya, Ruidong Zhang menyarankan untuk menggunakannya untuk mengontrol pemutaran musik (tanpa tangan dan mata) di perpustakaan yang sunyi atau mendiktekan pesan di konser yang keras di mana opsi standar akan gagal. Mungkin prospeknya yang paling menarik adalah orang-orang dengan beberapa jenis ketidakmampuan bicara menggunakannya untuk memasukkan dialog secara diam-diam ke dalam voice synthesizer, yang kemudian akan mengucapkan kata-kata itu dengan lantang.

Jika semuanya berjalan sesuai rencana, pengguna bisa membelinya suatu hari nanti. Tim di Smart Computer Interfaces for Future Interactions (SciFi) Cornell sedang menjajaki komersialisasi teknologi menggunakan program pendanaan Cornell. Mereka juga mencari aplikasi kacamata pintar untuk melacak gerakan wajah, mata, dan tubuh bagian atas. “Kami pikir kaca akan menjadi platform komputasi personal yang penting untuk memahami aktivitas manusia dalam kehidupan sehari-hari,” kata Cheng Zhang.