Teknologi di balik mimik karakter Cyberpunk 2077

Hanya beberapa minggu lagi sebelum Cyberpunk 2077 secara resmi diluncurkan. Gim ini menjadi gim yang paling ditunggu bukan hanya dikarenakan jalan ceritanya, namun teknologi yang ada di dalamnya.

Memang, teknologi yang paling banyak dibicarakan oleh para gamer adalah dukungan ray tracing dan DLSS. Tapi, masih banyak teknologi hebat lain yang dimiliki oleh gim ini, termasuk AI-nya yang sangat canggih

Seperti diketahui, gim ini akan mendapatkan dukungan suara hingga 10 bahasa sekaligus. Nah, untuk melakukan translasi bahasa ini, tim CD Projekt Red menggunakan teknologi AI yang sangat canggih.

Direktur teknis karakter utama game, Mateusz Popławski, mengatakan dalam sebuah presentasi bahwa CDPR menargetkan kualitas sinkronisasi bibir yang lebih baik daripada di The Witcher 3.

Dan menggunakan AI, mereka dapat melakukannya dalam 10 bahasa, yakni bahasa Inggris, Jerman, Spanyol, Prancis, Italia, Polandia, Portugis Brasil, Rusia, Mandarin, dan juga bahasa Jepang.

Cyberpunk 2077 has full lip-sync for every character in all 10 dubbed languages

Presentation: https://t.co/8r7rq570VM

Nuts - and awesome to see for languages that often times get much less support. Great work by everyone involved. pic.twitter.com/hwvaTWb9ei — Shinobi602 (@shinobi602) October 20, 2020

Tujuan mereka adalah melakukan semua itu untuk setiap karakter di dunia terbuka. Namun, dikarenakan cakupan gim yang sangat luas, CDPR perlu melakukan semua itu tanpa penangkapan gerak wajah.

Untuk melakukannya, studio gim asal Polandia tersebut menggunakan teknologi sinkronisasi bibir dan animasi wajah dari Jali Research untuk secara prosedural menghasilkan bagaimana wajah karakter bergerak.

Teknologi ini sangat berguna dikarenakan beberapa karakter di Cyberpunk 2077 berbicara dalam berbagai bahasa, terkadang beralih di antara keduanya dalam kalimat yang sama. Dan AI tersebut digunakan untuk membuat ekspresi wajah mereka sealami mungkin, seperti lapor Engadget (21/10).

Untuk melakukan hal tersebut, mereka menggunakan tag di transkrip. Tag juga membantu menyesuaikan ekspresi wajah karakter ketika keadaan emosi mereka berubah dalam dialog. Sistem juga menggunakan analisis audio untuk mereplikasi emosi pertunjukan vokal dalam animasi.

CDPR menggunakan algoritma untuk membantunya menganimasikan cutscene di The Witcher 3, dan ini adalah evolusi dari pendekatan tersebut. Banyak game menggunakan penangkapan gerak untuk dialog sinkronisasi bibir hanya dalam satu bahasa, yang dapat sedikit memecah imersi bagi pemain yang beralih ke bahasa lain. Dan berikut ini video lengkap mengenai teknologi yang mereka gunakan :