Facebook ciptakan AI pengubah video menjadi gim
Mereka menggunakan AI untuk mengisolasi orang-orang yang ada di sebuah video. Kemudian video dapat dikontrol oleh para gamer.
Tim Peneliti AI Facebook baru-baru ini kembali mengumumkan proyek terbaru mereka. Kali ini, mereka telah menciptakan AI yang disebut Vid2Play, dimana AI tersebut dapat mengekstraksi karakter yang dapat dimainkan dari video orang-orang asli.
Dengan bantuan neural networks, AI Facebook ini menciptakan sebuah ‘gim’ dari video. Prinsipnya dengan mengubah gerakan rekaman kamera, agar dapat dikontrol oleh para gamer. Hal ini mirip dengan teknologi full-motion video (FMV) yang terdapat di gim 80-an yakni, Night Trap.
Tim Facebook menggunakan dua jaringan saraf yang disebut Pose2Pose dan Pose2Frame. Pertama, video dimasukkan ke dalam jaringan saraf Pose2Pose yang dirancang untuk jenis tindakan tertentu seperti menari, tenis, atau bermain pedang.
Sistem kemudian mencari tahu di mana orang. Caranya dengan membandingkannya dengan latar belakang. Lalu AI ini mengisolasi pose mereka. Kemudian, Pose2Frame membawa orang tersebut, bersama dengan bayangan mereka dan benda apa pun yang mereka pegang, guna memasukkannya ke dalam adegan baru dengan artefak minimal.
Setelah itu, para gamer kemudian dapat mengontrol gerakan mereka, berdasarkan pose dari video, menggunakan joystick atau keyboard, seperti lapor Engadget (21/4).