Facebook ciptakan AI pengubah video menjadi gim
Mereka menggunakan AI untuk mengisolasi orang-orang yang ada di sebuah video. Kemudian video dapat dikontrol oleh para gamer.
Tim Peneliti AI Facebook baru-baru ini kembali mengumumkan proyek terbaru mereka. Kali ini, mereka telah menciptakan AI yang disebut Vid2Play, dimana AI tersebut dapat mengekstraksi karakter yang dapat dimainkan dari video orang-orang asli.
Dengan bantuan neural networks, AI Facebook ini menciptakan sebuah ‘gim’ dari video. Prinsipnya dengan mengubah gerakan rekaman kamera, agar dapat dikontrol oleh para gamer. Hal ini mirip dengan teknologi full-motion video (FMV) yang terdapat di gim 80-an yakni, Night Trap.
Tim Facebook menggunakan dua jaringan saraf yang disebut Pose2Pose dan Pose2Frame. Pertama, video dimasukkan ke dalam jaringan saraf Pose2Pose yang dirancang untuk jenis tindakan tertentu seperti menari, tenis, atau bermain pedang.
Sistem kemudian mencari tahu di mana orang. Caranya dengan membandingkannya dengan latar belakang. Lalu AI ini mengisolasi pose mereka. Kemudian, Pose2Frame membawa orang tersebut, bersama dengan bayangan mereka dan benda apa pun yang mereka pegang, guna memasukkannya ke dalam adegan baru dengan artefak minimal.
Setelah itu, para gamer kemudian dapat mengontrol gerakan mereka, berdasarkan pose dari video, menggunakan joystick atau keyboard, seperti lapor Engadget (21/4).
Para peneliti Facbook pun mengklaim bahwa mereka hanya butuh beberapa video pendek dari setiap kegiatan untuk melatih sistem tersebut. AI tersebut bisa menyaring orang lain dan mengimbangi sudut kamera yang berbeda.
Sayang, saat ini gerakan karakter ciptaan AI ini masih sangat sulit untuk dikontrol. Para karakter gim masih sulit untuk dikendalikan, bahkan seperti berusaha menggerakkan sesuatu di atas es.
Selain itu, rentang gerak agak terbatas. Namun, sebagian besar dari gim tersebut sudah tampak cukup realistis. Namun, hal ini masih dapat diatasi mengingat AI ini masih dalam pengembangan tahap awal.
Sebenarnya, beberapa perusahaan seperti Adobe dan Nvidia juga telah melatih AI dengan metode yang kurang lebih serupa. AI akan melakukan isolasi untuk tujuan tertentu, seperti mengisolasi beberapa elemen untuk kemudian digunakan untuk hal lain.
