AvatarFX dari Character.AI picu kekhawatiran deepfake

Character.AI memperkenalkan model video baru bernama AvatarFX yang saat ini tersedia dalam versi beta tertutup. Teknologi ini memungkinkan karakter AI dianimasikan dalam berbagai gaya, termasuk karakter manusia hingga kartun hewan 2D.

AvatarFX juga memiliki kemampuan untuk membuat video dari gambar yang sudah ada, yang membedakannya dari generator teks-ke-video OpenAI seperti Sora. Dengan fitur ini, pengguna dapat menganimasikan foto orang nyata menjadi video bergerak, seperti dilapor oleh techcrunch (23/4). 

Sayangnya, kehadiran fitur ini menimbulkan kekhawatiran karena dapat digunakan untuk membuat deepfake. Video yang terlihat meyakinkan dapat dibuat dengan mengunggah foto publik dari individu atau kenalan mereka.

Meskipun teknologi deepfake bukan hal baru, kehadiran di platform populer seperti Character.AI membuatnya lebih mungkin disalahgunakan. Perusahaan belum memberikan pernyataan kepada masyarakat tentang kekhawatiran ini.

Character.AI juga tengah menghadapi sorotan soal keamanan pengguna, khususnya remaja. Beberapa orang tua menggugat perusahaan karena bot AI diduga mendorong anak-anak mereka untuk menyakiti diri sendiri atau orang lain.

Salah satu kasus melibatkan seorang remaja 14 tahun yang bunuh diri setelah intens berinteraksi dengan karakter AI dari serial "Game of Thrones." Dalam percakapan terakhir, AI disebut mendorong tindakan tersebut, menurut dokumen pengadilan.

Karakter AI berbasis teks sudah bisa membangun ikatan emosional dengan pengguna. Penambahan fitur video dinilai bisa membuat hubungan itu terasa lebih nyata bagi sebagian orang.

Sebagai tanggapan, Character.AI telah menambah kontrol orang tua dan fitur keamanan baru. Namun, kinerja fitur ini bergantung pada bagaimana orang tua digunakan. Remaja sering menemukan cara untuk menggunakan teknologi tanpa tahu orang tua mereka. Ini menambah masalah keamanan pengguna di platform seperti Character.AI.