Lebih dari 50% jawaban ChatGPT salah dalam pertanyaan pemrograman
Sebuah studi baru-baru ini yang dilakukan oleh Purdue University di Amerika Serikat telah menjelaskan masalah terkait akurasi tanggapan ChatGPT.
Sebuah studi baru-baru ini yang dilakukan oleh Purdue University di Amerika Serikat telah menjelaskan masalah terkait akurasi tanggapan ChatGPT terhadap pertanyaan pemrograman. Temuan penelitian menunjukkan bahwa lebih dari separuh jawaban ChatGPT salah, dan kemampuan bahasanya yang canggih berhasil menyesatkan sebagian besar peserta.
Dilansir dari Gizmochina (10/8), tim peneliti tersebut memeriksa 517 pertanyaan pemrograman yang bersumber dari Stack Overflow dan menilai berbagai aspek tanggapan ChatGPT, termasuk kebenaran, konsistensi, kelengkapan, dan keringkasan. Hasil evaluasinya mengecewakan, karena terungkap bahwa 52% dari jawaban yang diberikan tidak akurat, dan 77% substansial tidak perlu panjang.
Hal yang lebih memprihatinkan lagi adalah pengamatan bahwa gaya bahasa AI yang fasih dan metodis sering menyesatkan para peserta. Hanya dalam kasus di mana kesalahannya sangat mencolok, para peserta dapat mengidentifikasi ketidakakuratannya.
Terlepas dari tanggapan yang salah, hampir 40% peserta lebih menyukai jawaban ChatGPT. Namun, 77% dari tanggapan yang disukai itu ternyata salah. Para peneliti, termasuk individu seperti Samia Kabir, David Udo-Imeh, Bonan Kou, dan Asisten Profesor Tianyi Zhang, mengklarifikasi bahwa banyak kesalahan berasal dari ketidakmampuan ChatGPT untuk memahami nuansa kontekstual dari pertanyaan tersebut.
- OpenAI Luncurkan Fitur Shopping Research di ChatGPT, Tawarkan Panduan Belanja Pintar
- ChatGPT Hadirkan Fitur Group Chat, Buka Era Baru Kolaborasi Pengguna
- Data OpenAI Ungkap Lebih dari Satu Juta Pengguna ChatGPT Bahas Kesehatan Mental Pribadi Tiap Minggu
- Mengenal DeepSeek yang Kini Masuk Jajaran Aplikasi Populer di Google Play dan App Store
Temuan tersebut menghadirkan argumen yang meyakinkan bahwa AI generatif saat ini, dalam keadaan yang ada, mungkin bukan alat yang cocok untuk membantu pembuatan kode dan bahkan mungkin memiliki efek kontraproduktif. Mengakui kenyataan ini, berbagai raksasa teknologi seperti Google, Apple, Amazon, dan Samsung telah mengeluarkan peringatan atau memberlakukan larangan penggunaan AI generatif untuk saran kode.
Menurut laporan, OpenAI sedang mengerjakan iterasi GPT berikutnya GPT-5 yang diharapkan dapat mengatasi kesalahan ini. Ekspektasi meliputi pengurangan halusinasi, peningkatan multi-modalitas dengan teks, gambar, video, dan audio, peningkatan efisiensi komputasi, memori, dan pemahaman kontekstual. GPT-5 dapat memungkinkan interaksi yang lebih detail, memperluas ke domain baru, dan menawarkan jumlah parameter yang lebih tinggi untuk pembuatan konten AI yang lebih andal.
