Studi baru ungkap ChatGPT tidak pandai analisis kasus
Tim dari University of Minnesota mencatat ChatGPT pandai menangani "aturan hukum dasar" dan meringkas doktrin, namun gagal saat menganalisis kasus.
Sejauh ini, kemampuan ChatGPT dari OpenAI hanya dikhawatirkan untuk siswa sekolah yang dapat dengan menyontek saat ujian. Namun, bagaimana dengan jenjang yang lebih tinggi seperti ujian tingkat pascasarjana? Seberapa baik ChatGPT dapat mengerjakannya?
Dalam studi yang baru diterbitkan profesor hukum di University of Minnesota, ChatGPT diminta untuk mengerjakan ujian pascasarjana dengan total empat mata kuliah. Chatbot ini berhasil mengerjakan keempatnya, namun hanya dengan nilai rata-rata C+.
Sementara dalam makalah lain oleh Profesor Christian Terwiesch dari Wharton School of Business, ChatGPT dapat mengerjakan ujian manajemen bisnis dengan nilai B.
Dilansir dari Engadget (27/1), tim peneliti menyimpulkan bahwa AI tidak konsisten. Tim dari University of Minnesota mencatat ChatGPT pandai menangani "aturan hukum dasar" dan meringkas doktrin, namun gagal saat menganalisis kasus.
Terwiesch mengatakan generator tersebut "luar biasa" dalam manajemen operasi sederhana dan pertanyaan analisis proses, tetapi tidak dapat menangani pertanyaan proses lanjutan.