Studi baru ungkap ChatGPT tidak pandai analisis kasus

Sejauh ini, kemampuan ChatGPT dari OpenAI hanya dikhawatirkan untuk siswa sekolah yang dapat dengan menyontek saat ujian. Namun, bagaimana dengan jenjang yang lebih tinggi seperti ujian tingkat pascasarjana? Seberapa baik ChatGPT dapat mengerjakannya?

Dalam studi yang baru diterbitkan profesor hukum di University of Minnesota, ChatGPT diminta untuk mengerjakan ujian pascasarjana dengan total empat mata kuliah. Chatbot ini berhasil mengerjakan keempatnya, namun hanya dengan nilai rata-rata C+.

Sementara dalam makalah lain oleh Profesor Christian Terwiesch dari Wharton School of Business, ChatGPT dapat mengerjakan ujian manajemen bisnis dengan nilai B. 

Dilansir dari Engadget (27/1), tim peneliti menyimpulkan bahwa AI tidak konsisten. Tim dari University of Minnesota mencatat ChatGPT pandai menangani "aturan hukum dasar" dan meringkas doktrin, namun gagal saat menganalisis kasus. 

Terwiesch mengatakan generator tersebut "luar biasa" dalam manajemen operasi sederhana dan pertanyaan analisis proses, tetapi tidak dapat menangani pertanyaan proses lanjutan.

Oleh karena itu, kedua peneliti ini menyarankan agar pembuat soal mengubah pertanyaan untuk mencegah penggunaan AI. Buat pertanyaan yang lebih berfokus pada analisis daripada membaca aturan. 

Kemungkinan terburuknya, orang yang curang menggunakan ChatGPT untuk mencari jawaban kasar, lalu disempurnakan sendiri oleh mereka. 

Terlepas dari itu, ChatGPT disebutk masih memiliki manfaat yang baik dalam ruang lingkup akademis, misalnya untuk membantu guru menilai ujian.