BRIN Kembangkan SKV-Cache, Teknologi Baru untuk Percepat Kinerja AI pada Arsip Pemerintah
BRIN kembangkan SKV-Cache untuk percepat inferensi AI hingga 2 kali lipat dalam sistem tanya jawab arsip pemerintah berbasis knowledge graph.
Badan Riset dan Inovasi Nasional (BRIN) mengembangkan semantic-aware key-value cache (SKV-Cache), sebuah framework baru yang dirancang untuk mempercepat sistem tanya jawab (question answering) pada arsip pemerintah berbasis knowledge graph (KG).
Peneliti Pusat Riset Sains Data dan Informasi (PRSDI) BRIN Nimas Ayu Untariyati menjelaskan riset ini berangkat dari persoalan tingginya latensi (waktu respons) yang dialami model bahas besar (LLM) saat melakukan penalaran kompleks di atas struktur pengetahuan berbasis graf.
Secara konteks, lanjut Nimas, aplikasi knowledge graph sangat penting untuk sistem kecerdasan buatan (AI) yang presisi di domain seperti hukum dan kearsipan.
“Pertanyaan kompleks seperti ‘Siapa yang mengesahkan peraturan tentang klasifikasi arsip dinamis?’ membutuhkan penelusuran beberapa langkah atau multi-hop dalam graf,” ujar Nimas dalam paparannya di International Conference on Computer, Control, Informatics, and Its Applications (IC3INA) 2025.
Menurut Nimas, akar masalahnya terletak pada teknik caching standar (KV Cache) yang selama ini digunakan oleh LLM.