Akamai luncurkan Cloud Inference untuk performa AI lebih cepat

Akamai memperkenalkan Akamai Cloud Inference, layanan inferensi AI terdistribusi yang memaksimalkan kecepatan dan efisiensi beban kerja AI di edge. Dibangun di atas kekuatan platform Akamai Cloud dengan lebih dari 4.200 titik kehadiran di 130+ negara, solusi ini menawarkan throughput hingga 3× lebih tinggi, latensi 60% lebih rendah, dan penghematan biaya hingga 86% dibanding infrastruktur hyperscale tradisional.

Mempercepat Inferensi AI di Edge
Inferensi—proses menjalankan model AI terlatih untuk menghasilkan prediksi—didorong sedekat mungkin ke pengguna akhir menggunakan komputasi edge. Menurut Adam Karon, COO Cloud Technology Group Akamai, “Meskipun pelatihan LLM tetap berada di data center hyperscale, inferensi yang dapat ditindaklanjuti harus berlangsung di edge untuk menghadapi tantangan latensi dan ketersediaan data.” Dengan arsitektur terdistribusi, Akamai Cloud Inference menempatkan sumber daya compute persis di titik pembuatan data, memastikan respon real-time dan skalabilitas global.

Komponen Utama Akamai Cloud Inference

1. Komputasi Serbaguna
• CPU klasik untuk inferensi standar
• GPU dan VPU ASIC terintegrasi Nvidia (Triton, TensorRT) untuk beban kerja berat

2. Manajemen Data Canggih
• Fabrik data terpadu hasil kolaborasi dengan VAST Data
• Penyimpanan objek terukur dan integrasi database vektor (Aiven, Milvus) untuk RAG