Platform Red Hat AI 3 Diluncurkan, Dorong Inferensi AI Terdistribusi dan Agentic AI di Skala Produksi

Perusahaan penyedia solusi open source, Red Hat, meluncurkan Red Hat AI 3, evolusi terbaru dari platform enterprise AI mereka. 

Platform ini dirancang untuk menyederhanakan alur kerja kecerdasan buatan (AI), menghadirkan kemampuan inferensi AI terdistribusi, dan memperkuat fondasi menuju pengembangan agentic AI dalam skala besar.

Melalui kombinasi Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI), dan Red Hat OpenShift AI, platform terbaru ini membantu organisasi mempercepat transisi dari tahap eksperimen ke tahap produksi dengan infrastruktur hybrid cloud-native yang lebih efisien.

Menurut laporan The GenAI Divide: State of AI in Business dari proyek NANDA di MIT, sekitar 95% organisasi belum memperoleh keuntungan finansial nyata dari investasi AI senilai lebih dari US$40 miliar. 

Red Hat menanggapi tantangan ini dengan menawarkan platform yang mampu mengoptimalkan investasi perusahaan dalam AI melalui performa, efisiensi biaya, dan skalabilitas lintas lingkungan, mulai dari pusat data hingga cloud publik dan edge.

Red Hat AI 3 menekankan transisi penting dari proses pelatihan model ke fase inferensi, yaitu tahap “menjalankan” model AI di lingkungan produksi. 

Dengan memanfaatkan teknologi vLLM dan llm-d, Red Hat menghadirkan inferensi yang terdistribusi, cerdas, dan hemat biaya di atas Kubernetes.

Platform ini memungkinkan perusahaan mengurangi biaya operasional melalui penjadwalan inferensi yang adaptif, menyederhanakan penerapan model AI dalam skala besar dengan orkestrasi otomatis, dan mendukung berbagai akselerator hardware seperti NVIDIA dan AMD untuk fleksibilitas maksimal.

“Dengan Red Hat AI 3, kami menyediakan platform open source kelas enterprise yang meminimalkan hambatan kompleksitas dan biaya,” ujar Joe Fernandes, Vice President dan General Manager AI Business Unit Red Hat. 

“Kemampuan inferensi terdistribusi dan fondasi agentic AI membuat tim IT lebih percaya diri dalam mengoperasionalkan AI generasi berikutnya di infrastruktur apa pun,” imbuhnya.

Red Hat AI 3 juga memperkenalkan kemampuan Model as a Service (MaaS), yang memungkinkan tim IT menyediakan model secara terpusat untuk digunakan oleh pengembang dan aplikasi AI internal. 

Fitur AI Hub menyediakan katalog model terkurasi dan registry pengelolaan siklus hidup model, sementara Gen AI Studio memberikan ruang eksperimental untuk membuat dan menguji prototipe aplikasi AI generatif secara cepat.

Platform ini turut mendukung model open source populer seperti gpt-oss, DeepSeek-R1, Whisper untuk speech-to-text, dan Voxtral Mini untuk agen suara berbasis AI.

Red Hat OpenShift AI 3.0 memperkenalkan Unified API layer berbasis Llama Stack dan adopsi awal terhadap Model Context Protocol (MCP) untuk menyederhanakan interaksi antar model AI dan tools eksternal. 

Langkah ini mendukung terbentuknya ekosistem agentic AI yang interoperabel dan terbuka.

Untuk pengembang, Red Hat menghadirkan toolkit modular berbasis InstructLab, dilengkapi library Python dan framework pembangkitan data sintetis, serta hub pelatihan model dan pusat evaluasi hasil AI. 

Semua fitur ini memudahkan engineer AI untuk menyesuaikan model dengan kebutuhan spesifik dan memvalidasi hasil inferensi secara real-time.

Peluncuran Red Hat AI 3 mendapat dukungan dari berbagai mitra teknologi, termasuk AMD, NVIDIA, dan ARSAT.

SVP AMD Dan McNamara menegaskan kolaborasi ini menggabungkan efisiensi prosesor AMD EPYC™, GPU AMD Instinct™, dan software stack ROCm™ untuk menghadirkan kinerja tinggi di lingkungan hybrid.

“Inferensi terdistribusi berperforma tinggi adalah kunci menuju AI generatif dan agentic AI berikutnya,” ujar Ujval Kapasi dari NVIDIA.