Red Hat Perkuat Inferensi AI di AWS, Dorong Kinerja Tinggi dan Efisiensi Biaya AI Generatif

Red Hat memperluas kolaborasinya dengan Amazon Web Services (AWS) untuk memperkuat penerapan AI generatif (gen AI) kelas enterprise di lingkungan cloud. 

Melalui integrasi Red Hat AI dengan silikon AI milik AWS, yaitu Trainium dan Inferentia, kolaborasi ini diarahkan untuk menghadirkan inferensi AI berkinerja tinggi yang lebih fleksibel, efisien, dan siap produksi dalam skala besar.

Meningkatnya adopsi gen AI mendorong organisasi mengevaluasi ulang infrastruktur teknologi informasi mereka, terutama pada tahap inferensi yang menuntut performa tinggi dan efisiensi biaya. 

Sejalan dengan itu, IDC memproyeksikan pada 2027, 40% organisasi akan memanfaatkan custom silicon, termasuk prosesor ARM dan chip AI/ML khusus, untuk mengoptimalkan kinerja, menekan biaya, dan mempercepat inovasi. 

Kebutuhan ini mempertegas pentingnya solusi yang dioptimalkan untuk komputasi AI modern.

Kolaborasi Red Hat dan AWS menyatukan kekuatan platform open hybrid cloud Red Hat dengan infrastruktur serta chipset AI AWS, yakni AWS Inferentia2 dan AWS Trainium3. 

Strategi gen AI full-stack ini memberi kebebasan bagi pengambil keputusan TI untuk menjalankan inferensi AI berperforma tinggi, terlepas dari pilihan hardware yang digunakan.

Salah satu pilar utama kolaborasi ini adalah pengaktifan Red Hat AI Inference Server pada chip AI AWS. Didukung kerangka kerja vLLM, server inferensi ini menghadirkan lapisan inferensi umum yang dapat menjalankan berbagai model gen AI. 

Hasilnya, pelanggan memperoleh latensi lebih rendah, kinerja lebih tinggi, serta efisiensi biaya untuk penerapan AI di tahap produksi, dengan peningkatan harga, kinerja hingga 30–40% dibandingkan instance Amazon EC2 berbasis GPU yang sebanding.

Vice President and General Manager AI Business Unit Red Hat Joe Fernandes mengatakan langkah ini memperluas akses AI enterprise yang efisien.

“Dengan mengaktifkan Red Hat AI Inference Server kelas enterprise kami—yang dibangun di atas vLLM—pada chip AI AWS, kami memberdayakan organisasi untuk mengimplementasikan dan meningkatkan beban kerja AI dengan efisiensi dan fleksibilitas yang makin meningkat,” ujarnya. 

Ia menambahkan, kolaborasi berbasis open source ini ditujukan untuk menjadikan AI generatif lebih mudah diakses dan hemat biaya di seluruh lingkungan hybrid cloud.

Di sisi platform, Red Hat bekerja sama dengan AWS untuk menghadirkan operator AWS Neuron pada Red Hat OpenShift, Red Hat OpenShift AI, serta Red Hat OpenShift Service on AWS. 

Pendekatan ini menyediakan jalur yang lebih mulus bagi pelanggan untuk menjalankan beban kerja AI menggunakan akselerator AWS, sekaligus menyederhanakan operasional dari pengembangan hingga produksi.

Kemudahan akses dan implementasi juga diperkuat melalui dukungan chip AI AWS yang membuka ketersediaan akselerator berkapasitas tinggi. 

Red Hat turut merilis amazon.ai Certified Ansible Collection untuk Red Hat Ansible Automation Platform, memfasilitasi orkestrasi layanan AI di AWS agar lebih cepat dan terkelola.

Kontribusi komunitas hulu (upstream) menjadi fondasi penting kolaborasi ini. Red Hat dan AWS mengoptimalkan plugin chip AI AWS yang di-upstream-kan ke vLLM. 

Sebagai kontributor komersial teratas vLLM, Red Hat mendorong percepatan kapabilitas inferensi dan training AI di AWS. vLLM juga menjadi fondasi llm-d, proyek open source untuk inferensi berskala besar yang kini tersedia sebagai fitur yang didukung secara komersial di Red Hat OpenShift AI 3.

Vice President Annapurna Labs Colin Brace mengatakan kebutuhan enterprise menuntut kinerja, efisiensi biaya, dan pilihan operasional yang kuat. 

“AWS merancang Trainium dan Inferentia agar inferensi dan training AI berkinerja tinggi lebih mudah diakses dan hemat biaya,” ujarnya. 

Menurutnya, kolaborasi dengan Red Hat memberi pelanggan jalur yang didukung penuh untuk menerapkan gen AI dalam skala besar, menggabungkan fleksibilitas open source dengan akselerator AI khusus AWS guna mempercepat time-to-value dari uji coba ke produksi.

Manfaat kolaborasi ini juga dirasakan pelanggan. Jean-François Gamache, Chief Information Officer dan Vice President Digital Services CAE, menyebut modernisasi aplikasi penting mereka dengan Red Hat OpenShift Service on AWS sebagai tonggak transformasi digital. 

“Platform ini memungkinkan pengembang kami fokus pada inisiatif bernilai tinggi—mendorong inovasi produk dan mempercepat integrasi AI di seluruh solusi kami,” katanya.

Founder and Chief Global Analyst Techaisle Amurag Agrawal, menilai kolaborasi ini sejalan dengan strategi “any model, any hardware” Red Hat. 

“Dengan memadukan platform open hybrid cloud dan keunggulan ekonomi AWS Trainium serta Inferentia, CIO dapat mengimplementasikan gen AI dalam skala besar—beralih dari eksperimen mahal ke produksi yang berkelanjutan dan terkelola,” ujarnya.