Intel dobrak keterbatasan proprietary GenAI untuk industri

Pada acara Intel Vision, Intel memperkenalkan akselerator kecerdasan buatan (AI) terbaru mereka, Intel Gaudi 3, yang menghadirkan lonjakan kinerja yang signifikan untuk berbagai aplikasi AI. Dibangun menggunakan arsitektur yang terbukti dari pendahulunya, Intel Gaudi 3 memberikan kemampuan komputasi AI 4x lebih tinggi untuk BF16, meningkatkan bandwidth memori sebesar 1,5x, dan meningkatkan bandwidth jaringan sebesar 2x, yang memungkinkan perluasan sistem AI secara besar-besaran.

Justin Hotard, wakil presiden eksekutif Intel dan manajer umum Data Center dan AI Group, menjelaskan bahwa keberadaan Intel Gaudi 3 menawarkan pilihan yang lebih luas bagi pelanggan dalam hal ketersediaan, skalabilitas, kinerja, biaya, dan efisiensi energi. Ini penting karena perusahaan dari berbagai sektor, seperti keuangan, manufaktur, dan layanan kesehatan, berusaha untuk memperluas penggunaan AI mereka dengan cepat.

“Dalam lanskap pasar AI yang terus berkembang, masih terdapat kesenjangan yang signifikan dalam penawaran-penawaran yang ada saat ini. Masukan dari pelanggan kami dan pasar yang lebih luas menegaskan keinginan untuk adanya lebih banyak pilihan. Perusahaan-perusahaan mempertimbangkan faktor-faktor seperti ketersediaan, skalabilitas, kinerja, biaya, dan efisiensi energi. Intel Gaudi 3 merupakan alternatif GenAI yang menonjol karena menghadirkan kombinasi menarik antara kinerja harga, skalabilitas sistem, dan keunggulan dalam kecepatan menciptakan nilai atau manfaat,” ujar Howard.

Salah satu aspek penting dari Intel Gaudi 3 adalah arsitektur kustomnya yang menghadirkan kinerja dan efisiensi yang luar biasa. Akselerator ini dirancang dengan teknologi proses 5 nanometer (nm) dan dilengkapi dengan berbagai fitur khusus, termasuk mesin komputasi AI yang dapat diprogram, peningkatan memori untuk menangani model-model besar, dan peningkatan kapasitas jaringan untuk skalabilitas yang lebih besar.

Selain itu, Intel Gaudi 3 dilengkapi dengan perangkat lunak berbasis komunitas terbuka, termasuk integrasi dengan kerangka kerja populer seperti PyTorch dan model-model yang dioptimalkan untuk kemudahan penggunaan. Dengan demikian, pengembang AI dapat dengan mudah mengadopsi akselerator ini dalam berbagai aplikasi mereka.

Akselerator Intel Gaudi 3 diharapkan memberikan peningkatan kinerja yang signifikan untuk tugas-tugas pelatihan dan inferensi pada model-model AI terkemuka. Perbandingan dengan produk sejenis menunjukkan bahwa Intel Gaudi 3 memiliki keunggulan yang signifikan dalam hal waktu pelatihan, throughput inferensi, dan efisiensi daya.

Bagaimana Arsitektur Kustom Menghadirkan Kinerja dan Efisiensi GenAI: Akselerator Intel Gaudi 3, dirancang untuk komputasi AI skala besar yang efisien diproduksi dengan teknologi proses 5 nanometer (nm) dan menawarkan kemajuan yang signifikan dibandingkan pendahulunya. 

Intel Gaudi 3 dirancang untuk memungkinkan aktivasi semua mesin secara paralel — dengan Matrix Multiplication Engine (MME), Tensor Processor Cores (TPCs), dan Networking Interface Cards (NICs) — sehingga memungkinkan akselerasi yang diperlukan untuk komputasi dan peningkatan kapasitas deep learning yang cepat dan efisien. Fitur-fitur utama meliputi:

Mesin Komputasi Khusus AI: Akselerator Intel Gaudi 3 dibuat khusus untuk komputasi GenAI dengan kinerja dan efisiensi tinggi. Setiap akselerator secara unik dilengkapi dengan mesin komputasi heterogen yang terdiri dari 64 TPC khusus AI dan dapat diprogram serta delapan MME. Setiap Intel Gaudi 3 MME mampu melakukan 64.000 operasi paralel yang mengesankan, sehingga mendukung efisiensi komputasi tingkat tinggi dan memiliki kemampuan untuk menangani operasi matriks yang kompleks, suatu jenis komputasi yang penting bagi algoritma deep learning. Desain unik ini meningkatkan kecepatan dan efisiensi operasi AI paralel dan mendukung berbagai jenis data, termasuk FP8 dan BF16.

Peningkatan Memori untuk Persyaratan Kapasitas LLM: Kapasitas memori HBMe2 sebesar 128 gigabyte (GB), bandwidth memori sebesar 3,7 terabyte (TB), dan static random access memory (SRAM) terpasang sebesar 96 megabyte (MB) menyediakan memori yang cukup untuk memproses dataset GenAI yang besar dengan Intel Gaudi 3 yang lebih sedikit. Hal ini terutama berguna dalam melayani model-model large language dan multimodal, sehingga menghasilkan peningkatan kinerja beban kerja dan biaya data center yang lebih hemat.

Peningkatan Kapasitas Sistem yang Efisien untuk Enterprise GenAI: Dua puluh empat port Ethernet 200 gigabit (Gb) diintegrasikan ke dalam setiap akselerator AI Intel Gaudi 3, sehingga menyediakan jaringan yang fleksibel dan berstandar terbuka. Dengan demikian, peningkatan kapasitas bisa dilakukan secara efisien untuk mendukung cluster komputasi besar dan tidak perlu terikat pada vendor proprietary networking fabrics tertentu. Akselerator AI Intel Gaudi 3 dirancang untuk meningkatkan dan memperluas kapasitas secara efisien dari satu node menjadi ribuan node untuk memenuhi persyaratan model GenAI yang luas.

Software Industri Terbuka untuk Produktivitas Pengembang: Software Intel Gaudi mengintegrasikan kerangka kerja PyTorch dan menyediakan model berbasis komunitas Hugging Face yang dioptimalkan – kerangka kerja AI yang paling umum untuk pengembang GenAI saat ini. Dengan demikian, para pengembang GenAI dapat beroperasi pada tingkat abstraksi tinggi untuk kemudahan penggunaan dan produktivitas serta kemudahan porting model di seluruh jenis hardware.

Gaudi 3 PCIe: Yang baru dalam lini produk ini adalah kartu tambahan interkoneksi komponen periferal Gaudi 3 (PCIe). Dirancang untuk menghadirkan efisiensi tinggi dengan konsumsi daya yang lebih rendah, form factor baru ini ideal untuk beban kerja seperti fine-tuning, inference, dan retrieval-augmented generation (RAG). Gaudi 3 PCIe dilengkapi dengan form factor full-height 600 watt, dengan kapasitas memori 128 GB dan bandwidth 3,7 TB per detik.

Akselerator Intel Gaudi 3 akan memberikan peningkatan kinerja yang signifikan untuk tugas-tugas pelatihan dan inferensi pada model-model GenAI terkemuka. Secara khusus, akselerator Intel Gaudi 3 diproyeksikan memberikan hasil rata-rata dibandingkan Nvidia H100 sebagai berikut:

• Waktu pelatihan 50% lebih cepat pada parameter Llama2 7B dan 13B, serta model parameter GPT-3 175B
• Throughput inferensi 50% lebih cepat dan efisiensi daya inferensi 40% lebih besar di seluruh parameter Llama 7B dan 70B, serta model parameter Falcon 180B. Keuntungan kinerja inferensi yang lebih besar pada rangkaian input dan output yang lebih panjang
• Proses inferensi 30% lebih cepat pada parameter Llama 7B dan 70B, serta model parameter Falcon 180B dibandingkan Nvidia H200

Produk ini akan tersedia bagi produsen peralatan asli (OEM) pada kuartal kedua tahun 2024 dan diharapkan akan tersedia secara luas pada kuartal ketiga tahun yang sama. Selain itu, Intel juga akan menawarkan kartu tambahan interkoneksi komponen periferal Gaudi 3 (PCIe) pada kuartal terakhir tahun 2024.

Kehadiran Intel Gaudi 3 diharapkan akan menjadi langkah penting dalam mendukung adopsi AI di berbagai industri dan mempercepat inovasi di bidang ini.