Cloudera Pasang Teknologi NVIDIA di Apache Spark, Pemrosesan Diklaim 4 Kali Lebih Cepat

Cloudera memperluas kolaborasinya dengan NVIDIA untuk menghadirkan akselerasi GPU pada Apache Spark 4.1 di Cloudera Data Engineering. 

Teknologi tersebut diklaim mampu mempercepat workload hingga empat kali dibandingkan infrastruktur berbasis CPU tradisional tanpa mengharuskan perusahaan menulis ulang kode PySpark maupun SQL.

Kemampuan baru itu memanfaatkan plug-in NVIDIA cuDF untuk Apache Spark yang didukung pustaka NVIDIA CUDA-X. 

Integrasi tersebut juga akan menjadi bagian dari Cloudera Anywhere Cloud, platform untuk menjalankan workload data dan kecerdasan buatan (AI) di lingkungan hybrid.

Cloudera menilai kebutuhan mempercepat pemrosesan data semakin penting seiring meluasnya implementasi AI di perusahaan. 

Workload Apache Spark berskala besar dapat membutuhkan waktu berjam-jam untuk diproses sehingga berpotensi memperlambat aplikasi analitik dan AI sekaligus meningkatkan penggunaan sumber daya komputasi.

Dengan memanfaatkan GPU NVIDIA, Cloudera mengklaim workload Apache Spark dapat diakselerasi hingga empat kali lipat dibandingkan infrastruktur CPU tradisional. 

Pemrosesan yang lebih singkat pada akhirnya diharapkan dapat mengurangi penggunaan sumber daya dan menekan biaya infrastruktur cloud.

Integrasi tersebut dirancang tanpa memerlukan perubahan kode pada aplikasi Spark yang sudah digunakan perusahaan. 

Dengan demikian, tim data dapat mempertahankan kode PySpark maupun SQL yang ada ketika mengadopsi akselerasi GPU.

Teknologi ini juga menyasar proses extract, transform, load (ETL) dan penyiapan data untuk kebutuhan analitik serta AI. 

Cloudera menyebut integrasi telah tersedia secara built-in sehingga perusahaan tidak perlu melakukan konfigurasi driver secara manual.

Efisiensi biaya menjadi salah satu persoalan yang disoroti dalam pengembangan AI. Berdasarkan survei The Great Re-Architecture Survey dari Cloudera, sebanyak 84 persen responden menyatakan workload AI telah menyebabkan peningkatan biaya infrastruktur.

Cloudera melihat percepatan pemrosesan Spark sebagai salah satu cara untuk menjawab persoalan tersebut. 

Waktu komputasi yang lebih pendek memungkinkan data dipersiapkan untuk model AI dengan lebih cepat sekaligus berpotensi mengurangi biaya penggunaan infrastruktur.

"Bagi banyak organisasi, AI tidak dibatasi oleh model. Melainkan dibatasi oleh seberapa cepat mereka dapat mengubah data mentah menjadi insight yang tepercaya dan dapat digunakan," ujar Chief Product Officer Cloudera Leo Brunnick.

Menurut Brunnick, akselerasi Spark di dalam Cloudera Data Engineering ditujukan untuk mengurangi hambatan dalam proses tersebut sehingga perusahaan dapat bergerak lebih cepat dari tahap penyiapan data menuju analitik dan AI.

"Hal ini memungkinkan pelanggan beralih dari penyiapan data ke analitik dan AI dengan lebih cepat, sekaligus menempatkan tata kelola, keamanan, dan konsistensi operasional sebagai inti dari strategi mereka," katanya.

Vice President Strategic Enterprise Partnerships NVIDIA Pat Lee mengatakan integrasi infrastruktur AI NVIDIA dan pustaka CUDA-X ke Cloudera Data Engineering dirancang agar perusahaan tidak harus mengubah sistem yang sudah digunakan.

"Jalur tercepat untuk mempercepat penerapan AI adalah jalur yang selaras dengan cara perusahaan beroperasi saat ini," ujar Lee.

"Dengan infrastruktur NVIDIA AI dan library CUDA-X yang kini hadir secara native di Cloudera Data Engineering, perusahaan dapat menekan biaya dan secara signifikan mempercepat pipeline Apache Spark tanpa perlu mengubah satu baris pun kode PySpark atau SQL, mengubah data bisnis menjadi fondasi bagi AI," lanjutnya.

Berbeda dengan akselerasi GPU yang terikat pada satu penyedia cloud, Cloudera menyatakan kemampuan tersebut dapat digunakan di berbagai lingkungan. 

Cakupannya meliputi public cloud, private cloud, sovereign cloud, infrastruktur on-premises, hingga edge.

Pendekatan tersebut memungkinkan perusahaan menentukan lokasi pemrosesan data tanpa harus mengorbankan tata kelola dan keamanan. 

Cloudera Unified Data Fabric juga digunakan untuk mempertahankan sistem keamanan serta tata kelola dalam implementasinya.

Kemampuan akselerasi GPU Apache Spark akan tersedia melalui Cloudera Data Engineering sebagai bagian dari Cloudera Anywhere Cloud. 

Platform tersebut sebelumnya diperkenalkan dalam EVOLVE Singapore pada 20 Agustus 2026, sementara demonstrasi dan sesi teknis berikutnya dijadwalkan hadir di NVIDIA GTC Berlin serta Cloudera EVOLVE New York.