Perusahaan kecerdasan buatan milik Elon Musk yakni xAI dilaporkan hanya mampu memanfaatkan sebagian kecil dari total kapasitas GPU yang mereka miliki. Dari sekitar 550.000 unit GPU NVIDIA yang terpasang di server mereka, xAI saat ini hanya bisa mengoptimalkan sekitar 11 persen atau setara dengan 60.000 unit saja.
Ratusan ribu GPU yang terdiri atas model H100 dan H200 tersebut ditempatkan di dalam klaster Memphis dan Colussus dengan beberapa di antaranya menggunakan konfigurasi pendingin cair. Meskipun berskala sangat masif kurangnya optimalisasi pada tumpukan perangkat lunak membuat potensi penuh dari perangkat keras keras ini belum dapat dimaksimalkan.
Utilisasi paling rendah diantara pesaing
Hambatan efisiensi pada skala besar ini sebenarnya merupakan masalah struktural yang melanda seluruh industri kecerdasan buatan global. Ketika skala peladen membesar dan mengintegrasikan ratusan ribu GPU waktu menganggur perangkat akan terakumulasi dengan sangat cepat sehingga tingkat pemanfaatan secara keseluruhan akan merosot tajam.
Kondisi ini menunjukkan bahwa investasi besar besaran pada perangkat keras mutakhir tidak akan berarti banyak tanpa dukungan arsitektur perangkat lunak yang matang. Pesaing xAI seperti Meta dan Google telah membuktikan hal ini dengan berhasil mencapai tingkat pemanfaatan yang jauh lebih baik yakni masing masing sebesar 43 persen dan 46 persen.
Apa saja yang terjadi?
- Jaringan pelatihan terdistribusi dan tumpukan perangkat lunak xAI saat ini dinilai masih belum cukup matang untuk menangani beban kerja skala raksasa. Hal ini menyebabkan waktu menganggur GPU menjadi lebih lama serta menimbulkan hambatan yang berulang pada alur data dan tahapan analisis komputasi.
- Untuk mengatasi masalah ini pihak xAI berencana melakukan perombakan infrastruktur dan perangkat lunak dengan menargetkan tingkat pemanfaatan hingga 50 persen di masa mendatang. Perusahaan tersebut juga kemungkinan besar akan menyewakan armada GPU masifnya seiring dengan transisi beban kerja masa depan menuju perangkat keras baru.
- Sebagai langkah antisipasi masa depan Elon Musk kini juga sedang berfokus pada proyek TeraFab untuk merancang silikon internal secara mandiri. Proyek ini akan memanfaatkan teknologi 14A dari Intel guna menciptakan solusi tingkat lanjut bagi operasional xAI SpaceX dan berbagai usaha Musk lainnya.
Pax insight
Kasus yang dialami oleh xAI menjadi pelajaran berharga bagi industri teknologi bahwa keseimbangan antara perangkat keras dan perangkat lunak adalah hal yang mutlak. Ambisi besar untuk membangun infrastruktur komputasi raksasa harus selalu diimbangi dengan keahlian rekayasa perangkat lunak yang mumpuni.
Ke depannya efisiensi pemanfaatan sumber daya komputasi akan menjadi medan pertempuran utama bagi para pelaku industri kecerdasan buatan. Kita tinggal menunggu waktu untuk melihat apakah xAI mampu memecahkan kemacetan struktural ini guna bersaing secara optimal dengan para pemain raksasa teknologi lainnya.
