NVIDIA merilis platform perangkat keras solusi AI baru

Pada 19 November, pembuat chip kecerdasan buatan (AI) NVIDIA secara resmi meluncurkan dua platform perangkat keras solusi AI baru, yaitu Blackwell GB200 NVL4 dan Hopper H200 NVL. Diantaranya, NVIDIA GB200 NVL4 adalah modul baru, yang merupakan perluasan lebih besar berdasarkan solusi GB200 Grace Blackwell Superchip AI asli. Modul GB200 NVL4 mengonfigurasi dua GPU Blackwell GB200 pada motherboard yang lebih besar, yaitu memiliki dua CPU Grace dan empat GPU Blackwell B200. Modul ini dirancang sebagai solusi server tunggal dengan domain NVLINK 4-GPU dan memori koheren 1,3T. Dalam hal kinerja, modul akan meningkatkan kinerja simulasi sebesar 2,2 kali lipat dan kinerja pelatihan dan inferensi sebesar 1,8 kali. Mitra NVIDIA akan memberikan solusi NVL4 dalam beberapa bulan mendatang. Selain itu, Hopper H200 NVL berbasis PCIe kini tersedia secara umum, dan kartu ini dapat menghubungkan hingga 4 GPU melalui domain NVLINK, menghasilkan bandwidth hingga 7x lebih cepat dibandingkan solusi PCIe standar. Nvidia mengatakan solusi H200 NVL dapat masuk ke pusat data mana pun dan menawarkan berbagai konfigurasi server fleksibel yang dioptimalkan untuk beban kerja campuran HPC dan AI. Dari segi spesifikasi, solusi Hopper H200 NVL memberikan memori HBM 1,5x, performa inferensi LLM 1,7x, dan performa HPC 1,3x. Anda mendapatkan 114 SM dengan total 14592 inti CUDA, 456 inti tensor, dan kinerja hingga 3 TFLOP FP8 (kumulatif FP16). GPU ini memiliki memori HBM2e 80 Gb yang dikonfigurasikan pada antarmuka 5120-bit dan memiliki TDP 350 Watt. Sedangkan untuk TDP, karena modul Superchip berkekuatan sekitar 2700W, solusi GB200 NVL4 yang lebih besar diperkirakan akan mengonsumsi daya mendekati 6000W.