NVIDIA brengt een nieuw hardwareplatform voor AI-oplossingen uit

Op 19 november lanceerde NVIDIA, chipmaker voor kunstmatige intelligentie (AI), officieel twee nieuwe hardwareplatforms voor AI-oplossingen, namelijk Blackwell GB200 NVL4 en Hopper H200 NVL. Onder hen is NVIDIA GB200 NVL4 een gloednieuwe module, een grotere uitbreiding gebaseerd op de originele GB200 Grace Blackwell Superchip AI-oplossing. De GB200 NVL4-module configureert twee Blackwell GB200 GPU's op een groter moederbord, dat wil zeggen dat hij twee Grace CPU's en vier Blackwell B200 GPU's heeft. De module is ontworpen als een enkele serveroplossing met 4-GPU NVLINK-domeinen en 1,3T coherent geheugen. In termen van prestaties zal de module de simulatieprestaties met 2,2 keer verbeteren en de trainings- en gevolgtrekkingsprestaties met 1,8 keer. De partners van NVIDIA zullen de komende maanden NVL4-oplossingen leveren. Bovendien is de op PCIe gebaseerde Hopper H200 NVL nu algemeen verkrijgbaar en kunnen deze kaarten maximaal 4 GPU's aansluiten via het NVLINK-domein, waardoor tot 7x snellere bandbreedte wordt geleverd dan standaard PCIe-oplossingen. Nvidia zegt dat de H200 NVL-oplossing in elk datacenter past en een reeks flexibele serverconfiguraties biedt die zijn geoptimaliseerd voor gemengde HPC- en AI-workloads. Qua specificaties biedt de Hopper H200 NVL-oplossing 1,5x HBM-geheugen, 1,7x LLM-inferentieprestaties en 1,3x HPC-prestaties. Je krijgt 114 SM's voor een totaal van 14592 CUDA-kernen, 456 tensorkernen en maximaal 3 FP8 TFLOP's (FP16 cumulatief) prestaties. De GPU beschikt over 80 Gb HBM2e-geheugen, geconfigureerd via een 5120-bit interface en heeft een TDP van 350 Watt. Wat TDP betreft: aangezien de Superchip-module ongeveer 2700 W bedraagt, verwachten we dat de grotere GB200 NVL4-oplossing dichter bij 6000 W aan stroom zal verbruiken.