NVIDIA wypuszcza nową platformę sprzętową rozwiązań AI

19 listopada producent chipów sztucznej inteligencji (AI) NVIDIA oficjalnie wprowadził na rynek dwie nowe platformy sprzętowe rozwiązań AI, a mianowicie Blackwell GB200 NVL4 i Hopper H200 NVL. Wśród nich zupełnie nowym modułem jest NVIDIA GB200 NVL4, będący większym rozszerzeniem opartym na oryginalnym rozwiązaniu AI GB200 Grace Blackwell Superchip. Moduł GB200 NVL4 konfiguruje dwa procesory graficzne Blackwell GB200 na większej płycie głównej, czyli posiada dwa procesory Grace i cztery procesory graficzne Blackwell B200. Moduł zaprojektowano jako rozwiązanie jednoserwerowe z domenami 4-GPU NVLINK i pamięcią koherentną 1,3T. Pod względem wydajności moduł poprawi wydajność symulacji o 2,2 razy, a wydajność uczenia i wnioskowania o 1,8 razy. Partnerzy NVIDIA będą dostarczać rozwiązania NVL4 w nadchodzących miesiącach. Ponadto ogólnie dostępny jest oparty na PCIe Hopper H200 NVL, który umożliwia podłączenie do 4 procesorów graficznych za pośrednictwem domeny NVLINK, zapewniając do 7 razy większą przepustowość niż standardowe rozwiązania PCIe. Nvidia twierdzi, że rozwiązanie H200 NVL może zmieścić się w każdym centrum danych i oferuje szereg elastycznych konfiguracji serwerów zoptymalizowanych pod kątem mieszanych obciążeń HPC i AI. Pod względem specyfikacji rozwiązanie Hopper H200 NVL zapewnia 1,5x pamięć HBM, 1,7x wydajność wnioskowania LLM i 1,3x wydajność HPC. Otrzymujesz 114 SM, co daje w sumie 14592 rdzeni CUDA, 456 rdzeni tensorowych i wydajność do 3 FP8 TFLOP (łącznie FP16). Procesor graficzny wyposażony jest w 80 Gb pamięci HBM2e skonfigurowanej z 5120-bitowym interfejsem i ma TDP na poziomie 350 W. Jeśli chodzi o TDP, ponieważ moduł Superchip ma około 2700 W, należy spodziewać się, że większe rozwiązanie GB200 NVL4 będzie zużywać mniej więcej 6000 W.