NVIDIA lansează o nouă platformă hardware pentru soluții AI

Pe 19 noiembrie, producătorul de cipuri de inteligență artificială (AI) NVIDIA a lansat oficial două noi platforme hardware pentru soluții AI, și anume Blackwell GB200 NVL4 și Hopper H200 NVL. Printre acestea, NVIDIA GB200 NVL4 este un modul nou-nouț, care este o expansiune mai mare bazată pe soluția originală GB200 Grace Blackwell Superchip AI. Modulul GB200 NVL4 configurează două GPU-uri Blackwell GB200 pe o placă de bază mai mare, adică are două procesoare Grace și patru GPU-uri Blackwell B200. Modulul este conceput ca o soluție de server unic cu domenii NVLINK cu 4 GPU și memorie coerentă de 1.3T. În ceea ce privește performanța, modulul va îmbunătăți performanța de simulare de 2,2 ori și performanța de antrenament și inferență de 1,8 ori. Partenerii NVIDIA vor oferi soluții NVL4 în următoarele luni. În plus, Hopper H200 NVL bazat pe PCIe este acum disponibil în general, iar aceste plăci se pot conecta până la 4 GPU-uri prin domeniul NVLINK, oferind o lățime de bandă de până la 7 ori mai rapidă decât soluțiile standard PCIe. Nvidia spune că soluția H200 NVL se poate încadra în orice centru de date și oferă o gamă de configurații flexibile de server optimizate pentru sarcini mixte HPC și AI. În ceea ce privește specificațiile, soluția Hopper H200 NVL oferă memorie HBM de 1,5x, performanță de inferență LLM de 1,7x și performanță HPC de 1,3x. Obțineți 114 SM-uri pentru un total de 14592 de nuclee CUDA, 456 de nuclee tensor și până la 3 performanțe FP8 TFLOP (FP16 cumulative). GPU-ul dispune de memorie HBM2e de 80 Gb configurată pe o interfață de 5120 de biți și are un TDP de 350 de wați. În ceea ce privește TDP, deoarece modulul Superchip are în jur de 2700W, așteptați-vă ca soluția mai mare GB200 NVL4 să consume mai aproape de 6000W de putere.