NVIDIA lance une nouvelle plate-forme matérielle de solution d'IA

Le 19 novembre, le fabricant de puces d'intelligence artificielle (IA) NVIDIA a officiellement lancé deux nouvelles plates-formes matérielles de solutions d'IA, à savoir Blackwell GB200 NVL4 et Hopper H200 NVL. Parmi eux, NVIDIA GB200 NVL4 est un tout nouveau module, qui est une extension plus grande basée sur la solution originale GB200 Grace Blackwell Superchip AI. Le module GB200 NVL4 configure deux GPU Blackwell GB200 sur une carte mère plus grande, c'est-à-dire qu'il dispose de deux processeurs Grace et de quatre GPU Blackwell B200. Le module est conçu comme une solution de serveur unique avec des domaines NVLINK à 4 GPU et une mémoire cohérente de 1,3 T. En termes de performances, le module améliorera les performances de simulation de 2,2 fois et les performances de formation et d'inférence de 1,8 fois. Les partenaires de NVIDIA fourniront des solutions NVL4 dans les mois à venir. De plus, le Hopper H200 NVL basé sur PCIe est désormais disponible pour tous, et ces cartes peuvent connecter jusqu'à 4 GPU via le domaine NVLINK, offrant une bande passante jusqu'à 7 fois plus rapide que les solutions PCIe standard. Nvidia affirme que la solution H200 NVL peut s'intégrer dans n'importe quel centre de données et offre une gamme de configurations de serveur flexibles optimisées pour les charges de travail mixtes HPC et IA. En termes de spécifications, la solution Hopper H200 NVL fournit 1,5x de mémoire HBM, 1,7x de performances d'inférence LLM et 1,3x de performances HPC. Vous obtenez 114 SM pour un total de 14 592 cœurs CUDA, 456 cœurs tenseurs et jusqu'à 3 performances FP8 TFLOP (FP16 cumulées). Le GPU dispose de 80 Go de mémoire HBM2e configurée sur une interface de 5 120 bits et d'un TDP de 350 watts. En ce qui concerne le TDP, puisque le module Superchip fait environ 2 700 W, attendez-vous à ce que la plus grande solution GB200 NVL4 consomme plus de 6 000 W de puissance.