NVIDIA släpper ny maskinvaruplattform för AI-lösning

Den 19 november lanserade tillverkaren av artificiell intelligens (AI)-chips NVIDIA officiellt två nya hårdvaruplattformar för AI-lösningar, nämligen Blackwell GB200 NVL4 och Hopper H200 NVL. Bland dem är NVIDIA GB200 NVL4 en helt ny modul, som är en större expansion baserad på den ursprungliga GB200 Grace Blackwell Superchip AI-lösningen. GB200 NVL4-modulen konfigurerar två Blackwell GB200 GPU:er på ett större moderkort, det vill säga den har två Grace-processorer och fyra Blackwell B200 GPU:er. Modulen är designad som en enda serverlösning med 4-GPU NVLINK-domäner och 1,3T koherent minne. När det gäller prestanda kommer modulen att förbättra simuleringsprestanda med 2,2 gånger och tränings- och slutledningsprestanda med 1,8 gånger. NVIDIAs partners kommer att tillhandahålla NVL4-lösningar under de kommande månaderna. Dessutom är PCIe-baserade Hopper H200 NVL nu allmänt tillgänglig, och dessa kort kan ansluta upp till 4 GPU: er via NVLINK-domänen, vilket ger upp till 7 gånger snabbare bandbredd än vanliga PCIe-lösningar. Nvidia säger att H200 NVL-lösningen kan passa in i alla datacenter och erbjuder en rad flexibla serverkonfigurationer optimerade för blandade HPC- och AI-arbetsbelastningar. När det gäller specifikationer ger Hopper H200 NVL-lösningen 1,5x HBM-minne, 1,7x LLM-inferensprestanda och 1,3x HPC-prestanda. Du får 114 SM:s för totalt 14592 CUDA-kärnor, 456 tensorkärnor och upp till 3 FP8 TFLOPs (FP16 kumulativ) prestanda. GPU:n har 80 Gb HBM2e-minne konfigurerat över 5120-bitars gränssnitt och har en TDP på ​​350 watt. När det gäller TDP, eftersom Superchip-modulen är runt 2700W, förvänta dig att den större GB200 NVL4-lösningen förbrukar närmare 6000W ström.