英伟达发布全新AI解决方案硬件平台

2024-11-20 12:11
 154

11月19日,人工智能(AI)芯片大厂英伟达(NVIDIA)正式推出了两个全新的AI解决方案硬件平台,分别是Blackwell GB200 NVL4和Hopper H200 NVL。其中,英伟达GB200 NVL4是一个全新的模块,是基于原有的GB200 Grace Blackwell Superchip AI解决方案的更大扩展。GB200 NVL4模块是在更大的主板上配置两个Blackwell GB200 GPU,即拥有两个Grace CPU和4个Blackwell B200 GPU。该模块被设计为具有4-GPU NVLINK域和1.3T相干内存的单服务器解决方案。在性能方面,该模块将使模拟性能提高2.2倍,训练和推理性能提高1.8倍。英伟达的合作伙伴将在未来几个月内提供NVL4解决方案。此外,基于 PCIe 的Hopper H200 NVL已全面上市,这些卡可以通过 NVLINK 域连接多达 4 个 GPU,可提供比标准 PCIe 解决方案快7倍的带宽。英伟达表示,H200 NVL 解决方案可以适应任何数据中心,并提供一系列针对混合 HPC 和 AI 工作负载优化的灵活服务器配置。在规格方面,Hopper H200 NVL解决方案提供了1.5倍的HBM内存、1.7倍的LLM推理性能和1.3倍的HPC性能。您将获得114个SM,总共14592个CUDA内核、456个张量内核和最多3个FP8 TFLOP(FP16累积)性能。GPU具有跨5120位接口配置的80 Gb HBM2e内存,TDP为350瓦。至于 TDP,由于 Superchip 模块的功率约为 2700W,预计更大的 GB200 NVL4 解决方案的功耗接近 6000W 的功率。