NVIDIA, 새로운 AI 솔루션 하드웨어 플랫폼 출시

11월 19일, 인공지능(AI) 칩 제조사 엔비디아(NVIDIA)가 블랙웰(Blackwell) GB200 NVL4와 호퍼(Hopper) H200 NVL이라는 두 가지 새로운 AI 솔루션 하드웨어 플랫폼을 공식 출시했습니다. 그중 NVIDIA GB200 NVL4는 원래 GB200 Grace Blackwell Superchip AI 솔루션을 기반으로 더욱 확장된 새로운 모듈입니다. GB200 NVL4 모듈은 더 큰 마더보드에 2개의 Blackwell GB200 GPU를 구성합니다. 즉, 2개의 Grace CPU와 4개의 Blackwell B200 GPU가 있습니다. 이 모듈은 4-GPU NVLINK 도메인과 1.3T 코히어런트 메모리를 갖춘 단일 서버 솔루션으로 설계되었습니다. 성능 측면에서 이 모듈은 시뮬레이션 성능을 2.2배, 훈련 및 추론 성능을 1.8배 향상시킵니다. NVIDIA의 파트너는 앞으로 몇 달 안에 NVL4 솔루션을 제공할 예정입니다. 또한 이제 PCIe 기반 Hopper H200 NVL이 일반 공급되며, 이 카드는 NVLINK 도메인을 통해 최대 4개의 GPU를 연결하여 표준 PCIe 솔루션보다 최대 7배 빠른 대역폭을 제공할 수 있습니다. Nvidia는 H200 NVL 솔루션이 모든 데이터 센터에 적합할 수 있으며 혼합 HPC 및 AI 워크로드에 최적화된 다양하고 유연한 서버 구성을 제공한다고 말합니다. 사양 측면에서 Hopper H200 NVL 솔루션은 1.5x HBM 메모리, 1.7x LLM 추론 성능 및 1.3x HPC 성능을 제공합니다. 총 14592개의 CUDA 코어, 456개의 텐서 코어 및 최대 3개의 FP8 TFLOP(FP16 누적) 성능에 대해 114개의 SM을 얻을 수 있습니다. GPU는 5120비트 인터페이스에 구성된 80Gb HBM2e 메모리를 갖추고 있으며 TDP는 350W입니다. TDP의 경우 Superchip 모듈은 약 2700W이므로 더 큰 GB200 NVL4 솔루션은 6000W에 가까운 전력을 소비할 것으로 예상됩니다.