NVIDIA phát hành nền tảng phần cứng giải pháp AI mới

Ngày 19/11, nhà sản xuất chip trí tuệ nhân tạo (AI) NVIDIA đã chính thức ra mắt 2 nền tảng phần cứng giải pháp AI mới là Blackwell GB200 NVL4 và Hopper H200 NVL. Trong số đó, NVIDIA GB200 NVL4 là một mô-đun hoàn toàn mới, là một bản mở rộng lớn hơn dựa trên giải pháp GB200 Grace Blackwell Superchip AI ban đầu. Mô-đun GB200 NVL4 cấu hình hai GPU Blackwell GB200 trên một bo mạch chủ lớn hơn, nghĩa là nó có hai CPU Grace và bốn GPU Blackwell B200. Mô-đun này được thiết kế như một giải pháp máy chủ duy nhất với các miền NVLINK 4 GPU và bộ nhớ kết hợp 1,3T. Về hiệu suất, mô-đun sẽ cải thiện hiệu suất mô phỏng lên 2,2 lần và hiệu suất đào tạo và suy luận lên 1,8 lần. Các đối tác của NVIDIA sẽ cung cấp giải pháp NVL4 trong những tháng tới. Ngoài ra, Hopper H200 NVL dựa trên PCIe hiện đã có sẵn rộng rãi và các thẻ này có thể kết nối tối đa 4 GPU thông qua miền NVLINK, cung cấp băng thông nhanh hơn tới 7 lần so với các giải pháp PCIe tiêu chuẩn. Nvidia cho biết giải pháp H200 NVL có thể phù hợp với bất kỳ trung tâm dữ liệu nào và cung cấp nhiều cấu hình máy chủ linh hoạt được tối ưu hóa cho khối lượng công việc HPC và AI hỗn hợp. Về thông số kỹ thuật, giải pháp Hopper H200 NVL cung cấp bộ nhớ HBM 1,5 lần, hiệu suất suy luận LLM 1,7 lần và hiệu suất HPC 1,3 lần. Bạn nhận được 114 SM với tổng số 14592 lõi CUDA, 456 lõi tensor và hiệu suất lên tới 3 FP8 TFLOP (tích lũy FP16). GPU có bộ nhớ HBM2e 80 Gb được cấu hình trên giao diện 5120 bit và có TDP là 350 Watts. Đối với TDP, do mô-đun Superchip có công suất khoảng 2700W, dự kiến ​​giải pháp GB200 NVL4 lớn hơn sẽ tiêu thụ gần 6000W điện năng.