NVIDIA rilascia una nuova piattaforma hardware per soluzioni AI

Il 19 novembre, il produttore di chip di intelligenza artificiale (AI) NVIDIA ha lanciato ufficialmente due nuove piattaforme hardware per soluzioni AI, vale a dire Blackwell GB200 NVL4 e Hopper H200 NVL. Tra questi, NVIDIA GB200 NVL4 è un modulo nuovissimo, che è un'espansione più ampia basata sulla soluzione AI originale GB200 Grace Blackwell Superchip. Il modulo GB200 NVL4 configura due GPU Blackwell GB200 su una scheda madre più grande, ovvero ha due CPU Grace e quattro GPU Blackwell B200. Il modulo è progettato come soluzione a server singolo con domini NVLINK a 4 GPU e memoria coerente da 1,3 T. In termini di prestazioni, il modulo migliorerà le prestazioni di simulazione di 2,2 volte e le prestazioni di addestramento e inferenza di 1,8 volte. I partner di NVIDIA forniranno soluzioni NVL4 nei prossimi mesi. Inoltre, Hopper H200 NVL basato su PCIe è ora generalmente disponibile e queste schede possono connettere fino a 4 GPU tramite il dominio NVLINK, offrendo una larghezza di banda fino a 7 volte più veloce rispetto alle soluzioni PCIe standard. Nvidia afferma che la soluzione H200 NVL può adattarsi a qualsiasi data center e offre una gamma di configurazioni server flessibili ottimizzate per carichi di lavoro misti HPC e AI. In termini di specifiche, la soluzione Hopper H200 NVL fornisce memoria HBM 1,5x, prestazioni di inferenza LLM 1,7x e prestazioni HPC 1,3x. Ottieni 114 SM per un totale di 14592 CUDA core, 456 tensor core e fino a 3 prestazioni FP8 TFLOP (cumulative FP16). La GPU è dotata di memoria HBM2e da ​​80 Gb configurata su un'interfaccia a 5120 bit e ha un TDP di 350 Watt. Per quanto riguarda il TDP, poiché il modulo Superchip è di circa 2700 W, ci si aspetta che la soluzione GB200 NVL4 più grande consumi più vicino ai 6000 W di potenza.