Groq groot model afleidingskyfie het uitstekende werkverrigting en verbruik slegs een tiende van die kragverbruik van NVIDIA GPU

2024-12-26 18:39
 48
Groq se groot modelafleidingskyfie stel vir die eerste keer ter wêreld die LPU (Language Processing Unit)-oplossing voor, wat 'n Tensor Streaming Processor (TSP)-skyfie is wat op die TSA-argitektuur gebaseer is. Alhoewel Groq se LPU nie duur voorpuntprosestegnologie gebruik nie, maar die 14nm-proses kies, is sy werkverrigting steeds uitstekend, wat tot 1000 TOPS van rekenaarkrag verskaf, en sy werkverrigting op sommige masjienleermodelle is beter as dié van konvensionele GPU's en TPU is met 10 tot 100 keer verbeter. Boonop is die energieverbruik van Groq LPU-skyfies slegs een tiende van dié van Nvidia GPU's.