Groqi suure mudeli järelduskiibil on suurepärane jõudlus ja see tarbib vaid kümnendiku NVIDIA GPU energiatarbimisest

2024-12-26 18:39
 48
Groqi suur mudelijäreldamiskiip pakub esmakordselt maailmas välja LPU (Language Processing Unit) lahenduse, mis on TSA arhitektuuril põhinev Tensor Streaming Processor (TSP) kiip. Kuigi Groqi LPU ei kasuta kallist tipptasemel protsessitehnoloogiat, vaid valib 14 nm protsessi, on selle jõudlus siiski suurepärane, pakkudes kuni 1000 TOPS arvutusvõimsust ning selle jõudlus mõne masinõppemudeli puhul on parem kui tavalistel GPU-del ja TPU-d on täiustatud 10–100 korda. Lisaks on Groq LPU kiipide energiatarve vaid kümnendik Nvidia GPU-de omast.