Чипът за извеждане на голям модел Groq има отлична производителност и консумира само една десета от консумацията на енергия на NVIDIA GPU

2024-12-26 18:39
 48
Големият моделен чип за изводи на Groq предлага решението LPU (Language Processing Unit) за първи път в света, което е чип Tensor Streaming Processor (TSP), базиран на TSA архитектурата. Въпреки че LPU на Groq не използва скъпа авангардна технология за процеси, а избира 14nm процес, неговата производителност все още е отлична, осигурявайки до 1000 TOPS изчислителна мощност и нейната производителност при някои модели за машинно обучение е по-добра от тази на конвенционалните GPU и TPU е подобрен от 10 до 100 пъти. В допълнение, консумацията на енергия на Groq LPU чиповете е само една десета от тази на Nvidia GPU.