De Groq-inferentiechip voor grote modellen levert uitstekende prestaties en verbruikt slechts een tiende van het stroomverbruik van de NVIDIA GPU

Groq's grote modelinferentiechip stelt voor het eerst ter wereld de LPU-oplossing (Language Processing Unit) voor, een Tensor Streaming Processor (TSP) -chip gebaseerd op de TSA-architectuur. Hoewel de LPU van Groq geen gebruik maakt van dure geavanceerde procestechnologie, maar kiest voor het 14nm-proces, zijn de prestaties nog steeds uitstekend en leveren ze tot 1000 TOPS aan rekenkracht, en zijn de prestaties op sommige machine learning-modellen beter dan die van conventionele GPU's en TPU is 10 tot 100 keer verbeterd. Bovendien is het energieverbruik van Groq LPU-chips slechts een tiende van dat van Nvidia GPU's.