El chip de inferencia de modelo grande Groq tiene un rendimiento excelente y consume solo una décima parte del consumo de energía de la GPU NVIDIA.

El chip de inferencia de modelos grandes de Groq propone por primera vez en el mundo la solución LPU (Unidad de procesamiento de lenguaje), que es un chip Tensor Streaming Processor (TSP) basado en la arquitectura TSA. Aunque la LPU de Groq no utiliza tecnología de proceso de vanguardia costosa, sino que elige el proceso de 14 nm, su rendimiento sigue siendo excelente y proporciona hasta 1000 TOPS de potencia informática, y su rendimiento en algunos modelos de aprendizaje automático es mejor que el de las GPU y El TPU se ha mejorado entre 10 y 100 veces. Además, el consumo de energía de los chips Groq LPU es sólo una décima parte del de las GPU Nvidia.