La puce d'inférence grand modèle Groq offre d'excellentes performances et ne consomme qu'un dixième de la consommation d'énergie du GPU NVIDIA.

La puce d'inférence grand modèle de Groq propose pour la première fois au monde la solution LPU (Language Processing Unit), qui est une puce Tensor Streaming Processor (TSP) basée sur l'architecture TSA. Bien que le LPU de Groq n'utilise pas une technologie de processus de pointe coûteuse, mais choisisse le processus 14 nm, ses performances sont toujours excellentes, fournissant jusqu'à 1 000 TOPS de puissance de calcul, et ses performances sur certains modèles d'apprentissage automatique sont meilleures que celles des GPU conventionnels et Le TPU a été amélioré de 10 à 100 fois. De plus, la consommation énergétique des puces Groq LPU n’est que d’un dixième de celle des GPU Nvidia.