Cipul de inferență Groq model mare are performanțe excelente și consumă doar o zecime din consumul de energie al GPU-ului NVIDIA

Cipul de inferență de model mare al Groq propune soluția LPU (Language Processing Unit) pentru prima dată în lume, care este un cip Tensor Streaming Processor (TSP) bazat pe arhitectura TSA. Deși LPU-ul Groq nu folosește tehnologie costisitoare de proces de ultimă oră, ci alege procesul de 14 nm, performanța sa este totuși excelentă, oferind până la 1000 TOPS de putere de calcul, iar performanța sa pe unele modele de învățare automată este mai bună decât cea a GPU-urilor convenționale și TPU a fost îmbunătățit de 10 până la 100 de ori. În plus, consumul de energie al cipurilor Groq LPU este doar o zecime din cel al GPU-urilor Nvidia.