Chip inferensi model besar Groq memiliki kinerja luar biasa dan hanya mengonsumsi sepersepuluh konsumsi daya GPU NVIDIA

Chip inferensi model besar Groq mengusulkan solusi LPU (Language Processing Unit) untuk pertama kalinya di dunia, yaitu chip Tensor Streaming Processor (TSP) berdasarkan arsitektur TSA. Meskipun LPU Groq tidak menggunakan teknologi proses mutakhir yang mahal, namun memilih proses 14nm, namun performanya tetap prima, menyediakan daya komputasi hingga 1000 TOPS, dan performanya pada beberapa model pembelajaran mesin lebih baik dibandingkan GPU konvensional dan TPU telah ditingkatkan 10 hingga 100 kali lipat. Selain itu, konsumsi energi chip LPU Groq hanya sepersepuluh dari GPU Nvidia.