Groq大模型推理芯片性能卓越，功耗仅为英伟达GPU的十分之一

Groq的大模型推理芯片在全球范围内首次提出了LPU（Language Processing Unit）解决方案，这是一款基于TSA架构的Tensor Streaming Processor (TSP) 芯片。尽管Groq的LPU并未采用昂贵的尖端制程工艺，而是选择了14nm制程，但其性能表现依然出色，提供了高达1000 TOPS的计算能力，在某些机器学习模型上的性能表现比常规GPU和TPU提升了10到100倍。此外，Groq LPU芯片的能耗仅为英伟达GPU的十分之一。