Groq 大型モデル推論チップは優れたパフォーマンスを備え、消費電力は NVIDIA GPU のわずか 10 分の 1 です。

Groq の大型モデル推論チップは、TSA アーキテクチャに基づく Tensor Streaming Processor (TSP) チップである LPU (Language Processing Unit) ソリューションを世界で初めて提案します。 Groq の LPU は高価な最先端のプロセス技術を使用せず、14nm プロセスを選択していますが、そのパフォーマンスは依然として優れており、最大 1000 TOPS の計算能力を提供し、一部の機械学習モデルでのパフォーマンスは従来の GPU のパフォーマンスよりも優れています。 TPUは10～100倍に改良されています。さらに、Groq LPU チップのエネルギー消費量は、Nvidia GPU のわずか 10 分の 1 です。