Der Groq-Inferenzchip für große Modelle bietet eine hervorragende Leistung und verbraucht nur ein Zehntel des Stromverbrauchs der NVIDIA-GPU

Der große Modell-Inferenzchip von Groq schlägt zum ersten Mal weltweit die LPU-Lösung (Language Processing Unit) vor, bei der es sich um einen Tensor Streaming Processor (TSP)-Chip handelt, der auf der TSA-Architektur basiert. Obwohl die LPU von Groq keine teure, hochmoderne Prozesstechnologie verwendet, sondern sich für den 14-nm-Prozess entscheidet, ist ihre Leistung immer noch hervorragend und bietet bis zu 1000 TOPS Rechenleistung, und ihre Leistung ist bei einigen Modellen für maschinelles Lernen besser als die herkömmlicher GPUs und TPU wurde um das 10- bis 100-fache verbessert. Zudem beträgt der Energieverbrauch von Groq-LPU-Chips nur ein Zehntel des von Nvidia-GPUs.