Groq stor modell inferenschip har utmärkt prestanda och förbrukar bara en tiondel av strömförbrukningen för NVIDIA GPU

Groqs stora modellinferenschip föreslår LPU-lösningen (Language Processing Unit) för första gången i världen, som är ett Tensor Streaming Processor (TSP)-chip baserat på TSA-arkitekturen. Även om Groqs LPU inte använder dyr avancerad processteknik, utan väljer 14nm-processen, är dess prestanda fortfarande utmärkt, ger upp till 1000 TOPS datorkraft, och dess prestanda på vissa maskininlärningsmodeller är bättre än för konventionella GPU:er och TPU har förbättrats med 10 till 100 gånger. Dessutom är energiförbrukningen för Groq LPU-chips bara en tiondel av Nvidia GPU:er.