Groq büyük model çıkarım çipi mükemmel performansa sahiptir ve NVIDIA GPU'nun güç tüketiminin yalnızca onda birini tüketir

Groq'un büyük model çıkarım çipi, dünyada ilk kez TSA mimarisini temel alan Tensor Streaming Processor (TSP) çipi olan LPU (Dil İşleme Birimi) çözümünü öneriyor. Her ne kadar Groq'un LPU'su pahalı son teknoloji işlem teknolojisini kullanmasa ve 14nm sürecini seçse de performansı hala mükemmel, 1000 TOPS'a kadar bilgi işlem gücü sağlıyor ve bazı makine öğrenimi modellerindeki performansı geleneksel GPU'lardan daha iyi ve TPU 10 ila 100 kat iyileştirildi. Ayrıca Groq LPU çiplerinin enerji tüketimi, Nvidia GPU'ların enerji tüketiminin yalnızca onda biri kadardır.