O chip de inferência de modelo grande Groq tem excelente desempenho e consome apenas um décimo do consumo de energia da GPU NVIDIA

2024-12-26 18:39
 48
O chip de inferência de modelo grande da Groq propõe pela primeira vez no mundo a solução LPU (Language Processing Unit), que é um chip Tensor Streaming Processor (TSP) baseado na arquitetura TSA. Embora a LPU da Groq não use tecnologia de processo de ponta cara, mas escolha o processo de 14nm, seu desempenho ainda é excelente, fornecendo até 1000 TOPS de poder de computação, e seu desempenho em alguns modelos de aprendizado de máquina é melhor do que o de GPUs convencionais e A TPU foi melhorada de 10 a 100 vezes. Além disso, o consumo de energia dos chips Groq LPU é apenas um décimo do das GPUs Nvidia.