Groq didelis modelio išvadų lustas pasižymi puikiu našumu ir sunaudoja tik dešimtadalį NVIDIA GPU energijos suvartojimo

2024-12-26 18:39
 48
Didžiulis „Groq“ modelio išvados lustas pirmą kartą pasaulyje siūlo LPU (kalbų apdorojimo vieneto) sprendimą, kuris yra „Tensor Streaming Processor“ (TSP) lustas, pagrįstas TSA architektūra. Nors Groq LPU nenaudoja brangių pažangiausių procesų technologijų, o pasirenka 14 nm procesą, jo našumas vis tiek yra puikus, suteikiantis iki 1000 TOPS skaičiavimo galios, o kai kurių mašininio mokymosi modelių našumas yra geresnis nei įprastų GPU ir TPU buvo patobulintas nuo 10 iki 100 kartų. Be to, „Groq“ LPU lustų energijos sąnaudos siekia tik dešimtadalį „Nvidia“ GPU.