Велика модель мікросхеми Groq має чудову продуктивність і споживає лише одну десяту споживаної енергії графічного процесора NVIDIA

2024-12-26 18:39
 48
Велика мікросхема виведення моделей Groq вперше в світі пропонує рішення LPU (Language Processing Unit), яке є мікросхемою Tensor Streaming Processor (TSP) на основі архітектури TSA. Незважаючи на те, що LPU від Groq не використовує дорогу передову технологію, а вибирає 14-нм процес, його продуктивність все ще чудова, забезпечуючи до 1000 TOPS обчислювальної потужності, а його продуктивність на деяких моделях машинного навчання краща, ніж у звичайних GPU та ТПУ покращено від 10 до 100 разів. Крім того, енергоспоживання чіпів Groq LPU становить лише одну десяту від енергоспоживання графічних процесорів Nvidia.