Chip suy luận mô hình lớn Groq có hiệu năng vượt trội và chỉ tiêu thụ 1/10 mức tiêu thụ điện năng của GPU NVIDIA

Chip suy luận mô hình lớn của Groq lần đầu tiên trên thế giới đề xuất giải pháp LPU (Bộ xử lý ngôn ngữ), đó là chip Bộ xử lý truyền phát Tensor (TSP) dựa trên kiến ​​trúc TSA. Mặc dù LPU của Groq không sử dụng công nghệ xử lý tiên tiến đắt tiền mà chọn quy trình 14nm nhưng hiệu suất của nó vẫn rất xuất sắc, cung cấp sức mạnh tính toán lên tới 1000 TOPS và hiệu suất của nó trên một số mô hình học máy tốt hơn so với GPU thông thường và TPU đã được cải thiện từ 10 đến 100 lần. Ngoài ra, mức tiêu thụ năng lượng của chip Groq LPU chỉ bằng 1/10 so với GPU Nvidia.