Cip inferens model besar Groq mempunyai prestasi cemerlang dan menggunakan hanya satu persepuluh daripada penggunaan kuasa GPU NVIDIA

2024-12-26 18:39
 48
Cip inferens model besar Groq mencadangkan penyelesaian LPU (Unit Pemprosesan Bahasa) buat kali pertama di dunia, iaitu cip Tensor Streaming Processor (TSP) berdasarkan seni bina TSA. Walaupun LPU Groq tidak menggunakan teknologi proses canggih yang mahal, tetapi memilih proses 14nm, prestasinya masih cemerlang, menyediakan sehingga 1000 TOPS kuasa pengkomputeran, dan prestasinya pada beberapa model pembelajaran mesin adalah lebih baik daripada GPU konvensional dan TPU telah dipertingkatkan sebanyak 10 hingga 100 kali ganda. Di samping itu, penggunaan tenaga cip LPU Groq hanya sepersepuluh daripada GPU Nvidia.