ชิปอนุมานรุ่น Groq ขนาดใหญ่มีประสิทธิภาพที่ยอดเยี่ยมและใช้พลังงานเพียงหนึ่งในสิบของการใช้พลังงานของ NVIDIA GPU

2024-12-26 18:39
 48
ชิปอนุมานแบบจำลองขนาดใหญ่ของ Groq นำเสนอโซลูชัน LPU (หน่วยประมวลผลภาษา) เป็นครั้งแรกในโลก ซึ่งเป็นชิป Tensor Streaming Processor (TSP) ที่ใช้สถาปัตยกรรม TSA แม้ว่า LPU ของ Groq จะไม่ใช้เทคโนโลยีการประมวลผลที่ล้ำสมัยราคาแพง แต่เลือกกระบวนการ 14 นาโนเมตร แต่ประสิทธิภาพของมันยังคงยอดเยี่ยม โดยให้พลังการประมวลผลสูงถึง 1,000 TOPS และประสิทธิภาพในโมเดลการเรียนรู้ของเครื่องบางรุ่นก็ดีกว่า GPU ทั่วไปและ TPU ได้รับการปรับปรุง 10 ถึง 100 เท่า นอกจากนี้ การใช้พลังงานของชิป Groq LPU นั้นมีเพียง 1 ใน 10 ของ GPU ของ Nvidia เท่านั้น