تراشه استنتاج مدل بزرگ Groq عملکرد عالی دارد و تنها یک دهم توان مصرفی پردازنده گرافیکی NVIDIA را مصرف می کند.

2024-12-26 18:39
 48
تراشه استنتاج مدل بزرگ Groq راه حل LPU (واحد پردازش زبان) را برای اولین بار در جهان پیشنهاد می کند که یک تراشه Tensor Streaming Processor (TSP) بر اساس معماری TSA است. اگرچه LPU Groq از فناوری پردازش پیشرفته گران قیمت استفاده نمی کند، اما فرآیند 14 نانومتری را انتخاب می کند، عملکرد آن همچنان عالی است و تا 1000 TOPS قدرت محاسباتی را ارائه می دهد و عملکرد آن در برخی از مدل های یادگیری ماشین بهتر از GPU های معمولی است و TPU بین 10 تا 100 برابر بهبود یافته است. علاوه بر این، مصرف انرژی تراشه های LPU Groq تنها یک دهم پردازنده های گرافیکی Nvidia است.