Το τσιπ συμπερασμάτων μεγάλου μοντέλου Groq έχει εξαιρετική απόδοση και καταναλώνει μόνο το ένα δέκατο της κατανάλωσης ενέργειας της NVIDIA GPU

2024-12-26 18:39
 48
Το μεγάλο τσιπ συμπερασμάτων μοντέλων της Groq προτείνει τη λύση LPU (Language Processing Unit) για πρώτη φορά στον κόσμο, η οποία είναι ένα τσιπ Tensor Streaming Processor (TSP) που βασίζεται στην αρχιτεκτονική TSA. Αν και το LPU του Groq δεν χρησιμοποιεί ακριβή τεχνολογία αιχμής, αλλά επιλέγει τη διαδικασία των 14 nm, η απόδοσή του εξακολουθεί να είναι εξαιρετική, παρέχοντας έως και 1000 TOPS υπολογιστικής ισχύος και η απόδοσή του σε ορισμένα μοντέλα μηχανικής εκμάθησης είναι καλύτερη από αυτή των συμβατικών GPU και Το TPU έχει βελτιωθεί κατά 10 έως 100 φορές. Επιπλέον, η κατανάλωση ενέργειας των τσιπ LPU Groq είναι μόνο το ένα δέκατο αυτής των GPU της Nvidia.