Amazon AWS veröffentlicht den Inferentia 2-Chip, um groß angelegte Modellinferenzen zu beschleunigen

2024-12-26 07:13
 31
Amazon AWS veröffentlicht den Inferentia 2-Chip, der die Rechenleistung verdreifacht und den gesamten Beschleunigerspeicher um ein Viertel erhöht. Inferentia 2 unterstützt verteiltes Denken und kann bis zu 175 Milliarden Parameter unterstützen, was es zu einem starken Konkurrenten für groß angelegtes Modelldenken macht.