Amazon AWS が大規模モデル推論を高速化する Inferentia 2 チップをリリース

Amazon AWS は、コンピューティング パフォーマンスを 3 倍にし、アクセラレータの総メモリを 4 分の 1 増加させる Inferentia 2 チップをリリースします。 Inferentia 2 は分散推論をサポートしており、最大 1,750 億のパラメーターをサポートできるため、大規模なモデル推論の強力な競合相手になります。