Amazon AWS merilis chip Inferentia 2 untuk mempercepat inferensi model skala besar

Amazon AWS merilis chip Inferentia 2, yang melipatgandakan kinerja komputasi dan meningkatkan total memori akselerator hingga seperempatnya. Inferentia 2 mendukung penalaran terdistribusi dan dapat mendukung hingga 175 miliar parameter, menjadikannya pesaing kuat untuk penalaran model skala besar.