Amazon AWS выпускает чип Inferentia 2 для ускорения вывода крупномасштабных моделей

Amazon AWS выпускает чип Inferentia 2, который утрояет вычислительную производительность и увеличивает общий объем памяти ускорителя на четверть. Inferentia 2 поддерживает распределенные рассуждения и может поддерживать до 175 миллиардов параметров, что делает его сильным конкурентом для рассуждений на крупномасштабных моделях.