Amazon AWS lança chip Inferentia 2 para acelerar inferência de modelos em grande escala

Amazon AWS lança chip Inferentia 2, que triplica o desempenho da computação e aumenta a memória total do acelerador em um quarto. O Inferentia 2 suporta raciocínio distribuído e pode suportar até 175 bilhões de parâmetros, tornando-o um forte concorrente para raciocínio de modelo em larga escala.