Amazon AWS lanza el chip Inferentia 2 para acelerar la inferencia de modelos a gran escala

2024-12-26 07:13
 31
Amazon AWS lanza el chip Inferentia 2, que triplica el rendimiento informático y aumenta la memoria total del acelerador en una cuarta parte. Inferentia 2 admite el razonamiento distribuido y puede admitir hasta 175 mil millones de parámetros, lo que lo convierte en un fuerte competidor para el razonamiento de modelos a gran escala.