Ang Amazon AWS ay naglabas ng Inferentia 2 chip para mapabilis ang malakihang modelong inference

31
Inilabas ng Amazon AWS ang Inferentia 2 chip, na triple ang pagganap ng computing at pinapataas ang kabuuang memorya ng accelerator ng isang quarter. Sinusuportahan ng Inferentia 2 ang distributed reasoning at maaaring suportahan ang hanggang 175 bilyong parameter, na ginagawa itong isang malakas na katunggali para sa malakihang pangangatwiran ng modelo.