Amazon AWS julkaisee Inferentia 2 -sirun nopeuttaakseen laajamittaisten mallien päättelyä

2024-12-26 07:13
 31
Amazon AWS julkaisee Inferentia 2 -sirun, joka kolminkertaistaa laskentasuorituskyvyn ja lisää kiihdytinmuistia neljänneksellä. Inferentia 2 tukee hajautettua päättelyä ja voi tukea jopa 175 miljardia parametria, mikä tekee siitä vahvan kilpailijan laajamittaisessa mallipäättelyssä.