Amazon AWS izlaiž Inferentia 2 mikroshēmu, lai paātrinātu liela mēroga modeļa secinājumus

2024-12-26 07:13
 31
Amazon AWS izlaiž Inferentia 2 mikroshēmu, kas trīskāršo skaitļošanas veiktspēju un palielina kopējo paātrinātāja atmiņu par ceturtdaļu. Inferentia 2 atbalsta sadalīto spriešanu un var atbalstīt līdz 175 miljardiem parametru, padarot to par spēcīgu konkurentu liela mēroga modeļu spriešanas jomā.