Amazon AWS vabastab Inferentia 2 kiibi, et kiirendada suuremahuliste mudelite järeldusi

31
Amazon AWS annab välja Inferentia 2 kiibi, mis kolmekordistab andmetöötluse jõudlust ja suurendab kogu kiirendi mälu veerandi võrra. Inferentia 2 toetab hajutatud arutluskäiku ja suudab toetada kuni 175 miljardit parameetrit, muutes selle tugevaks konkurendiks suuremahuliste mudelite arutluskäikudel.