Baichuan Intelligent objavljuje novu strategiju za optimizaciju učinkovitosti transformatora

Wang Bingning, voditelj predobuke u tvrtki Baichuan Intelligence, podijelio je najnovije rezultate istraživanja o optimizaciji učinkovitosti transformatora na "2024 Global Machine Learning Technology Conference". Predložio je da se implementacijom dviju optimizacijskih strategija, GQA i MQA, problem I/O uskog grla Transformera u fazi dekodiranja može učinkovito riješiti, čime se poboljšava učinkovitost zaključivanja.