Baichuan Intelligent gefur út nýja stefnu fyrir hagræðingu Transformers

Wang Bingning, yfirmaður forþjálfunar hjá Baichuan Intelligence, deildi nýjustu rannsóknarniðurstöðum um hagræðingu Transformer skilvirkni á „2024 Global Machine Learning Technology Conference“. Hann lagði til að með því að innleiða tvær hagræðingaraðferðir, GQA og MQA, væri hægt að leysa I/O flöskuhálsvandamál Transformer á umskráningarstigi á áhrifaríkan hátt og þar með bæta ályktunarskilvirkni.