Baichuan Intelligent lansează o nouă strategie pentru optimizarea eficienței transformatoarelor

Wang Bingning, șeful departamentului de pregătire preliminară la Baichuan Intelligence, a împărtășit cele mai recente rezultate ale cercetării privind optimizarea eficienței transformatoarelor la „2024 Global Machine Learning Technology Conference”. El a propus ca prin implementarea a două strategii de optimizare, GQA și MQA, problema blocajului I/O a Transformerului în etapa de decodare poate fi rezolvată eficient, îmbunătățind astfel eficiența inferenței.