Baichuan Intelligent пуска нова стратегия за оптимизиране на ефективността на трансформатора

Wang Bingning, ръководител на предварителното обучение в Baichuan Intelligence, сподели най-новите резултати от изследването за оптимизиране на ефективността на трансформатора на "2024 Global Machine Learning Technology Conference". Той предложи чрез прилагане на две стратегии за оптимизация, GQA и MQA, проблемът с тесните места на I/O на Transformer в етапа на декодиране може да бъде ефективно разрешен, като по този начин се подобри ефективността на извода.