Baichuan Intelligent lança nova estratégia para otimização da eficiência do transformador

Wang Bingning, chefe de pré-treinamento da Baichuan Intelligence, compartilhou os resultados mais recentes da pesquisa sobre otimização da eficiência do transformador na "2024 Global Machine Learning Technology Conference". Ele propôs que, ao implementar duas estratégias de otimização, GQA e MQA, o problema de gargalo de E/S do Transformer no estágio de decodificação pode ser efetivamente resolvido, melhorando assim a eficiência da inferência.