Baichuan Intelligent lanza una nueva estrategia para optimizar la eficiencia de los transformadores

Wang Bingning, jefe de capacitación previa de Baichuan Intelligence, compartió los últimos resultados de la investigación sobre la optimización de la eficiencia de los transformadores en la "Conferencia Global de Tecnología de Aprendizaje Automático 2024". Propuso que al implementar dos estrategias de optimización, GQA y MQA, el problema del cuello de botella de E/S de Transformer en la etapa de decodificación se puede resolver de manera efectiva, mejorando así la eficiencia de la inferencia.