Baichuan Intelligent publie une nouvelle stratégie pour l'optimisation de l'efficacité des transformateurs

Wang Bingning, responsable de la pré-formation chez Baichuan Intelligence, a partagé les derniers résultats de recherche sur l'optimisation de l'efficacité des transformateurs lors de la « Conférence mondiale sur les technologies d'apprentissage automatique 2024 ». Il a proposé qu'en mettant en œuvre deux stratégies d'optimisation, GQA et MQA, le problème de goulot d'étranglement d'E/S de Transformer au cours de l'étape de décodage puisse être résolu efficacement, améliorant ainsi l'efficacité de l'inférence.