A Baichuan Intelligent új stratégiát adott ki a transzformátorok hatékonyságának optimalizálására

Wang Bingning, a Baichuan Intelligence előképzési részlegének vezetője megosztotta a transzformátorok hatékonyságának optimalizálásával kapcsolatos legújabb kutatási eredményeket a „2024 Global Machine Learning Technology Conference” rendezvényen. Azt javasolta, hogy két optimalizálási stratégia, a GQA és az MQA megvalósításával hatékonyan megoldható legyen a Transformer I/O szűk keresztmetszeti problémája a dekódolási szakaszban, ezáltal javítva a következtetések hatékonyságát.