„Baichuan Intelligent“ išleido naują transformatoriaus efektyvumo optimizavimo strategiją

Wang Bingning, „Baichuan Intelligence“ išankstinio mokymo vadovas, „2024 m. pasaulinėje mašininio mokymosi technologijų konferencijoje“ pasidalijo naujausiais transformatorių efektyvumo optimizavimo tyrimų rezultatais. Jis pasiūlė, kad įgyvendinus dvi optimizavimo strategijas, GQA ir MQA, būtų galima veiksmingai išspręsti transformatoriaus įvesties / išvesties kliūties problemą dekodavimo etape, taip pagerinant išvadų efektyvumą.