Baichuan Intelligent julkaisee uuden muuntajan tehokkuuden optimointistrategian
Baidu Apollo
Baichuanin älykkyys
Lear
2024
I/O
Transform
optimointi
strategia
Mach
tehokkuutta
johtaja
Mac
2024-12-27 06:16
74
Wang Bingning, Baichuan Intelligencen esikoulutuksen johtaja, jakoi viimeisimmät tutkimustulokset muuntajien tehokkuuden optimoinnista "2024 Global Machine Learning Technology Conference -konferenssissa". Hän ehdotti, että ottamalla käyttöön kaksi optimointistrategiaa, GQA ja MQA, Transformerin I/O-pullonkaulaongelma dekoodausvaiheessa voidaan ratkaista tehokkaasti, mikä parantaa päättelytehokkuutta.
