Baichuan Intelligent lanserer ny strategi for optimalisering av transformatoreffektivitet

Wang Bingning, leder for pre-training ved Baichuan Intelligence, delte de siste forskningsresultatene om transformatoreffektivitetsoptimalisering på "2024 Global Machine Learning Technology Conference". Han foreslo at ved å implementere to optimaliseringsstrategier, GQA og MQA, kan I/O-flaskehalsproblemet til Transformer i dekodingsstadiet effektivt løses, og dermed forbedre inferenseffektiviteten.