Baichuan Intelligent Transformator samaradorligini optimallashtirish bo'yicha yangi strategiyani chiqardi

Vang Bingning, Baichuan Intelligence kompaniyasining oldindan tayyorgarlik bo'limi rahbari "2024 Global Machine Learning Technology Conference" da Transformator samaradorligini optimallashtirish bo'yicha so'nggi tadqiqot natijalari bilan o'rtoqlashdi. U ikkita optimallashtirish strategiyasini, GQA va MQAni amalga oshirish orqali Transformatorning dekodlash bosqichida kiritish-chiqarish muammosini samarali hal qilish va shu bilan xulosa chiqarish samaradorligini oshirishni taklif qildi.