Baichuan Intelligent компани трансформаторын үр ашгийг оновчтой болгох шинэ стратегийг гаргажээ

Baichuan Intelligence-ийн урьдчилсан сургалтын албаны дарга Ван Биннинг "2024 оны дэлхийн машин сургалтын технологийн бага хурал" дээр Трансформаторын үр ашгийг оновчтой болгох судалгааны хамгийн сүүлийн үеийн үр дүнг хуваалцав. Тэрээр GQA болон MQA гэсэн хоёр оновчлолын стратегийг хэрэгжүүлснээр код тайлах үе шатанд Transformer-ийн оролт/гаралтын гацах асуудлыг үр дүнтэй шийдэж, улмаар дүгнэлтийн үр ашгийг дээшлүүлэх боломжтой гэж тэрээр санал болгов.