Baichuan Intelligent annab välja uue trafo tõhususe optimeerimise strateegia

Baichuan Intelligence'i eelkoolituse juht Wang Bingning jagas "2024. aasta ülemaailmsel masinõppetehnoloogia konverentsil" uusimaid uuringutulemusi transformaatorite tõhususe optimeerimise kohta. Ta tegi ettepaneku, et rakendades kahte optimeerimisstrateegiat, GQA ja MQA, saab tõhusalt lahendada Transformeri sisend-väljundi kitsaskoha probleemi dekodeerimise etapis, parandades seeläbi järelduste tõhusust.