Baichuan Intelligent przedstawia nową strategię optymalizacji wydajności transformatorów

Wang Bingning, kierownik ds. szkoleń wstępnych w Baichuan Intelligence, podzielił się najnowszymi wynikami badań dotyczących optymalizacji wydajności transformatorów podczas „Globalnej konferencji na temat technologii uczenia maszynowego 2024”. Zaproponował, że poprzez wdrożenie dwóch strategii optymalizacji, GQA i MQA, można skutecznie rozwiązać problem wąskiego gardła we/wy transformatora na etapie dekodowania, poprawiając w ten sposób wydajność wnioskowania.