Baichuan Intelligent izdod jaunu transformatoru efektivitātes optimizācijas stratēģiju

Van Bingnings, Baichuan Intelligence pirmsapmācības nodaļas vadītājs, "2024. gada globālajā mašīnmācīšanās tehnoloģiju konferencē" dalījās ar jaunākajiem pētījuma rezultātiem par transformatoru efektivitātes optimizāciju. Viņš ierosināja, ka, ieviešot divas optimizācijas stratēģijas, GQA un MQA, var efektīvi atrisināt transformatora I/O sašaurinājuma problēmu dekodēšanas stadijā, tādējādi uzlabojot secinājumu efektivitāti.