Baichuan Intelligent stel nuwe strategie vry vir transformatordoeltreffendheidoptimalisering

Wang Bingning, hoof van vooropleiding by Baichuan Intelligence, het die jongste navorsingsresultate oor transformatordoeltreffendheidoptimering by die "2024 Global Machine Learning Technology Conference" gedeel. Hy het voorgestel dat deur die implementering van twee optimaliseringstrategieë, GQA en MQA, die I/O-bottelnekprobleem van Transformer in die dekoderingstadium effektief opgelos kan word, en sodoende afleidingsdoeltreffendheid verbeter.