Baichuan Intelligent випускає нову стратегію для оптимізації ефективності трансформатора

Ван Біннін, керівник відділу попереднього навчання в Baichuan Intelligence, поділився останніми результатами дослідження оптимізації ефективності трансформаторів на «2024 Global Machine Learning Technology Conference». Він запропонував, що шляхом впровадження двох стратегій оптимізації, GQA та MQA, можна ефективно вирішити проблему вузьких місць вводу/виводу Transformer на етапі декодування, тим самим підвищуючи ефективність логічного висновку.