Baichuan Intelligent Merilis Strategi Baru untuk Optimasi Efisiensi Transformator

Wang Bingning, kepala pra-pelatihan di Baichuan Intelligence, membagikan hasil penelitian terbaru tentang optimalisasi efisiensi Transformer di "Konferensi Teknologi Pembelajaran Mesin Global 2024". Dia mengusulkan bahwa dengan menerapkan dua strategi optimasi, GQA dan MQA, masalah kemacetan I/O Transformer pada tahap decoding dapat diselesaikan secara efektif, sehingga meningkatkan efisiensi inferensi.