Baichuan Intelligent が変圧器効率最適化のための新しい戦略を発表

Baichuan Intelligence の事前トレーニング責任者である Wang Bingning 氏は、「2024 Global Machine Learning Technology Conference」で変圧器効率の最適化に関する最新の研究結果を共有しました。彼は、GQA と MQA という 2 つの最適化戦略を実装することで、デコード段階の Transformer の I/O ボトルネック問題を効果的に解決でき、それによって推論効率が向上すると提案しました。