百川智慧發布Transformer效率優化新策略

百川智能的預訓練負責人王炳寧在「2024全球機器學習技術大會」上，分享了Transformer效率優化的最新研究成果。他提出，透過實施GQA和MQA兩種最佳化策略，可以有效解決Transformer在解碼階段的I/O瓶頸問題，進而提升推理效率。