Baichuan Intelligent выпускает новую стратегию оптимизации эффективности трансформатора

Ван Биннинг, руководитель отдела предварительного обучения в Baichuan Intelligence, поделился последними результатами исследований по оптимизации эффективности трансформаторов на «Глобальной конференции по технологиям машинного обучения 2024 года». Он предположил, что путем реализации двух стратегий оптимизации, GQA и MQA, можно эффективно решить проблему узкого места ввода-вывода Transformer на этапе декодирования, тем самым повысив эффективность вывода.