Baichuan Intelligent brengt nieuwe strategie uit voor optimalisatie van de efficiëntie van transformatoren

Wang Bingning, hoofd pre-training bij Baichuan Intelligence, deelde de nieuwste onderzoeksresultaten over optimalisatie van de efficiëntie van Transformer op de "2024 Global Machine Learning Technology Conference". Hij stelde voor dat door het implementeren van twee optimalisatiestrategieën, GQA en MQA, het I/O-knelpuntprobleem van Transformer in de decoderingsfase effectief kan worden opgelost, waardoor de inferentie-efficiëntie wordt verbeterd.