Baichuan Intelligence đưa ra chiến lược mới để tối ưu hóa hiệu suất máy biến áp

Wang Bingning, trưởng bộ phận đào tạo trước tại Baichuan Intelligence, đã chia sẻ kết quả nghiên cứu mới nhất về tối ưu hóa hiệu suất của Máy biến áp tại "Hội nghị Công nghệ Học máy Toàn cầu 2024". Ông đề xuất rằng bằng cách thực hiện hai chiến lược tối ưu hóa là GQA và MQA, vấn đề tắc nghẽn I/O của Transformer trong giai đoạn giải mã có thể được giải quyết một cách hiệu quả, từ đó nâng cao hiệu quả suy luận.