Baichuan Intelligent משחררת אסטרטגיה חדשה לאופטימיזציה של יעילות שנאי

וואנג בינגינג, ראש תחום ההכשרה המוקדמת ב-Baichuan Intelligence, שיתף את תוצאות המחקר העדכניות ביותר בנושא אופטימיזציה של יעילות שנאי ב"ועידת טכנולוגיית למידת מכונה העולמית 2024". הוא הציע כי על ידי יישום שתי אסטרטגיות אופטימיזציה, GQA ו-MQA, ניתן לפתור ביעילות את בעיית צוואר הבקבוק של ה-I/O של Transformer בשלב הפענוח, ובכך לשפר את יעילות ההסקה.