Baichuan Intelligent აქვეყნებს ახალ სტრატეგიას ტრანსფორმატორის ეფექტურობის ოპტიმიზაციისთვის
Qt ჯგუფი
ემა ტექნოლოგია
ობი ჟონგუანგი
რა
ემა
რომ
I/O
ეს
და
რა
პრო
არა
ტრანსფორმატორი
ტრანსფორმატორი
აზია
ი
იი
წინ
წინ
არა
სახე
ეფექტურობა
წინასწარ
ეს
2024-12-27 06:16
74
Wang Bingning, წინასწარი ტრენინგის ხელმძღვანელმა Baichuan Intelligence-ში, გააზიარა უახლესი კვლევის შედეგები ტრანსფორმატორის ეფექტურობის ოპტიმიზაციის შესახებ "2024 Global Machine Learning Technology კონფერენციაზე". მან შესთავაზა, რომ ოპტიმიზაციის ორი სტრატეგიის, GQA და MQA განხორციელებით, ტრანსფორმატორის I/O ბოთლის პრობლემა დეკოდირების ეტაპზე შეიძლება ეფექტურად გადაიჭრას, რითაც გაუმჯობესდება დასკვნის ეფექტურობა.
