অ্যামাজন AWS বড় আকারের মডেল অনুমানকে ত্বরান্বিত করতে Inferentia 2 চিপ প্রকাশ করেছে

2024-12-26 07:13
 31
Amazon AWS Inferentia 2 চিপ প্রকাশ করে, যা কম্পিউটিং কর্মক্ষমতা তিনগুণ করে এবং মোট এক্সিলারেটর মেমরি এক চতুর্থাংশ বৃদ্ধি করে। Inferentia 2 বিতরণকৃত যুক্তি সমর্থন করে এবং 175 বিলিয়ন প্যারামিটার পর্যন্ত সমর্থন করতে পারে, এটিকে বড় আকারের মডেল যুক্তির জন্য একটি শক্তিশালী প্রতিযোগী করে তোলে।