Amazon AWS mengeluarkan cip Inferentia 2 untuk mempercepatkan inferens model berskala besar

2024-12-26 07:13
 31
Amazon AWS mengeluarkan cip Inferentia 2, yang menggandakan prestasi pengkomputeran tiga kali ganda dan meningkatkan jumlah memori pemecut sebanyak satu perempat. Inferentia 2 menyokong penaakulan teragih dan boleh menyokong sehingga 175 bilion parameter, menjadikannya pesaing kuat untuk penaakulan model berskala besar.