Amazon AWS izdaje čip Inferentia 2 za ubrzavanje zaključivanja modela velikih razmjera

2024-12-26 07:13
 31
Amazon AWS izdaje čip Inferentia 2, koji utrostručuje računalne performanse i povećava ukupnu memoriju akceleratora za četvrtinu. Inferentia 2 podržava distribuirano razmišljanje i može podržati do 175 milijardi parametara, što ga čini jakim konkurentom za zaključivanje modela velikih razmjera.