Amazon AWS frigiver Inferentia 2-chip for at accelerere storskala modelslutning

2024-12-26 07:13
 31
Amazon AWS frigiver Inferentia 2-chip, som tredobler computerydelsen og øger den samlede acceleratorhukommelse med en fjerdedel. Inferentia 2 understøtter distribueret ræsonnement og kan understøtte op til 175 milliarder parametre, hvilket gør den til en stærk konkurrent til storskala modelræsonnement.