亚马逊AWS发布Inferentia 2芯片，加速大规模模型推理

亚马逊AWS发布Inferentia 2芯片，将计算性能提高三倍，加速器总内存提高四分之一。Inferentia 2支持分布式推理，最多可支持1750亿个参数，成为大规模模型推理的有力竞争者。