Amazon AWS phát hành chip Inferentia 2 để tăng tốc suy luận mô hình quy mô lớn

Amazon AWS phát hành chip Inferentia 2, giúp tăng gấp ba hiệu năng tính toán và tăng tổng bộ nhớ tăng tốc lên một phần tư. Inferentia 2 hỗ trợ lý luận phân tán và có thể hỗ trợ tới 175 tỷ tham số, khiến nó trở thành đối thủ cạnh tranh mạnh mẽ về lý luận mô hình quy mô lớn.