Amazon AWS, 대규모 모델 추론을 가속화하기 위해 Inferentia 2 칩 출시
2024-12-26 07:13
31
Amazon AWS는 컴퓨팅 성능을 3배로 늘리고 총 가속기 메모리를 1/4로 늘리는 Inferentia 2 칩을 출시합니다. Inferentia 2는 분산 추론을 지원하고 최대 1,750억 개의 매개변수를 지원할 수 있어 대규모 모델 추론의 강력한 경쟁자입니다.
