Amazon AWS випускає чіп Inferentia 2 для прискорення створення великомасштабних моделей

2024-12-26 07:13
 31
Amazon AWS випускає чіп Inferentia 2, який потроює обчислювальну продуктивність і на чверть збільшує загальну пам’ять прискорювача. Inferentia 2 підтримує розподілене міркування та може підтримувати до 175 мільярдів параметрів, що робить його сильним конкурентом для міркування великомасштабної моделі.