Wydajność akceleratora Intel Gaudi 3 przewyższa wydajność NVIDIA H100

2024-12-25 23:42
 73
Intel twierdzi, że akcelerator Gaudi 3 zyskał przewagę w konkurencji z NVIDIA H100. Gaudi 3 działa 1,7 razy szybciej niż H100 podczas szkolenia Llama2-13B z precyzją 8 PR w klastrze 16 akceleratorów. Ponadto Gaudi 3 znacznie poprawił także wydajność wnioskowania H200/H100, zwiększając się od 1,3 do 1,5 razy, a efektywność energetyczną wzrosła do 2,3 razy.