AMD MI300X vs NVIDIA H100 - Czerwoni odbijają piłeczkę i przekonują o wyższości swojej karty

W grudniu AMD wprowadziło na rynek swój nowy flagowy akcelerator graficzny, Instinct MI300X. Podczas wydarzenia inaugurującego producent udostępnił wykresy i dane wskazujące, że MI300X w kilku testach pokonał potężną kartę NVIDIA H100.

W bezpośrednim porównaniu produkt AMD był o nawet 60% szybszy, wygrywając w 8 na 8 testach serwerowych. Jednakże nie trzeba było długo czekać na odpowiedź NVIDII, która  wykorzystała własne dane, pokazując, że AMD nie zastosowało najnowszych optymalizacji jądra TensorRT-LLM dla układu NVIDIA Hopper, ani nie pokazał rzeczywistych scenariuszy serwerów MLPerf, w których sprzęt DGX H100 zapewnia imponujące wyniki „wnioskowania na sekundę”.

Przyszła zatem pora na kontrę w wykonaniu AMD, które właśnie pokazało, że przewaga wydajności MI300X wzrosła dzięki dokonanym optymalizacjom.

Krótko mówiąc, NVIDIA twierdzi, że gdyby AMD prawidłowo przetestowało GPU H100, pokazałoby to, że flagowiec Zielonych jest dwa razy szybszy. Przyszła zatem pora na kontrę w wykonaniu AMD, które właśnie pokazało, że przewaga wydajności MI300X wzrosła dzięki dokonanym optymalizacjom, a najnowsze dane Czerwonych uwzględniają także opóźnienia. 

W nowym poście na blogu zatytułowanym „Competitive performance claims and industry-leading Inference performance on AMD Instinct MI300X” AMD potwierdza, że ​​nie korzystało z optymalizacji TensorRT-LLM w swoich pierwotnych benchmarkach, ponieważ dane zostały zarejestrowane w listopadzie, przed aktualizacją. „Jesteśmy na etapie rozwoju produktów, na których konsekwentnie identyfikujemy nowe ścieżki pozwalające na odblokowanie wydajności dzięki naszemu oprogramowaniu ROCM i akceleratorom AMD Instinct MI300” – pisze AMD. „Dane zaprezentowane podczas naszej imprezy inauguracyjnej zarejestrowano w listopadzie. Od tego czasu dokonaliśmy dużych postępów i z przyjemnością dzielimy się naszymi najnowszymi wynikami podkreślającymi te wzrosty”.

Następnie AMD przechodzi do technicznej analizy, ale z naszego punktu widzenia najważniejsze wydaje się, że nowe wyniki AMD pokazują, iż „przewaga wydajności wzrosła do 2,1X” na korzyść MI300X dzięki nowo odkrytym optymalizacjom AMD. Jednak jeśli dodamy do tego zoptymalizowany TensorRT-LLM od NVIDII, liczba ta spadnie do 1,3X – nadal jednak na korzyść MI300X.

AMD twierdzi, że w benchmarkach NVIDIA porównano „typ danych FP16 na GPU AMD Instinct MI300X z typem danych FP8 na H100”, podczas gdy ich nowe wyniki porównują te same typy - FP16. „MI300X w dalszym ciągu wykazuje przewagę wydajnościową przy pomiarze całkowitego opóźnienia” – dodaje AMD. „Nawet przy użyciu niższej precyzji FP8 i TensorRT-LLM dla H100 w porównaniu z vLLM i wyższej precyzji typu danych FP16 dla MI300X.”

FP8 działa tylko z TensorRT-LLM. Jakie są więc wnioski? Sprzęt AI, benchmarki i optymalizacje rozwijają się bardzo szybko, a przy różnych testach i scenariuszach zarówno MI300X od AMD, jak i H100 od NVIDII, są potężnymi akceleratorami. Jednak nowe wyniki AMD pokazują, że MI300X ma przewagę w tych konkretnych testach, ale jesteśmy pewni, że NVIDIA wkrótce odpowie rywalowi, prezentując własne testy, gdzie jej GPU wypadnie znacznie lepiej.