Cuda się dzieją, CUDA na Radeonach. Ominęli zabezpieczenia Nvidii

Niezależny programista przygotował narzędzie umożliwiające odpalenie technologii CUDA na sprzęcie AMD. Projekt „CUDA for AMD Windows” autorstwa użytkownika o pseudonimie Speedstu został udostępniony jako rozwiązanie open source i nie wymaga wirtualizacji ani konfiguracji dual boot. Jest ono w stanie połączyć ZLUDA, czyli warstwę tłumaczącą CUDA na potrzeby innych układów GPU, z natywnym środowiskiem AMD HIP i ROCm dla Windowsa.

Jest to zestaw zautomatyzowanych skryptów PowerShell. Narzędzie wykrywa kartę, pobiera konkretną wersję ZLUDA, czyli v6 preview.69, a następnie próbuje połączyć ją z bibliotekami ROCm obecnymi w systemie Windows. Programista zdołał przechwycić i przemapować CUDA Driver API oraz biblioteki cuBLAS, cuSPARSE i cuFFT na odpowiedniki AMD.

Wyniki są obiecują, ale…

Za pokaz możliwości posłużyło pełne trenowanie sieci PPO do uczenia ze wzmocnieniem, wykorzystujące 2,2 miliona parametrów na karcie Radeon RX 9060 XT. Wykorzystano przy tym niezmodyfikowane biblioteki CUDA.

Niezależny programista przygotował narzędzie umożliwiające odpalenie technologii CUDA na sprzęcie AMD. Projekt „CUDA for AMD Windows” autorstwa użytkownika o pseudonimie Speedstu został udostępniony jako rozwiązanie open source i nie wymaga wirtualizacji ani konfiguracji dual boot. Jest ono w stanie połączyć ZLUDA, czyli warstwę tłumaczącą CUDA na potrzeby innych układów GPU, z natywnym środowiskiem AMD HIP i ROCm dla Windowsa.

 

Przy samym obciążeniu związanym z uczeniem ze wzmocnieniem oficjalna ścieżka wykorzystująca ZLUDA oraz AMD HIP SDK 6.5 osiągnęła medianę 13 278 kroków na sekundę. Opcjonalna wersja wykorzystująca odzyskanie starsze pliki binarne ZLUDA uzyskała 12 876 kroków na sekundę, czyli około 3% mniej. Wyniki sugerują, że dodatkowa warstwa tłumaczenia nadal wiąże się z pewnym narzutem wydajnościowym, choć nie musi to oznaczać, że samo rozwiązanie jest bezużyteczne.

AMD ma już oficjalne ROCm dla Windows, ale użytkownicy eksperymentalnych repozytoriów GitHub i specjalistycznych narzędzi AI nadal często trafiają na zależności wymagające CUDA. Nowy projekt może więc pomóc osobom, które chcą uruchamiać takie programy na Windowsie bez korzystania z WSL2 i bez czekania na przygotowanie wersji HIP przez autora aplikacji.

Ograniczenia

W porównaniu z natywnym środowiskiem CUDA NVIDII jest to jednak rozwiązanie znacznie bardziej ograniczone i zależne od kompatybilności konkretnego programu.

Projekt nie obsługuje obecnie między innymi cuDNN, TensorRT ani NCCL. Jeśli dane narzędzie AI korzysta z tych bibliotek, rozwiązanie może się nie sprawdzić. Dodatkowo ZLUDA jest obecnie rozwijana jako hobbystyczny projekt, po wcześniejszej utracie komercyjnego wsparcia.