Nareszcie widzę NPU w akcji. Testuję XDNA 2 w Ryzen AI

Zapewne część z was jest już posiadaczami AI PC, czyli po prostu komputerów wyposażonych w układ NPU do obliczeń związanych ze sztuczną inteligencją. Z dużą dozą prawdopodobieństwa to wcale nie był dla was priorytet - bo możliwości AI PC jak na razie zawodzą i nie przynoszą niczego przełomowego - no ale skoro już mamy NPU na stanie, to wypadałoby je wykorzystać, prawda?

Z moich tekstów - jako posiadacza APU z XDNA pierwszej generacji (AMD Ryzen 7 8700G) - przebija frustracja, że praktycznie rzecz biorąc, NPU w moim procesorze leży odłogiem i nie ma aplikacji, która potrafiłaby je wykorzystać. 

Nie powiem - są drobne wyjątki, jak choćby Amuse AI, czyli darmowa aplikacja do generowania grafiki / filmów z promptów działająca offline (przy użyciu modelu Stable Diffusion). Można tam znaleźć opcję XDNA Super Resolution, czyli nic innego jak skalowanie wygenerowanego obrazu do wyższej rozdzielczości, więc NPU nie bierze bezpośredniego udziału w jego generowaniu. W efekcie NPU obciążone jest przez około sekundy po wygenerowaniu obrazka i to w bardzo niskim stopniu. Przyznacie, że to dość rozczarowujące, zwłaszcza, że u mnie funkcja ta działała… do pierwszej aktualizacji sterownika GPU (gdzie zaszyte są również sterowniki NPU). Potem każdorazowa próba użycia tej funkcji kończyła się zawieszeniem programu. 

Pora więc przesiąść się na XDNA 2 (druga generacja NPU AMD), a konkretnie sprawdzić w działaniu NPU w procesorze AMD Ryzen 9 AI 370HX. Przypomnijmy, że to NPU spełnia już warunki programu Copilot+, czyli oferuje wydajność powyżej 40 TOPSów i większość oprogramowania wykorzystującego NPU AMD wymaga właśnie tego sprzętu. Gwoli ścisłości, NPU w AMD Ryzen 7 8700G należy do ulepszonej pierwszej generacji XDNA, więc NPU w tym APU osiąga wydajność do 16 TOPS, a nie 10. Do 50 TOPSów XDNA 2 (czyli np. w testowanym AMD Ryzen AI 9 HX 370) to wciąż jednak daleko.

Amuse AI, czyli NPU w akcji

Amuse w wersji 3.0+ wykorzystuje już NPU do generowania obrazka, dzięki opcji XDNA 2 Stable Diffusion - zgodnie z nazwą jest ona przeznaczona wyłącznie na XDNA w wersji 2. Jest ona dostępna tylko przy generowaniu obrazków w trybie wysokiej jakości, a więc, żeby uzyskać do niej dostęp należy przestawić suwak na pozycję Quality.

Powyższe ustawienia dotyczą trybu uproszczonego (EZ Mode) - jeśli chcielibyśmy włączyć NPU do obliczeń w trybie eksperckim to musimy wybrać odpowiedni wariant pracy modelu (Ryzen AI).

Przy takich ustawieniach NPU nudzić się już nie będzie, co możecie sprawdzić na zrzucie ekranowym poniżej (wskaźniki wbudowane w Amuse są jak na razie bezużyteczne i pokazują bzdety):

Amuse - możliwości i wymagania

Generalnie Amuse pozwala na lokalne generowanie obrazków i wideo z promptów, ale to nie koniec jego możliwości. Udostępniono nam również opcje AI Filters i Design, które potrafią wykorzystać AI do przerabiania gotowych obrazów, czy użyć jej przy przy użyciu szkiców.

Tryb ekspercki pozwala na znacznie większą kontrolę nad modelami, no i oczywiście wybór pasującego nam modelu. Oczywiście wymagania pomiędzy modelami znacznie się różnią, bo jeśli chcielibyście na przykad wykorzystać Flux.1 to absolutne minimum to 24 GB VRAM i 32 GB RAM.

Słów kilka o wymaganiach sprzętowych programu - w przypadku procesorów z NPU to przy Ryzen AI 300 (Strix Point)  potrzeba nam co najmniej 24 GB RAM, a przy Ryzen 8000 (Hawk Point/Phoenix) 32 GB RAM - z zastrzeżeniem, że jeśli chodzi o wykorzystanie NPU, to na tych ostatnich będzie działać (albo i nie) tylko funkcja skalowania XDNA Super Resolution. W przypadku kart graficznych rekomendowane są modele Radeon 7000 i 9000.

NPU XDNA 2 w Amuse - testy wydajnościowe

W testach wykorzystaliśmy laptop wyposażony w procesor AMD Ryzen AI 9 370HX z zintegrowanym Radeonem 890M i NPU XDNA 2. Generowaliśmy obraz z prompta zarówno za pomocą NPU, jak i iGPU.

Jak widać NPU XDNA 2 w obliczeniach AI potrafi być ponad dwa razy wydajniejszy od zintegrowanego Radeona. Daje to naprawdę przyzwoitą wydajność i chętnie widzielibyśmy wykorzystanie NPU w większej liczbie oprogramowania. Jak na razie nie jest tego za dużo, ale jeśli bylibyście zainteresowani uruchomieniem LLM na NPU AMD (XDNA 2)  to można sięgnąć choćby po FastFlowLLM.

XDNA vs XDNA 2

Do generowania grafiki w Amuse za pomocą NPU potrzebne jest XDNA 2 generacji. Znając jednak wydajność i osiągi tego modelu, możemy estymować jak zachowałby się NPU XDNA 1(+).

• NPU XDNA 2 (50 TOPS) - 0,25 it/s

• zintegrowany Radeon 890M (laptop)  - 0,12 it/s

• zintegrowany Radeon 780M (desktop) - 0,11 it/s

• NPU XDNA 1+ (16 TOPS) - 0,8 it/s

• NPU XDNA 1 (10 TOPS) - 0,5 it/s

Pomimo różnic w budowie obu układów graficznych (16 jednostek wykonawczych w Radeonia 890M i 12 w Radeonie 780M) w tym przypadku charakteryzują się podobną wydajnością - wyższe limity energetyczne wersji desktop robią swoje (szybsza pamięć RAM też się przydaje).

Wychodzi na to, że NPU w wersji XDNA 1 pod względem wydajności nie zachwyca, bo zintegrowany Radeon w takich obliczeniach będzie znacznie szybszy. Pierwsze wersje XDNA 1 (10 TOPS) już w ogóle tu odstają. Oczywiście to nie jest tak, że jest on całkiem bezużyteczny, bo można by go wykorzystać do prostszych zadań jak właśnie skalowanie (XDNA Super Resolution), czy w końcu do trybu hybrydowego, gdzie NPU i iGPU pracują razem. No i w przypadku laptopów dochodzi jeszcze zużycie energii, bo NPU pobiera go mniej niż iGPU.

Te “niesamowite” AI PC

Tempo rozwoju oprogramowania wykorzystującego NPU wciąż jest rozczarowujące, ale w końcu coś tam możemy zrobić, o ile tylko dysponujemy NPU ostatniej generacji - przynajmniej w przypadku sprzętu AMD.

O ile tylko tempo rozwoju NPU zostanie utrzymane - a przypomnijmy, że druga wersja XDNA jest 5 razy wydajniejsza od poprzedniej - to XDNA 3 może oferować wydajność nawet powyżej 200 TOPS i to byłby prawdziwy gamechanger. Chociaż teraz też źle nie jest, bo NPU XDNA 2 w obliczeniach AI potrafi być ponad dwa razy szybsze od zintegrowanego Radeona 890M. Dla użytkowników laptopów to prawdziwe usprawnienie (zwłaszcza, że NPU zużywa mnie energii niż iGPU), chociaż wciąż czekamy na powszechne wykorzystanie NPU w aplikacjach.