FastFlowLM - lokalne modele AI w końcu działają na NPU w procesorach Ryzen AI

Ostatnimi czasy doniesienia o nowych zachwycających funkcjach, które wezmą na siebie NPU wbudowane w konsumenckie procesory zdecydowanie ucichły. Jasne, mamy działające Windows Recall (które w wersji polskiej nosi nazwę Przypomnienie), jakieś tam szczątkowe wsparcie w wybranych aplikacjach, czy w końcu takie blamaże jak upscaling Auto SR (który swoją drogą wciąż nie wylądował na procesorach innych niż Qualcomm Snapdragon, nawet w sierpniowej kompilacji Preview).

Z drugiej strony producenci zalewają nas kolejnymi mini stacjami roboczymi przeznaczonymi do obliczeń związanych z AI, które drażnią nas potężnymi pojemnościami RAM. A wypadałoby chociaż, żeby NPU w konsumenckich procesorach umożliwiało chociaż bezproblemowe uruchamianie modeli LLM, co "od zawsze" potrafiło być problematyczne (zazwyczaj obliczenia i tak są prowadzone na GPU). No i proszę - oto FastFlowLM.

FastFlowLM - modele AI uruchamiane na NPU w procesorach AMD

Dzięki FastFlowLM w końcu możemy wykorzystać NPU przy obsłudze modeli AI. Mowa nie tylko o modelach językowych, ale i wizyjnych, audio, a nawet MoE (Mixture‑of‑Experts). 

I tak, FLM przeznaczone jest dla procesorów AMD Ryzen AI, a konkretnie dla modeli Strix, Strix Halo, Kraken i Gorgon Point, czyli wyposażony w NPU XDNA2. Zaraz, a co z NPU pierwszej generacji (i ulepszonej pierwszej generacji) w procesorach AMD Phoenix? Nic - NPU o mocy poniżej 40 TOPS najwyraźniej nikogo już nie interesuje. Wszystko wskazuje na to, że układy tego rodzaju pozostaną tylko ciekawostką, używaną ewentualnie do rozmywania tła podczas wideokonferencji w Teams. W sumie zrozumiałe (przypomnijmy, że najmocniejszy NPU generacji XDNA1+ w procesorach Phoenix osiągał zaledwie do 16 TOPS), ale mimo wszystko szkoda.

Co trzeba wiedzieć przede wszystkim - to nie jest program w rodzaju z LM Studio, czyli wyposażony w podstawowe GUI. Wszystko uruchamiamy w PowerShell, ale możemy działać również choćby przez Open WebUI (instrukcja drobiazgowo opisuje każdy scenariusz, więc nie będziemy tu jej przepisywać). Zresztą jak piszą sami autorzy - FLM to "Ollama-style developer experience". Miejmy nadzieję, że wkrótce się to zmieni, bo obniżyłoby próg wejścia dla mniej zaawansowanych użytkowników - lub po prostu takich, którzy nie chcą się bawić w terminalu, czy w konfigurację WebUI.

FastFlowLM - instalacja krok po kroku

Większej filozofii w tym nie ma, ale trzeba dopilnować kilku kwestii. FastFlowLM testowałem na laptopie z procesorem AMD Ryzen AI 9 HX 370 z 32 GB RAM, ale jak wspomniałem powyżej, może to być każdy Ryzen AI z NPU opartym o XDNA 2.

 

Jak wyglądają obecnie ceny takich laptopów? Na przykład za model MSI Prestige A16 AI+ A3HMG-044PL z procesorem AMD Ryzen AI 9 365 i zintegrowaną grafiką Radeon 880M oraz ekranem OLED 3840 x 2400px, 32 GB RAM i 1 TB SSD PCIe 4.0 zapłacimy około 7500 zł. Sprawdź cenę laptopa w Media Expert.

W teorii FLM zadziała na 16 GB RAM, ale zalecane jest 32 GB, a oczywiście - jak to w przypadku LLM - im więcej tym lepiej (większy KV cache i dłuższy kontekst).

• Teoretycznie wymagany jest sterownik NPU w wersji 32.0.203.311 lub nowszej, który oczywiście w tej wersji nie jest zaimplementowany w pakiet Adrenalin, więc musimy go pobrać ręcznie. W praktyce najnowszego dostępnego sterownika w wersji x.376 nie udało mi się zainstalować, ale okazało się, że wystarczy wersja x.280 (również nieobecna w Adrenalin 26.8.1, więc musimy instalować tak czy siak). To wszystko oczywiście dotyczy Windows, ale FLM działa też na Linuksie.
• Sprawdzamy czy sterowniku NPU zainstalował się prawidłowo i pobieramy instalator z oficjalnej strony FastFlowLM i go uruchamiamy
• Następnie wchodzimy do PowerShella (w trybie administratora) i żeby sprawdzić czy wszystko działa wpisujemy przykładową komendę "flm run llama3.2:1b". Po załadowaniu modelu możesz już działać w oknie terminala.

Zaraz, a nie można tak przygotowanych modeli załadować po prostu przez LM Studio? Nie, FastFlowLM ma własny format kwantyzacji (Q4NX) i układ danych zoptymalizowany pod obliczenia NPU AMD, a więc LM Studio ich nie wykorzysta.

FastFlowLM w praktyce - obsługiwane modele

Gdy już wstukamy w terminalu co trzeba, to okazuje się FastFlowLM jak najbardziej działa i to działa sprawnie. NPU w końcu przestaje się nudzić i możemy zaprząc ją do roboty przy obsłudze dużych modeli językowych.

Czy za pomocą FastFlowLM możemy uruchomić dowolny model na NPU? Nie, ale rodzina obsługiwanych modeli jest już całkiem interesująca, a konkretnie:

• LLaMA 3.x
• DeepSeek R-1
• Gemma 4 (omni)
• Qwen3.6 (Vision and MoE)
• Qwen3.5 (Vision)
• Qwen 3 (Vision)
• GPT-OSS (MoE)
• LFM2 (Liquid AI)
• Whisper (Audio)
• EmbeddingGemma (RAG)
• MedGemma
• TranslateGemma
• Phi
• Nanbeige
• SmolVLA

Oczywiście fajnie by było, gdyby na tej liście pojawił się polski Bielik, ale niestety w aktualnej roadmapie nie ma ani rodziny Bielik AI, ani deklaracji terminu jej dodania.

Z ciekawości zerknąłem na odczyty OCCT podczas pracy NPU i - nie wiem na ile jest to zgodne z prawdą - ale wynikało z nich, że samo NPU pobierało podczas pracy od 1,4 do 1,65 W… Wartości wydają się nieco zaniżone, ale i tak powinno być to maksymalnie kilka watów. W porównaniu do CPU i GPU jest to więc układ więc niesamowicie energooszczędny.

Modele lokalnie na NPU - co nam to daje?

Bo to najbardziej efektywne rozwiązanie w przypadku takich konstrukcji jak procesory Ryzen AI - szybkie i energooszczędne. Co istotne możesz również ustawić NPU w różnych trybach wydajności (domyślnie jest to Performance) - oczywiście im wyższa wydajność, tym większe zużycie energii, ale to rozwiązanie i tak zawsze będzie pobierać mniej mocy niż obliczenia na iGPU czy CPU.

 

Samo uruchomienie modeli lokalnie ma też wiele superlatyw, o czym zresztą pisaliśmy wielokrotnie. Nie jesteśmy zależni od połączenia internetowego czy awarii usługi i nie musimy się martwić, że wysyłamy w cały świat poufne dane. Fakt, wiele usług online opartych na potężnych centrach danych będzie miało większe możliwości niż niewielkie lokalne modele, ale i tak najlepsze z takich rozwiązań są płatne lub dostępne z ograniczeniami. W przypadku lokalnego przetwarzania takich problemów nie ma - wszystko uruchamiamy na swoim komputerze.

FastFlowLM - NPU w Ryzen AI już się nie nudzi, ale przeciętny Kowalski w to nie kliknie

Można powiedzieć - w końcu coś się dzieje w tym temacie! Faktem jest, że FastFlowLM rozwija się dynamicznie, a twórcy wciąż ulepszają ten produkt co możemy sprawdzić choćby na Githubie. Liczba obsługiwanych modeli jest już całkiem przyzwoita i każdy chętny do lokalnego odpalenia AI na NPU ma w czym przebierać.

Oczywiście to nie jest tak, że nie ma się do czego przyczepić. Tak jak już wspominałem na początku, przydałoby się tu choćby jakieś podstawowe GUI, a po drodze trzeba rozwiązać kilka pomniejszych problemów. Dlaczego najnowsze wersje pakietów sterowników Adrenalin nie zawierają w sobie najnowszych sterowników NPU, pozostaje dla mnie niezgłębioną tajemnicą. Technologia ma już swoje lata i teoretycznie powinna być już dojrzała z każdej strony, a w praktyce szarym użytkownikiem końcowym nikt nie się przejmuje - bo rozwiązania "developer style" przeznaczone są właśnie dla deweloperów. Chętnie więc zobaczyłbym jak FastFlowLM rozwija się nie tylko w kwestiach obsługi kolejnych modeli, czy optymalizacji, ale również w kierunku prostej obsługi dla każdego użytkownika.