Modder zamienił tanie APU w 16 GB GPU do obciążeń AI

Boom na sztuczną inteligencję sprawia, że na rynku trwa zażarta walka o procesory graficzne dedykowane AI, takie jak NVIDIA H100 i A100, co sprawia, że są problemy z ich dostępnością, a to z kolei powoduje, iż ich ceny osiągają zawrotne poziomy. Tymczasem modder odkrył i udostępnił metodę wykonywania zadań AI na sprzęcie dostępnym za mniej niż 100 USD.

Sprzęt do AI po taniości

Modder niedawno opublikował instrukcje dla APU AMD kosztującego ok. 100 USD, dzięki którym te są w stanie wykonywać zadania AI, zwykle kojarzone z dużo droższymi kartami graficznymi. Jeśli metoda się przyjmie, może znacznie zwiększyć liczbę osób, które mogą przynajmniej eksperymentować z AI.

Użytkownik Reddita o nazwie chain-77 odkrył, że APU Ryzen 5 4600G za 95 USD, może całkiem nieźle radzić sobie z obciążeniami AI.

Najwięksi gracze w AI obsługują dziś narzędzia, takie jak duże modele językowe, wykorzystujące karty graficzne H100 i A100, które NVIDIA sprzedaje za 25 000 do 30 000 USD (podobno firma ma 1000% marży na tych GPU). Tymczasem operacje AI na mniejszą skalę na sprzęcie konsumenckim zazwyczaj obejmują wysokiej klasy karty kosztujące co najmniej kilkaset dolarów.

Ryzen 5 4600G radzi sobie zaskakująco dobrze

Użytkownik Reddita o nazwie chain-77 odkrył, że APU Ryzen 5 4600G za 95 USD, może całkiem nieźle radzić sobie z obciążeniami AI i w tym celu wystarczy przekonać Linuksa, aby postrzegał ten układ jako 16 GB GPU. Chociaż APU nie ma porównania z dedykowanymi kartami w tradycyjnym renderowaniu grafiki, sztuczna inteligencja w dużym stopniu polega na pamięci, gdzie zdolność APU do swobodnego przydzielania pamięci współdzielonej staje się zaletą.

Poświęcenie połowy z 32 GB pamięci RAM systemu na zintegrowaną kartę graficzną daje jej więcej pamięci niż oferuje wiele bardziej rozbudowanych dedykowanych chipów. Odpowiedzi na Reddit sugerowały, że przypisanie większej ilości pamięci RAM do pamięci wideo może być możliwe w przypadku niektórych płyt głównych, ale chain-77 nie jest obecnie w stanie przetestować tej teorii.

Taki amatorski sprzęt AI obsługuje platformę AMD ROCm, umożliwiając uruchamianie narzędzi takich jak Pytorch i TensorFlow. Podczas testów w trybie stabilnej dyfuzji Ryzen 5 4600G generuje 50-stopniowy obraz o rozdzielczości 512 × 512 pikseli w mniej niż dwie minuty, co wypada korzystnie w porównaniu z niektórymi dedykowanymi kartami wysokiej klasy. Fastchat, MiniGPT 4 i Whisper również działają, ale APU miało problemy z LLaMA. 

Oprócz tego, że są tańsze, APU pobierają również stosunkowo mało energii podczas pracy ze sztuczną inteligencją, ok. 0,35 KWh dziennie. Modder opublikował szczegółowe opisy swojej pracy na Medium i YouTube, więc jest to pomysł godny rozważenia dla tych, którzy chcą zaoszczędzić pieniądze podczas wykonywania zadań AI.