AMD sięga tam, gdzie NVIDIA jeszcze nie dominuje. Poznajcie Llama-135M

AMD kontynuuje ofensywę technologiczną, wprowadzając na rynek nowy sprzęt i oprogramowanie w dziedzinie sztucznej inteligencji (AI), stawiając sobie za cel dotarcie do segmentów rynku, gdzie Nvidia jeszcze nie dominuje.

W ramach tego strategicznego kroku firma zaprezentowała swój pierwszy model językowy, AMD-Llama-135M, który został zaprojektowany z myślą o wdrożeniach w prywatnych firmach. To jasny sygnał, że AMD chce rywalizować z największymi graczami w branży, oferując nie tylko wydajny sprzęt, ale także zaawansowane oprogramowanie AI.

AMD zapowiada kolejne kroki w kierunku optymalizacji wydajności i wzmocnienia swojej pozycji na rynku sztucznej inteligencji, a najnowsze testy wydajności sugerują, że firma dopiero zaczyna wykorzystywać pełen potencjał swojego sprzętu i oprogramowania.

Nowy model językowy AMD: AMD-Llama-135M

Nowy model językowy AMD-Llama-135M, będący częścią rodziny Llama, jest skierowany do przedsiębiorstw poszukujących wydajnych narzędzi do wdrażania sztucznej inteligencji. AMD podkreśla, że model został zaprojektowany z myślą o prywatnych firmach, co sugeruje, że firma stara się odpowiedzieć na rosnące zapotrzebowanie na dedykowane rozwiązania AI dla konkretnych branż i zastosowań.

Choć nie jest jeszcze jasne, czy premiera tego modelu ma związek z ostatnim przejęciem fińskiego startupu Silo AI przez AMD, analitycy spekulują, że takie kroki wzmacniają pozycję firmy na rynku AI. Transakcja przejęcia Silo AI musi zostać jeszcze zatwierdzona przez odpowiednie organy regulacyjne, jednak nowy model językowy AMD wskazuje na rosnące ambicje firmy w dziedzinie sztucznej inteligencji, z wyraźnym naciskiem na komercjalizację własnych rozwiązań sprzętowych i programowych.

Technologia dekodowania spekulatywnego – klucz do sukcesu AMD

Jednym z głównych atutów nowego modelu językowego AMD-Llama-135M jest zastosowanie technologii dekodowania spekulatywnego, która znacząco przyspiesza proces generowania wyników. Dekodowanie spekulatywne wprowadza mniejszy, wstępny model, który generuje kilka potencjalnych tokenów (jednostek tekstu) podczas jednego przejścia. Te tokeny są następnie przekazywane do większego modelu docelowego, który je weryfikuje lub poprawia. Taki system pozwala na równoczesne generowanie wielu tokenów, co przyspiesza działanie modelu.

Choć metoda ta jest wydajna, wiąże się również z wyższymi wymaganiami dotyczącymi mocy obliczeniowej ze względu na większą liczbę operacji przetwarzania danych. Mimo to, AMD uznaje dekodowanie spekulatywne za kluczowy element optymalizacji swoich modeli językowych, co może przynieść wymierne korzyści w postaci zwiększonej wydajności.

Dwie wersje modelu: AMD-Llama-135M i AMD-Llama-135M-code

Nowa wersja modelu AMD jest dostępna w dwóch wariantach: AMD-Llama-135M oraz AMD-Llama-135M-code. Każda z tych wersji została zoptymalizowana pod kątem różnych zastosowań, oferując przyspieszoną wydajność wnioskowania dzięki technologii dekodowania spekulatywnego.

Podstawowy model AMD-Llama-135M został wytrenowany na 670 miliardach tokenów ogólnych danych. Proces ten trwał sześć dni i wymagał czterech węzłów AMD Instinct MI250. Drugi model, AMD-Llama-135M-code, został dostrojony z myślą o zadaniach związanych z kodowaniem, co zajęło cztery dni i obejmowało przetwarzanie dodatkowych 20 miliardów tokenów specyficznych dla kodowania.

AMD sugeruje, że dalsze optymalizacje technologiczne mogą przynieść jeszcze lepsze wyniki w przyszłości. Choć firma udostępnia wyniki testów wydajnościowych dla poprzedniej generacji procesorów graficznych (GPU), takich jak MI250, to oczekuje się, że aktualna generacja (MI300X) oraz nadchodzące rozwiązania (MI325X) przyniosą znacznie wyższą wydajność.