Startup rzuca wyzwanie gigantom z przełomową pamięcią dla AI. Jest 10 razy szybsza od HBM

Kalifornijski startup d-Matrix zapowiedział właśnie technologię, która może mocno namieszać na rynku pamięci dla sztucznej inteligencji. Firma twierdzi, że jej rozwiązanie 3D Digital In-Memory Compute (3DIMC) ma być nawet 10 razy szybsze i bardziej energooszczędne od obecnie dominującej High-Bandwidth Memory (HBM).

HBM to obecnie standard w AI i obliczeniach wysokiej wydajności (HPC). Dzięki pionowemu układaniu modułów pamięci w stosy, zapewnia ogromną przepustowość i znajduje zastosowanie zwłaszcza w treningu modeli AI. Jednak w przypadku inferencji, czyli wykonywania obliczeń na już wytrenowanych sieciach, HBM okazuje się drogi, energochłonny i ograniczony przepustowościowo. Według Sidda Shetha, założyciela i CEO d-Matrix, „to właśnie pamięć, a nie moc obliczeniowa (FLOPs), stanowi dziś największe wąskie gardło we wnioskowaniu AI”.

d-Matrix twierdzi, że jej rozwiązanie 3D Digital In-Memory Compute (3DIMC) ma być nawet 10 razy szybsze i bardziej energooszczędne od obecnie dominującej HBM.

Pavehawk i Raptor

Startup ogłosił, że w laboratoriach działa już jego pierwszy układ Pavehawk 3DIMC. Technologia przypomina moduły LPDDR5, ale z dodatkowo ułożonymi na nich chipletami DIMC. Dzięki temu możliwe jest wykonywanie obliczeń bezpośrednio w pamięci, a nie tylko w procesorze czy akceleratorze. Chipsety te są zoptymalizowane do mnożeń macierz-wektor, czyli kluczowych operacji w modelach transformatorowych, które dominują we współczesnej AI.

Firma jednak nie spoczywa na laurach i już zapowiada następną generację o nazwie Raptor. To właśnie ona ma przynieść przełom, zapewniając 10-krotny wzrost wydajności względem HBM w inferencji i 90% niższe zużycie energii.

Pamięć szyta na miarę inferencji

Koncepcja d-Matrix wpisuje się w trend specjalizacji sprzętu pod konkretne zadania. Skoro trening i wnioskowanie to dwa różne etapy pracy AI, to, jak argumentuje firma, zasługują one na osobne rozwiązania sprzętowe. Według danych z rynku, wnioskowanie potrafi stanowić już połowę obciążenia AI w największych centrach danych.

Ekonomia też ma znaczenie

Trzeba przy tym pamiętać, że HBM to produkt niszowy, wytwarzany przez zaledwie kilku gigantów, a mianowicie SK hynix, Samsunga i Microna. Wysoki popyt i ograniczona podaż powodują, że ceny tej pamięci są bardzo wysokie. SK hynix przewiduje jednocześnie, że rynek będzie rósł o 30% rocznie do 2030 roku. Nic dziwnego, że alternatywa wzbudza zainteresowanie potencjalnych klientów, choć z drugiej strony, pamięć projektowana wyłącznie pod wnioskowanie może wydawać się zbyt wąsko wyspecjalizowana. Czas pokaże, czy takie rozwiązanie ma sens.