Czy 100TB SSD zastąpi pamięć RAM w modelach AI? Przełomowe wykorzystanie SSD

Duże modele językowe (LLM) często generują przekonujące, ale błędne odpowiedzi, co może negatywnie wpłynąć na ich użycie w krytycznych obszarach, takich jak diagnostyka medyczna, analizy prawne czy raportowanie finansowe. Rozwiązaniem tego problemu jest Retrieval-Augmented Generation (RAG), które łączy dane zewnętrzne, umożliwiając modelom dostęp do informacji w czasie rzeczywistym.

RAG poprawia dokładność kontekstową, ale wymaga dużych zasobów pamięci i przestrzeni dyskowej, zwłaszcza dla danych wektorowych i indeksów. Do tej pory dane te przechowywano głównie w DRAM, która choć szybka, jest droga i ograniczona pojemnościowo. Na tegorocznych targach CES firma Kioxia zaprezentowała rozwiązanie AiSAQ, które zamiast DRAM wykorzystuje dyski SSD o wysokiej pojemności (ponad 100TB). AiSAQ, oparte na technice Approximate Nearest Neighbor Search (ANNS) z Product Quantization, pozwala na przechowywanie dużych zestawów danych na SSD, znacznie redukując zapotrzebowanie na DRAM.

Większa dostępność i niższe koszty

Wykorzystanie SSD zamiast DRAM obniża koszty systemów i poprawia ich skalowalność, umożliwiając obsługę większych zbiorów danych. Chociaż SSD mają nieco wyższe opóźnienia w dostępie do danych niż DRAM, kompensują to większą pojemnością i niższymi kosztami, co wspiera rozwój bardziej zaawansowanych modeli AI.

AiSAQ adresuje potrzeby RAG, czyniąc technologie AI bardziej przystępnymi i ekonomicznymi. Choć Kioxia nie ujawniła daty premiery AiSAQ, konkurenci, tacy jak Micron czy SK Hynix, mogą wkrótce wprowadzić podobne rozwiązania.

Eksperci podkreślają, że RAG będzie kluczowym elementem wielu aplikacji. Jeśli dane są używane rzadziej, ale w dużych ilościach, rozwiązania takie jak AiSAQ mogą być idealnym wyborem, oferując równowagę między wydajnością a kosztami.