SanDisk obiecuje nową pamięć dla AI. Eksperci szybko wytknęli firmie niewygodne braki


SanDisk obiecuje nową pamięć dla AI. Eksperci szybko wytknęli firmie niewygodne braki

SanDisk znalazł się pod ostrzałem po prezentacji przygotowanej na Investor Day, podczas której firma przedstawiła swoją wizję wykorzystania pamięci High-Bandwidth Flash w systemach AI. Część slajdów zaczęła krążyć w mediach społecznościowych, gdzie szybko zwrócono uwagę na kontrowersyjne porównania HBF z HBM oraz brak informacji o jednym z istotnych ograniczeń pamięci NAND.

Modele AI wykorzystujące architekturę transformerów opierają się między innymi na warstwach Attention oraz Feed-Forward Network. Pierwsza analizuje zależności pomiędzy elementami kontekstu, a związane z tym informacje są przechowywane w pamięci podręcznej KV cache. FFN wykorzystuje natomiast wagi modelu, które zawierają jego wyuczoną wiedzę. Obecnie zarówno wagi, jak i KV cache mogą trafiać do bardzo szybkiej pamięci HBM znajdującej się przy akceleratorach.

Problemem pojemność i cena

Problemem pozostaje pojemność i cena. Zwiększenie dostępnej HBM jest ściśle związane z konfiguracją akceleratorów, dlatego rozbudowa infrastruktury może szybko stać się bardzo kosztowna. SanDisk wraz z SK hynix rozwija więc HBF, czyli High-Bandwidth Flash, które ma zaoferować znacznie większą pojemność przy wykorzystaniu pamięci NAND.

SanDisk znalazł się pod ostrzałem po prezentacji przygotowanej na Investor Day, podczas której firma przedstawiła swoją wizję wykorzystania pamięci High-Bandwidth Flash w systemach AI. Część slajdów zaczęła krążyć w mediach społecznościowych, gdzie szybko zwrócono uwagę na kontrowersyjne porównania HBF z HBM oraz brak informacji o jednym z istotnych ograniczeń pamięci NAND.

Planowane rozwiązanie ma zapewniać 512 GB pamięci oraz przepustowość od około 0,4 do 3 TB/s, a jego komercyjne wdrożenie przewidywane jest na rok 2028 lub 2029. Podobnie jak HBM wykorzystuje stosy DRAM, HBF ma układać warstwy NAND połączone za pomocą TSV i współpracujące z osobnym układem logicznym.

NAND posiada jednak fundamentalną wadę, czyli wysokie opóźnienia. Według przytoczonych danych SRAM może oferować czas odczytu rzędu około 1 ns, DRAM około 100 ns, zaś NAND około 100 mikrosekund. HBF częściowo nadrabia tę różnicę ogromną liczbą równoległych operacji, dzięki którym tysiące jednoczesnych odczytów mogą zapewnić łączną przepustowość sięgającą kilku TB/s.

Kontrowersje

Kontrowersje dotyczą przede wszystkim sposobu, w jaki SanDisk zaprezentował przewagę swojego rozwiązania. Firma zestawiła HBF z HBM oferującą 192 GB na GPU i przepustowość 12,8 TB/s. Krytycy wskazują, że skoro HBF ma pojawić się dopiero około 2028 lub 2029 roku, bardziej odpowiednim punktem odniesienia mogłaby być 16-warstwowa HBM4E, której przepustowość może sięgać około 32 TB/s.

W prezentacji zastosowano również format BF16, podczas gdy coraz większe znaczenie w modelach AI mają FP8 i FP4. Jeszcze większe wątpliwości wzbudził brak informacji dotyczących wytrzymałości HBF na operacje zapisu. NAND ma pod tym względem ograniczenia, dlatego kwestia ta może być szczególnie istotna przy potencjalnym wykorzystaniu HBF do dynamicznie aktualizowanego KV cache.

W porównaniu z HBM rozwiązanie SanDisku stawia przede wszystkim na pojemność, płacąc za nią znacznie wyższymi opóźnieniami pojedynczych operacji NAND.

Rosnące wymagania

Modele AI wymagają coraz większej ilości bardzo drogiej HBM, dlatego tańsza i pojemniejsza alternatywa byłaby cenna dla centrów danych. HBF ma potencjał, ale sposób przedstawienia technologii przez SanDisk pozostawił kilka istotnych pytań bez odpowiedzi.

Spodobało Ci się? Podziel się ze znajomymi!

Pokaż / Dodaj komentarze do:

SanDisk obiecuje nową pamięć dla AI. Eksperci szybko wytknęli firmie niewygodne braki
 0