NVIDIA rezygnuje ze starego rozwiązania. Nowa pamięć może zmienić przyszłość AI

NVIDIA zaprezentowała własne rozwiązanie pamięci HBM o nazwie NVHBM, które skierowane jest głównie, jakże by inaczej, do współczesnych akceleratorów AI. 

Wraz ze wzrostem rozmiarów modeli, sięgających już bilionów parametrów, przepustowość pamięci staje się jednym z kluczowych ograniczeń wydajności. Najważniejszą zmianą w nowym rozwiązaniu Zielonych jest więc przeniesienie kontrolera pamięci z głównego układu XPU bezpośrednio do bazowej warstwy stosu HBM. NVIDIA twierdzi, że pozwala to ograniczyć powierzchnię zajmowaną przez interfejs pamięci, zmniejszyć zużycie energii i jednocześnie zwiększyć przepustowość.

Według producenta NVHBM może zapewnić do 30% większą przepustowość niż standardowa pamięć HBM4E, a jednocześnie zużywać do 15% mniej energii.

Nawet 30% większa przepustowość i 15% niższe zużycie energii

Według producenta NVHBM może zapewnić do 30% większą przepustowość niż standardowa pamięć HBM4E, a jednocześnie zużywać do 15% mniej energii. To szczególnie istotne w centrach danych, gdzie tysiące akceleratorów pracują nieprzerwanie i każdy dodatkowy wat przekłada się na ogromne koszty infrastruktury.

Kolejną korzyścią ma być oszczędność miejsca na głównym chipie. Usunięcie kontrolera pamięci z XPU może zwolnić nawet 25% powierzchni układu, którą producent może przeznaczyć na dodatkowe jednostki obliczeniowe. NVIDIA deklaruje również redukcję obszaru PHY i elementów pomocniczych interfejsu nawet o 67%. Węższy interfejs ma dodatkowo uprościć prowadzenie połączeń w interposerze, zapewniając według firmy nawet 80% więcej użytecznej powierzchni krzemowej w całym układzie.

NVIDIA chce stworzyć nowy standard dla HBM

NVHBM nie będzie rozwiązaniem ograniczonym wyłącznie do jednej generacji GPU. NVIDIA zamierza stworzyć standardową implementację, którą będą mogli oferować różni producenci pamięci. Ma to ograniczyć nakład pracy związany z projektowaniem, integracją i certyfikacją pamięci od kolejnych dostawców.

Rozwiązanie ma być również częścią ekosystemu NVLink Fusion, umożliwiającego łączenie układów NVIDIA z niestandardowymi akceleratorami AI. Jednym z pierwszych partnerów wykorzystujących NVHBM będzie Amazon i jego dział Annapurna Labs. Technologia ma bowiem znaleźć zastosowanie w przyszłych układach AWS Trainium.

Pierwsze GPU z NVHBM mogą pojawić się w 2028 roku

NVIDIA wcześniej zapowiadała wykorzystanie customowych pamięci HBM w procesorach graficznych generacji Feynman. Jeśli harmonogram zostanie utrzymany, to właśnie ta generacja, planowana na 2028 rok, może być pierwszą, która wykorzysta NVHBM.