Samsung chce położyć pamięć HBM bezpośrednio na GPU. ZHBM ma mocno zwiększyć przepustowość

Samsung przedstawił swoją wizję rozwoju pamięci HBM przeznaczonej przede wszystkim dla systemów sztucznej inteligencji i wysokowydajnych akceleratorów. Producent chce stopniowo zmienić rolę dolnej warstwy układu, czyli Base Die, która z elementu odpowiadającego głównie za komunikację ma stać się znacznie bardziej aktywną częścią całego systemu, a końcowym etapem tej strategii będzie ZHBM z pamięcią DRAM umieszczoną bezpośrednio nad układem obliczeniowym.

Jednym z głównych powodów zmian jest szybko rosnące zapotrzebowanie na przepustowość. HBM4 ma oferować ponad 3 TB/s na stos, HBM4E ma wejść w okolice 4 TB/s, natomiast w przypadku HBM5 Samsung zakłada około dwukrotnie większą przepustowość względem HBM4 oraz pojemności przekraczające 60 GB. Dalsze skalowanie zaczyna jednak napotykać ograniczenia związane między innymi z liczbą i zagęszczeniem połączeń TSV oraz możliwościami interfejsów I/O.

Samsung postawi na bardziej zaawansowany proces

Odpowiedzią Samsunga ma być wykorzystanie bardziej zaawansowanych procesów logicznych w Base Die. Firma już w HBM4 zastosowała procesy D1c oraz 4 nm, skupiając się na ograniczeniu poboru energii i powierzchni zajmowanej przez aktywne elementy. Kolejnym krokiem będzie Custom HBM, gdzie Base Die otrzyma funkcje przypominające rozwiązania znane z SoC, a tradycyjny PHY zostanie zastąpiony bardziej kompaktowym interfejsem D2D.

Samsung przedstawił swoją wizję rozwoju pamięci HBM przeznaczonej przede wszystkim dla systemów sztucznej inteligencji i wysokowydajnych akceleratorów. Producent chce stopniowo zmienić rolę dolnej warstwy układu, czyli Base Die, która z elementu odpowiadającego głównie za komunikację ma stać się znacznie bardziej aktywną częścią całego systemu, a końcowym etapem tej strategii będzie ZHBM z pamięcią DRAM umieszczoną bezpośrednio nad układem obliczeniowym.

Samsung chce również przenosić część funkcji z XPU bezpośrednio do pamięci. Jednym z pierwszych kandydatów jest kontroler pamięci, a kolejnym mechanizm wykorzystujący SRAM do dokładniejszego zarządzania uszkodzonymi komórkami. Producent przewiduje też możliwość dodania kontrolera rozszerzającego pojemność pamięci, co może mieć znaczenie przy rosnących oknach kontekstowych modeli AI i wymaganiach związanych z KV cache.

Strategia została podzielona na trzy etapy. Pierwszy skupia się na odzyskaniu miejsca w XPU i według przedstawionych założeń może uwolnić od 5 do 10% powierzchni, potencjalnie przekładając się na wzrost wydajności o 10 do 20%. Drugi rozszerza Base Die między innymi o telemetrię, testowanie, rozszerzanie pamięci oraz wybrane elementy przetwarzające dane.

Najciekawszy jest jednak etap trzeci, czyli ZHBM. Samsung zamierza pionowo umieścić HBM na XPU, eliminując klasyczny interposer 2.5D i skracając drogę przesyłania danych. W porównaniu ze standardowym HBM4E producent deklaruje około 70% poprawy efektywności energetycznej oraz 230% wzrostu przepustowości DRAM, a przedstawiona konfiguracja obejmuje cztery stosy ZHBM umieszczone nad XPU.

To pokazuje, że kolejna duża zmiana w akceleratorach AI może dotyczyć nie tylko coraz szybszych GPU, ale również znacznie ściślejszego połączenia jednostek obliczeniowych z pamięcią. W praktyce skorzystają przede wszystkim centra danych i systemy AI, gdzie przepustowość, zużycie energii oraz pojemność pamięci coraz częściej stają się równie istotne jak sama moc obliczeniowa.