SK Hynix chce schłodzić najgorętszy punkt układów AI. iHBM ma być przełomem

W świecie sztucznej inteligencji wyścig o wydajność przestaje dotyczyć wyłącznie mocy obliczeniowej. Coraz większym ograniczeniem staje się temperatura, szczególnie w zaawansowanych akceleratorach AI wykorzystujących pamięci HBM. 

SK Hynix zaprezentowało właśnie nowe rozwiązanie o nazwie iHBM, które ma pomóc schłodzić jeden z najbardziej problematycznych elementów nowoczesnych układów. Nowa technologia zmienia podejście do chłodzenia pamięci wysokiej przepustowości. Zamiast odprowadzać ciepło dopiero po jego nagromadzeniu, SK Hynix chce usuwać je bezpośrednio w miejscu powstawania.

Kluczowym elementem nowego rozwiązania jest warstwa D2D PHY (Die-to-Die Physical Layer), czyli ultraszybkie połączenie między pamięcią HBM a procesorem AI.

Problemem nie są już tylko GPU. Pamięć HBM też zaczyna się przegrzewać

Kluczowym elementem nowego rozwiązania jest warstwa D2D PHY (Die-to-Die Physical Layer), czyli ultraszybkie połączenie między pamięcią HBM a procesorem AI. To właśnie tam przepływają ogromne ilości danych liczone w terabajtach na sekundę, co generuje bardzo wysokie temperatury.

W nowoczesnych akceleratorach AI pamięci HBM są układane warstwowo i umieszczane bardzo blisko procesora przy użyciu krzemowego interposera. Taka konstrukcja znacząco zwiększa przepustowość i obniża opóźnienia, ale jednocześnie tworzy niezwykle skoncentrowane źródła ciepła. Podczas długotrwałych obciążeń AI hotspoty termiczne zaczynają ograniczać wydajność. Układy automatycznie obniżają wtedy taktowania i napięcia, aby uniknąć przegrzania. W centrach danych AI oznacza to realny spadek wydajności i niższą efektywność całych klastrów obliczeniowych.

iHBM ma chłodzić pamięć dokładnie tam, gdzie powstaje ciepło

SK Hynix opracował rozwiązanie nazwane ICE (Integrated Cooling Elements), które zostało zintegrowane bezpośrednio w warstwie D2D PHY. Są to specjalne struktury krzemowe przewodzące ciepło, ale odizolowane elektrycznie od pozostałych elementów układu. Firma twierdzi, że takie podejście pozwala obniżyć opór cieplny o ponad 30%. Innymi słowy, ciepło może być szybciej odprowadzane zanim rozprzestrzeni się po całym pakiecie pamięci i procesora.

To szczególnie ważne w kontekście nadchodzących generacji pamięci HBM5, które będą oferować jeszcze wyższe przepustowości i większą liczbę warstw DRAM. Bez nowych metod chłodzenia dalszy wzrost wydajności mógłby zostać zatrzymany właśnie przez ograniczenia termiczne.

Nowe podejście do projektowania układów

Co ciekawe, iHBM nie wymaga całkowitej przebudowy procesu produkcyjnego. SK Hynix wykorzystuje istniejącą technologię MR-MUF stosowaną już przy obecnych pamięciach HBM, dzięki czemu rozwiązanie ma być kompatybilne z obecnymi konfiguracjami system-in-package.

Pokazuje to szerszy trend widoczny w branży AI. Producenci coraz częściej szukają bowiem wzrostów wydajności nie tylko poprzez mocniejsze rdzenie obliczeniowe, ale również dzięki lepszej integracji komponentów i bardziej zaawansowanemu zarządzaniu temperaturami.