Nowa technologia umożliwia GPU rozszerzanie pamięci za pomocą PCIe

Obecne karty graficzne mają swoje ograniczenia w obliczu coraz większych wymagań aplikacji AI i HPC, a jednym z największych pozostaje rozmiar pamięci. Istnieją sposoby na obejście tego wąskiego gardła, ale rozwiązania mogą być drogie i trudne w realizacji. Teraz startup z siedzibą w Daejeon w Korei Południowej opracował nowe podejście: wykorzystanie pamięci podłączonej przez PCIe w celu zwiększenia pojemności. Opracowanie tego rozwiązania wymagało pokonania wielu przeszkód technologicznych, a przed twórcami wciąż stoją wyzwania, ale wygląda to bardzo obiecująco. Pytanie tylko, czy AMD, Intel i NVIDIA będą wspierać tę technologię?

Wymagania dotyczące pamięci wynikające z zaawansowanych zbiorów danych dla aplikacji AI i HPC często zapełniają pamięć wbudowaną w procesor graficzny. Rozszerzanie tej pamięci zazwyczaj oznacza instalowanie drogiej pamięci o dużej przepustowości, co często powoduje zmiany w istniejącej architekturze GPU lub oprogramowaniu.

Południowokoreański startup opracował rozwiązanie, pozwalające wykorzystanie pamięci podłączonej przez PCIe w celu zwiększenia jej pojemności w kartach graficznych.

Rozwiązanie tego wąskiego gardła oferuje Panmnesia, firma wspierana przez południowokoreański instytut badawczy KAIST, która wprowadziła nową technologię umożliwiającą GPU dostęp do pamięci systemowej bezpośrednio poprzez interfejs Compute Express Link (CXL). Zasadniczo umożliwia kartom graficznym wykorzystanie pamięci systemowej jako rozszerzenia własnej pamięci.

Ta pamięć podłączona przez PCIe, nazywana CXL GPU Image, charakteryzuje się dwucyfrowym opóźnieniem w nanosekundach, czyli znacznie szybszym niż tradycyjne dyski SSD, jak podkreślają twórcy. CXL to protokół działający na łączu PCIe, ale technologia musi zostać rozpoznana przez układ ASIC i jego podsystem. Innymi słowy, nie można po prostu dodać kontrolera CXL do platformy, ponieważ nie ma struktury logicznej CXL ani podsystemów obsługujących punkty końcowe DRAM i/lub SSD w GPU.

Ponadto podsystemy pamięci podręcznej i pamięci GPU nie rozpoznają żadnych rozszerzeń z wyjątkiem ujednoliconej pamięci wirtualnej (UVM), która nie jest wystarczająco szybka dla sztucznej inteligencji lub HPC. W testach przeprowadzonych przez Panmnesia UVM wypadło najgorzej spośród wszystkich testowanych kerneli GPU. CXL zapewnia jednak bezpośredni dostęp do rozszerzonej pamięci poprzez instrukcje ładowania/zapisywania, eliminując problemy ograniczające UVM, takie jak narzut związany z interwencją środowiska wykonawczego hosta podczas błędów strony i przesyłaniem danych na poziomie strony.

W odpowiedzi firma Panmnesia opracowała szereg warstw sprzętowych obsługujących wszystkie kluczowe protokoły CXL, łącząc je w ujednolicony kontroler. Kompleks główny zgodny z CXL 3.1 ma wiele portów głównych obsługujących pamięć zewnętrzną przez PCIe oraz mostek hosta z dekoderem pamięci urządzenia zarządzanego przez hosta, który łączy się z magistralą systemową układu graficznego i zarządza pamięcią systemową.

Przed Panmnesia stoją jednak inne wyzwania, wykraczające poza możliwości firmy, a najważniejszym z nich jest to, że AMD i NVIDIA muszą dodać obsługę CXL do swoich GPU. Możliwe jednak, że producenci uznają ten pomysł za kuszący i zdecydują się na implementację.