Pierwsze na świecie hybrydowe urządzenie CXL łączy pamięć flash i DRAM

Samsung zaprezentował nową kartę rozszerzeń Compute Express Link (CXL) o nazwie CXL Memory Module-Hybrid for Tiered Memory (CMM-H TM). Ta dodaje dodatkową pamięć RAM i pamięć flash, do których procesory i akceleratory mogą uzyskać zdalny dostęp. Karta rozszerzeń jest wyposażona w szybką pamięć DRAM i pamięć flash NAND i ma zapewniać ekonomiczny sposób zwiększania pojemności pamięci serwerów bez korzystania z lokalnie instalowanej pamięci DDR5, co często nie jest możliwe ze względu na zbyt wiele subskrypcji. 

Rozwiązanie Samsunga działa w oparciu o Compute Express Link (CXL), otwarty standard branżowy, który zapewnia spójne z pamięcią podręczną połączenia między procesorami i akceleratorami, umożliwiając w ten sposób CPU korzystanie z tych samych obszarów pamięci, co podłączone urządzenia korzystające z CXL. Pamięć zdalna, czyli w tym przypadku hybrydowe urządzenie pamięci RAM/flash, jest dostępna poprzez magistralę PCIe, co wiąże się z ~170-250 ns opóźnienia, czyli mniej więcej tyle, ile wynosi koszt skoku NUMA. CXL został wprowadzony w 2019 roku i obecnie oferowana jest trzecia rewizja, obsługująca PCIe 6.0.

Rozwiązanie Samsunga działa w oparciu o Compute Express Link (CXL), otwarty standard branżowy.

Specyfikacja CXL obsługuje trzy typy urządzeń: akceleratory pozbawione pamięci lokalnej, akceleratory z własną pamięcią (takie jak procesory graficzne, FPGA i układy ASIC z pamięcią DDR lub HBM) oraz urządzenia, które składają się z pamięci. Urządzenie Samsunga należy do tej trzeciej kategorii.

CMM-H TM jest pochodną rozwiązania pamięci CMM-H CXL koreańskiego giganta. Samsung twierdzi, że jest to pierwsze na świecie rozwiązanie warstwowej pamięci CXL oparte na FPGA, zaprojektowane tak, aby „stawić czoła wyzwaniom związanym z zarządzaniem pamięcią, skrócić przestoje, zoptymalizować planowanie dla pamięci warstwowej i maksymalizować wydajność, a wszystko to przy jednoczesnym znacznym obniżeniu całkowitego kosztu posiadania”.

To nowe CMM-H nie jest tak szybkie jak DRAM, mocno rozszerza jednak pojemność za pośrednictwem pamięci flash i w sprytny sposób ukrywa duże opóźnienia dzięki funkcji buforowania pamięci wbudowanej w kartę rozszerzeń. Gorące dane są przenoszone do układów DRAM karty w celu zwiększenia szybkości, podczas gdy mniej używane dane są przechowywane w pamięci NAND. Samsung twierdzi, że to dzieje się automatycznie, ale niektóre aplikacje i obciążenia mogą dawać urządzeniu wskazówki dotyczące poprawy wydajności za pośrednictwem interfejsu API. Naturalnie zwiększy to opóźnienie w przypadku danych buforowanych, co nie jest idealne we wszystkich przypadkach użycia.

Nowa karta rozszerzeń Samsunga zapewni klientom nowe sposoby zwiększania pojemności pamięci serwerów. To staje się coraz istotniejsze, ponieważ bardziej zaawansowane modele dużych języków wciąż wymagają większej ilości pamięci od swoich maszyn głównych i akceleratorów.