NVIDIA ciśnie po producentach procesorów. Ma własny pomysł

Przez lata producenci procesorów koncentrowali się na zwiększaniu liczby rdzeni, aby serwery mogły obsługiwać coraz więcej zadań jednocześnie. NVIDIA uważa jednak, że branża zbyt mocno skupiła się na liczbach, zaniedbując szybkość pojedynczego rdzenia. Rozwój agentów sztucznej inteligencji sprawia, że ten kompromis staje się coraz bardziej odczuwalny. Odpowiedzią firmy ma być Vera, nowy procesor zaprojektowany z myślą o centrach danych.

W rozmowie z serwisem Wccftech przedstawiciele zespołu odpowiedzialnego za Verę zwrócili uwagę na kierunek, w którym przez lata rozwijał się rynek procesorów serwerowych. Zwrot w branży nastąpił w kierunku konstrukcji opartych na chipletach i większej liczbie rdzeni, ale odbywa się to kosztem wydajności jednowątkowej i liczby instrukcji na cykl (IPC). Ponieważ agenci AI wymagają szybszego wykonywania operacji między kolejnymi krokami wnioskowania, NVIDIA uważa, że ​​procesor wymaga gruntownego przemyślenia.

Wraz z rozwojem centrów danych w chmurze, producenci chipów koncentrowali się na umieszczaniu większej liczby rdzeni w serwerach, aby móc obsługiwać więcej obciążeń jednocześnie. Projekty chipletów umożliwiły to poprzez podzielenie procesora na kilka mniejszych rdzeni zamiast budowania wszystkiego na jednym, większym rdzeniu. Zespół Vera firmy NVIDIA argumentuje jednak, że takie podejście wiąże się z pewnymi kompromisami. Przenoszenie danych między rdzeniami może powodować opóźnienia w komunikacji i komplikować dostęp do pamięci, potencjalnie ograniczając wydajność pojedynczego wątku, jaką może zapewnić każdy rdzeń. Nie oznacza to, że chiplety są złym wyborem, ale NVIDIA uważa, że ​​dążenie branży do zwiększania liczby rdzeni odbyło się kosztem szybszych rdzeni pojedynczych.

    „…w tamtym czasie pod względem projektowania procesorów ucierpiała przede wszystkim wydajność jednowątkowa i IPC, ponieważ gdy zapełniasz, gdy używasz chipletów, po prostu nie masz na chipie miejsca, aby projektować wydajność na rdzeń”.

Agenci AI potrzebują szybkich procesorów

Agent sztucznej inteligencji działa inaczej niż chatbot ograniczający się do wygenerowania odpowiedzi. Może uruchomić kod, skorzystać z zewnętrznego narzędzia, pobrać dane, przeanalizować wyniki i dopiero wtedy zdecydować o następnym kroku. Część tych operacji można wykonywać równolegle, ale inne wymagają zakończenia wcześniejszego etapu. Jeżeli procesor wolno realizuje kolejne instrukcje, cały proces może się wydłużać. Nawet duża liczba rdzeni nie pomoże w pełni, gdy następny krok musi czekać na wynik poprzedniego.

Ma to również znaczenie dla kart graficznych. Akceleratory GPU odpowiadają za ogromną część obliczeń związanych z AI, ale potrzebują danych i instrukcji przygotowanych przez pozostałe elementy systemu.  Istnieje również efekt domina dla procesorów graficznych. Jeśli procesor zajmuje zbyt dużo czasu przygotowanie kolejnego zadania lub przetworzenie danych wyjściowych agenta, procesor graficzny może pozostać bezczynny w oczekiwaniu na instrukcje, marnując cenną moc obliczeniową. Samo dodanie większej liczby rdzeni procesora niekoniecznie rozwiąże ten problem, jeśli poszczególne zadania będą działać wolno. Potrzeba lepszej równowagi między liczbą rdzeni a szybkością na rdzeń, aby procesor mógł dotrzymać kroku procesorowi graficznemu, a nie stał się wąskim gardłem.

NVIDIA Vera stawia na 88 rdzeni i szybki dostęp do danych

Nowy procesor Vera ma łączyć wysoką wydajność pojedynczego rdzenia z możliwościami potrzebnymi w dużych centrach danych. Układ wykorzystuje 88 autorskich rdzeni Olympus umieszczonych na jednym, monolitycznym układzie obliczeniowym. Towarzyszy im podsystem pamięci LPDDR5X oraz druga generacja rozwiązania Scalable Coherency Fabric, odpowiadającego za komunikację i spójność danych między rdzeniami.

Według deklaracji NVIDII przepustowość bisekcji tego rozwiązania sięga 3,4 TB/s. Firma twierdzi, że to trzykrotnie więcej niż w przypadku głównych układów x86. Są to dane podawane przez producenta, a rzeczywiste wyniki będą zależeć od zastosowania i konfiguracji systemu.

Monolityczna konstrukcja ma ograniczać konieczność przesyłania danych między oddzielnymi chipletami obliczeniowymi. NVIDIA chce w ten sposób połączyć dużą liczbę rdzeni z szybką komunikacją wewnątrz procesora, zamiast stawiać wyłącznie na dalsze zwiększanie ich liczby.