IBM zawstydził Nvidię. Chip w procesie 12 nm pokonuje najnowsze prądożerne rozwiązania

IBM wprowadził nowy chip NorthPole przeznaczony do uruchamiania algorytmów sztucznej inteligencji. Dzięki rewolucyjnej architekturze pamięci dosłownie bije wszystko inne pod względem wydajności, mimo że jest wytwarzany w procesie 12 nm.

Sztuczna inteligencja stała się ostatnio przedmiotem wielkiego zainteresowania. W większości przypadków do szkolenia tych systemów wykorzystuje się karty graficzne i obliczeniowe Nvidii. Niemniej jednak w codziennym użytkowaniu spotykamy się również z różnymi innymi jednostkami NPU (lub NIPU - Neural Inference Processing Unit), zwłaszcza w naszych smartfonach. Teraz, w dziedzinie wykonywania operacji opartych na algorytmach sztucznej inteligencji, pojawia się nowa karta o nazwie IBM NorthPole. Warto zaznaczyć, że nie jest to karta przeznaczona do trenowania algorytmów AI, ale do ich wykonywania (wnioskowania).

IBM Research opracowało dedykowany chip, który umożliwia uruchamianie aplikacji do rozpoznawania obrazów opartych na sztucznej inteligencji 22 razy szybciej niż układy dostępne obecnie na rynku.

W kontekście procesu szkolenia, dominująca pozycja Nvidii nie jest obecnie zagrożona. Jednak w przypadku już wyuczonych algorytmów, IBM NorthPole może stanowić konkurencję. Sekret tkwi w strukturze pamięci tej karty. W przeciwieństwie do większości komputerów, które opierają się na klasycznym modelu von Neumanna z oddzielnym procesorem i pamięcią, NorthPole posiada pamięć wbudowaną bezpośrednio w układzie, co znacząco redukuje opóźnienia w operacjach AI.

Procesor ten jest wyprodukowany w procesie technologicznym 12 nm, co nie wypada zbyt oszałamiająco w porównaniu  z nowoczesnymi akceleratorami. Zawiera on 22 miliardy tranzystorów, podczas gdy flagowy produkt Nvidii, H100, dysponuje aż 80 miliardami. Warto podkreślić, że procesor NorthPole oferuje 256 rdzeni zdolnych do przetwarzania 2048 operacji na rdzeń z 8-bitową precyzją. Według IBM, potencjał obliczeniowy procesora może wynosić aż 839 TOPS.

Niezwykle interesującym aspektem jest fakt, że mimo niższego taktowania zegara w porównaniu z modelem H100 firmy Nvidia, gdzie ta ostatnia osiąga około 1,8 GHz w trybie Boost, procesor NorthPole działa jedynie z częstotliwością wynoszącą 400-425 MHz. Niemniej jednak, wykorzystując model ResNet50, NorthPole był w stanie osiągnąć imponującą wydajność wynoszącą 42,5 tys. klatek na sekundę. W efekcie przewyższył on Nvidię A100 (30,8 tys.) i osiągnął wynik zbliżony do połowy osiągów Nvidii H100 (81,3 tys.).

Dla Nvidii stwarza to pewien problem, gdyż podczas gdy H100 potrzebuje aż 700 W energii, NorthPole radzi sobie zaledwie z 74 W i może działać wykorzystując zasilanie poprzez magistralę PCIe (choć obsługuje także opcjonalny zasilacz o mocy 150 W). Oznacza to, że NorthPole oferuje wydajność aż pięciokrotnie większą, a w porównaniu z procesorami graficznymi 12 nm lub 14 nm, różnica w wydajności jest nawet do 25-krotnie większa.

Ten rodzaj akceleratora jest planowany głównie do zastosowań w systemach opartych na sztucznej inteligencji związanym z przetwarzaniem obrazów, takich jak detekcja obiektów, segmentacja obrazu czy klasyfikacja wideo. Jednakże ma również potencjał do rozpoznawania mowy i przetwarzania języka naturalnego. Naukowcy przyznają, że ich nowy chip ma jedną poważną wadę — jest w stanie obsługiwać jedynie wyspecjalizowane procesy sztucznej inteligencji; w związku z tym nie może uruchamiać procesów szkoleniowych ani dużych modeli językowych, takich jak ChatGPT. Zauważają jednak również, że wkrótce przetestują połączenie wielu chipów NorthPole ze sobą – jest to posunięcie, które ich zdaniem przezwycięży obecne ograniczenia.