Microsoft ujawnia szczegóły AI Maia 100 o TDP do 700 W. Rzuca wyzwanie NVIDII

NVIDIA posiada od 75 do 90 procent rynku chipów AI. Pomimo, a raczej z powodu tej dominacji na rynku, wielcy rywale technologiczni i firmy hiperskalowalne opracowują własny sprzęt i akceleratory, aby ukroić kawałek tego jakże lukratywnego tortu dla siebie. Microsoft jest już gotowy zaprezentować szczegóły swojego pierwszego customowego układu AI.

Maia z limitem mocy nawet 700 W

Microsoft przedstawił swój pierwszy akcelerator AI, Maia 100, na tegorocznej konferencji Hot Chips. Ten wykorzystuje architekturę z customowymi płytami serwerowymi, szafami i oprogramowaniem, aby zapewnić ekonomiczne, ulepszone rozwiązania i wydajność dla obciążeń opartych na sztucznej inteligencji. Gigant z Redmond zaprojektował ten akcelerator do obsługi modeli OpenAI we własnych centrach danych Azure. Chipy Maia 100 są wytwarzane przez TSMC w 5 nm litografii i domyślnie ich TDP wynosi 500 W, ale można podnieść ten limit mocy do 700 W.

Szybka pamięć HBM2E na pokładzie

Maia może zapewnić wysoki poziom ogólnej wydajności, jednocześnie skutecznie zarządzając całkowitym poborem mocy dla docelowego obciążenia. Akcelerator zawiera również 64 GB pamięci HBM2E, a więc mniej niż 80 GB pamięci w GPU NVIDIA H100 i 192 GB pamięci HBM3E w modelu B200 od Zielonych.

Maia może zapewnić wysoki poziom ogólnej wydajności, jednocześnie skutecznie zarządzając całkowitym poborem mocy dla docelowego obciążenia.

Według Microsoftu architektura Maia 100 SoC obejmuje szybką jednostkę tensorową (16xRx16) oferującą błyskawiczne przetwarzanie na potrzeby uczenia i wnioskowania, obsługując jednocześnie szeroką gamę typów danych, w tym o niskiej precyzji, takie jak format MX. Posiada luźno powiązany silnik superskalarny (procesor wektorowy) zbudowany z customowym ISA do obsługi typów danych, w tym FP32 i BF16, silnik bezpośredniego dostępu do pamięci obsługujący różne schematy fragmentowania tensorowego oraz semafory sprzętowe umożliwiające programowanie asynchroniczne.

Akcelerator AI Maia 100 zapewnia także programistom pakiet Maia SDK. Zestaw zawiera narzędzia umożliwiające programistom AI szybkie przenoszenie modeli napisanych wcześniej w Pytorch i Triton. SDK obejmuje integrację frameworka, narzędzia programistyczne, dwa modele programowania i kompilatory. Posiada również zoptymalizowane jądra obliczeniowe i komunikacyjne, Maia Host/Device Runtime, warstwę abstrakcji sprzętu obsługującą uruchamianie jądra alokacji pamięci, planowanie i zarządzanie urządzeniami.

Microsoft udostępnił dodatkowe informacje na temat zestawu SDK, protokołu sieciowego zaplecza Maia i optymalizacji w swoim poście na blogu Inside Maia 100, skierowanym do programistów i entuzjastów sztucznej inteligencji.