Chińczycy nie potrzebują NVIDII. Aegaeon zmniejsza zapotrzebowanie GPU o 82%


Chińczycy nie potrzebują NVIDII. Aegaeon zmniejsza zapotrzebowanie GPU o 82%

Alibaba Cloud zaprezentowała system Aegaeon, który pozwala znacząco zmniejszyć liczbę wymaganych procesorów graficznych NVIDII do obsługi dużych modeli językowych (LLM), redukując zapotrzebowanie na GPU o 82%.

Na konferencji SOSP 2025 omówiono rozwiązanie, które pozwala na bardziej efektywne wykorzystanie procesorów graficznych w chmurze. Aegaeon to system zaprojektowany do lepszego zarządzania obciążeniem GPU w czasie rzeczywistym, co pozwala na efektywniejsze przydzielanie zasobów między różne modele.

Alibaba optymalizuje wykorzystanie GPU, zmniejszając zapotrzebowanie o 82%

Zamiast przypisywać jedno GPU do jednego modelu, Aegaeon dzieli moc obliczeniową na małe fragmenty i przypisuje je różnym zadaniom, co pozwala na równoczesne wykorzystanie jednego procesora przez kilka modeli. Dzięki temu wydajność systemu wzrosła nawet dziewięciokrotnie w porównaniu do starszych rozwiązań.

Alibaba Cloud zaprezentowała system Aegaeon, który pozwala znacząco zmniejszyć liczbę wymaganych procesorów graficznych NVIDII do obsługi dużych modeli językowych (LLM), redukując zapotrzebowanie na GPU o 82%.

Karty graficzne

Testy przeprowadzone przez Alibaba trwały kilka miesięcy. W tym czasie liczba GPU potrzebnych do obsługi modeli spadła o ponad 80%. System Aegaeon okazał się bardziej wydajny od innych rozwiązań, takich jak ServerlessLLM czy MuxServe.

Nie jest jednak pewne, czy te same rezultaty uda się osiągnąć poza ekosystemem Alibaba. Firma korzysta z własnej sieci eRDMA oraz zintegrowanej infrastruktury GPU.

Spodobało Ci się? Podziel się ze znajomymi!

Pokaż / Dodaj komentarze do:

Chińczycy nie potrzebują NVIDII. Aegaeon zmniejsza zapotrzebowanie GPU o 82%
 0
Kolejny proponowany artykuł z kategorii
Kolejny proponowany artykuł z kategorii
Kolejny proponowany artykuł z kategorii
Kolejny proponowany artykuł z kategorii