Alibaba Cloud zaprezentowała system Aegaeon, który pozwala znacząco zmniejszyć liczbę wymaganych procesorów graficznych NVIDII do obsługi dużych modeli językowych (LLM), redukując zapotrzebowanie na GPU o 82%.
Na konferencji SOSP 2025 omówiono rozwiązanie, które pozwala na bardziej efektywne wykorzystanie procesorów graficznych w chmurze. Aegaeon to system zaprojektowany do lepszego zarządzania obciążeniem GPU w czasie rzeczywistym, co pozwala na efektywniejsze przydzielanie zasobów między różne modele.
Alibaba optymalizuje wykorzystanie GPU, zmniejszając zapotrzebowanie o 82%
Zamiast przypisywać jedno GPU do jednego modelu, Aegaeon dzieli moc obliczeniową na małe fragmenty i przypisuje je różnym zadaniom, co pozwala na równoczesne wykorzystanie jednego procesora przez kilka modeli. Dzięki temu wydajność systemu wzrosła nawet dziewięciokrotnie w porównaniu do starszych rozwiązań.
Alibaba Cloud zaprezentowała system Aegaeon, który pozwala znacząco zmniejszyć liczbę wymaganych procesorów graficznych NVIDII do obsługi dużych modeli językowych (LLM), redukując zapotrzebowanie na GPU o 82%.

Testy przeprowadzone przez Alibaba trwały kilka miesięcy. W tym czasie liczba GPU potrzebnych do obsługi modeli spadła o ponad 80%. System Aegaeon okazał się bardziej wydajny od innych rozwiązań, takich jak ServerlessLLM czy MuxServe.
Nie jest jednak pewne, czy te same rezultaty uda się osiągnąć poza ekosystemem Alibaba. Firma korzysta z własnej sieci eRDMA oraz zintegrowanej infrastruktury GPU.
Spodobało Ci się? Podziel się ze znajomymi!
Pokaż / Dodaj komentarze do:
Chińczycy nie potrzebują NVIDII. Aegaeon zmniejsza zapotrzebowanie GPU o 82%