Microsoft ujawnił przyczyny jednej z największych awarii swoich usług chmurowych w ostatnich latach. Miliony użytkowników straciły dostęp do poczty elektronicznej, a kolejne próby przywrócenia działania infrastruktury kończyły się klęską. Okazuje się, że źródło problemu pojawiło się już w lipcu 2026 roku. Co bardziej zaskakujące, mechanizmy mające chronić Microsoft 365 przed awariami przyczyniły się do rozprzestrzenienia katastrofy.
Microsoft opublikował wstępny raport dotyczący globalnej awarii z 12 listopada, która dotknęła Outlooka, Exchange Online, Teams, SharePoint oraz innych usług Microsoft 365. Szczegóły przedstawił również Charles Lamanna, jeden z dyrektorów technologicznego giganta.
Pierwszym elementem układanki była lipcowa aktualizacja oprogramowania bram sieciowych Microsoft 365. Wprowadziła ona błąd związany z mechanizmem blokowania zasobów przez wewnętrzne procesy.
Przy określonym obciążeniu serwery przestawały odpowiadać
Dlaczego nikt tego nie zauważył? Microsoft przyznał, że środowiska testowe wykorzystywały głównie starsze serwery wyposażone w procesory z mniejszą liczbą rdzeni. Problem występował częściej na nowszych, wydajniejszych maszynach. Wadliwe oprogramowanie przeszło standardową procedurę weryfikacji i zostało wdrożone na całym świecie.
Awaria Teams uruchomiła efekt domina
Kilka godzin przed globalną awarią Microsoft przekierował ruch sieciowy Teams do głównej infrastruktury bram obsługujących również Exchange Online. Była to standardowa procedura awaryjna, stosowana w celu utrzymania dostępności usług. Pech chciał, że około 14 proc. zasobów tej infrastruktury pozostawało niedostępnych z powodu innego problemu z poprzedniego dnia. Pozostałe serwery bez trudu radziły sobie z typowym obciążeniem, ale dodatkowy ruch doprowadził do ujawnienia ukrytego błędu.
Kiedy pierwsze maszyny przestały odpowiadać, automatyczne mechanizmy przekierowały użytkowników do sprawnych serwerów. Te również zaczęły się zawieszać. W ciągu niespełna dwóch godzin awaria objęła aż 80 proc. floty bram sieciowych Microsoft 365. Zawiodły także zabezpieczenia mające ograniczyć rozprzestrzenianie się problemu pomiędzy regionami.
Microsoft próbował ratować serwery. Te ponownie się zawieszały
Teams, OneDrive, SharePoint oraz aplikacje Office mogły skorzystać z alternatywnej infrastruktury. Exchange Online nie dysponował taką możliwością. Microsoft przyznał, że jego standardowe procedury przywracania usług nie były przygotowane na awarię o takiej skali. Każda kolejna próba uruchomienia uszkodzonych serwerów kończyła się napływem ogromnej ilości skumulowanego ruchu i ponownym wystąpieniem błędu.
Miliony użytkowników przez ponad 12 godzin nie mogły korzystać z poczty elektronicznej i powiązanych usług.
Inżynierowie musieli wyłączyć całe grupy serwerów
Proste wycofanie aktualizacji sprzed kilku miesięcy nie wchodziło w grę. Inżynierowie przygotowali więc specjalną poprawkę przywracającą działanie wadliwego fragmentu kodu do stanu sprzed lipcowych zmian. Następnie wyłączali duże grupy serwerów, instalowali poprawkę i stopniowo przywracali maszyny do pracy. Dopiero kontrolowane odbudowywanie infrastruktury pozwoliło przerwać efekt domina.
Microsoft zapowiada publikację końcowego raportu jeszcze w tym tygodniu. Dokument ma wyjaśnić również, jakie zmiany zostaną wprowadzone w procedurach testowania i zabezpieczania infrastruktury przed podobnymi awariami.

Pokaż / Dodaj komentarze do:
Microsoft 365 miał plan awaryjny. Awaria chętnie z niego skorzystała