Chmura Google nie działała przez kilka godzin. Wszystko przez zasilacz

Pod koniec marca 2025 roku użytkownicy usług Google Cloud w jednym z regionów Ameryki Północnej doświadczyli niespodziewanej i dotkliwej awarii, która trwała aż sześć godzin. Choć firma przywróciła funkcjonalność większości systemów, dopiero teraz poznaliśmy szczegółowe przyczyny tego poważnego incydentu – i są one zaskakujące.

Awaria, do której doszło 29 marca 2025 roku, sparaliżowała działanie ponad 20 kluczowych usług Google Cloud w strefie dostępności us-east5-c, znajdującej się w regionie Columbus, Ohio. Wśród niedostępnych usług znalazły się m.in. Google Compute Engine, Cloud SQL, Google Kubernetes Engine, BigQuery, VPC, Cloud Interconnect czy Cloud Filestore. Przerwa miała charakter częściowy, ale w wielu przypadkach usługi były całkowicie niedostępne dla klientów.

Jak ujawniono, przyczyną incydentu była jednoczesna przerwa w dostawie prądu oraz awaria zasilaczy awaryjnych UPS, które miały zapewnić ciągłość działania infrastruktury nawet w przypadku problemów z siecią energetyczną. Zamiast tego, mechanizmy zapasowe zawiodły niemal równocześnie z głównym źródłem zasilania.

Co zawiodło?

Google wyjaśnia, że awarii uległ kluczowy akumulator UPS, który miał podtrzymać zasilanie centrum danych do czasu uruchomienia generatorów diesla. Co gorsza, uszkodzony zasilacz awaryjny prawdopodobnie blokował automatyczne przełączenie na zasilanie z generatorów, co zmusiło inżynierów do przeprowadzenia awaryjnego, ręcznego obejścia systemu.

Pierwsze zgłoszenie o awarii odnotowano o 12:54 czasu PST, natomiast dopiero o 14:49 systemy zaczęły być stopniowo przywracane do działania. Niektóre z nich wymagały ręcznej interwencji inżynierów, a pełne przywrócenie usług zakończyło się dopiero 1 kwietnia nad ranem – niemal półtorej doby później.

Reakcja Google i konsekwencje

Google opublikowało szczegółowy raport po incydencie, w którym przeprosiło swoich klientów i zapowiedziało wdrożenie działań naprawczych. Firma zadeklarowała współpracę z dostawcą systemów UPS w celu zidentyfikowania przyczyn awarii oraz przeprojektowania fragmentów systemu zasilania awaryjnego, by uniknąć podobnych incydentów w przyszłości.

Do tej pory Google nie ujawniło, kto dostarczył wadliwe systemy UPS ani jakie dokładnie problemy techniczne spowodowały ich niezdolność do działania. Wiadomo jedynie, że incydent ten wywołał poważne rozmowy wewnątrz firmy oraz zewnętrzną presję na dostawcę infrastruktury zasilającej.

Współczesne chmury i ich czułe punkty

Google Cloud, jako jeden z tzw. hiperskalerów – obok Amazon Web Services i Microsoft Azure – odgrywa kluczową rolę w globalnym przetwarzaniu danych i dostarczaniu usług online. Według danych Synergy Research Group, na koniec 2022 roku udział Google w rynku usług chmurowych wynosił 12%, co stawia firmę na trzecim miejscu za AWS (30%) i Azure (21%).

Choć tak duże firmy inwestują miliardy dolarów w bezpieczeństwo i niezawodność, żaden z hiperskalerów nie jest całkowicie odporny na awarie. Historia pokazuje, że nawet najlepsze zabezpieczenia mogą zawieść – nie tylko z przyczyn technicznych, ale i ludzkich.

Wystarczy przypomnieć wydarzenia z sierpnia 2022 roku, kiedy to wyszukiwarka Google i Google Maps przestały działać z powodu nieudanej aktualizacji, a w jednym z centrów danych doszło do eksplozji sprzętu elektrycznego, w wyniku której trzy osoby trafiły do szpitala. Także Amazon Web Services doświadczył w ostatnich latach awarii, które zatrzymały działanie setek popularnych serwisów na całym świecie.

W lipcu 2024 r. świat doświadczył globalnego zakłócenia systemów IT, kiedy błędna aktualizacja oprogramowania CrowdStrike sparaliżowała nie tylko Microsoft Azure, ale również systemy bankowe, lotnicze i przemysłowe na całym globie.