Když souvislost jen tak vypadá

Dvě náhody během pěti dní znovu ukázaly, proč je při provozu IT nutné ověřovat předpoklady.

Při noční migraci infrastruktury zákazníka na Slovensku vypadlo několik minut po zahájení přepojování kabelů bezdrátové internetové spojení. První předpoklad byl přirozený: chybu jsme způsobili my.

Postupným debuggingem jsme tuto variantu označili za nepravděpodobnou. Poskytovatel následně potvrdil výpadek způsobený špatným počasím. Zákazník měl připojení od dvou různých poskytovatelů, takže migrace mohla pokračovat.

O několik dní později se přesně dvě minuty po oznámení výsledku jiné změny odmlčel kritický virtuální stroj. Tentokrát ZFS zjistil přechodnou chybu konzistence po zápisu na diskové pole a QEMU virtuální stroj pozastavilo s chybou „io-error“. Po migraci na jiný hypervizor v clusteru se služby okamžitě rozběhly.

Události, které vypadají propojeně, mohou být jen shodou okolností. Časová blízkost je důvod začít vyšetřovat, ne důkaz příčiny.

A i když problém změna skutečně způsobí, je dobré nezapomínat, že kdo nic nedělá, nic nezkazí—ale také se neposune. Bezpečný posun stojí na redundanci, pozorování a ochotě vlastní první vysvětlení prověřit.