Azureの北欧州データセンター、定期メンテナンス時の消火剤放出が原因で空調停止、温度が上昇し自動シャットダウンへ。7時間にわたり一部にサービス障害

Azureの北欧州データセンターで、定期メンテナンス時に予期せぬ消火剤放出が発生。空調停止を引き起こし、温度上昇でサーバ群が停止するという障害を引き起こした。 Microsoft Azureの北欧州データセンターで9月29日の13時27分から20時15分まで約7時間にわたり、一部の顧客において仮想マシンやAzure Backup、Azure Functionsなど多数のサービス障害が発生したとの事象が「Azure status history」で報告されています。 原因は、データセンターの定期メンテナンス時に予期せず消火剤の放出が発生し、それがきっかけとなって空調が停止。停止した区画の温度上昇により一部のサーバやストレージが停止するというものでした。 データセンター内のさまざまな部分で自動化が進んだ結果、ある問題が自動的に次の問題を引き起こす将棋倒しのような状況を見ると、データセンターの自

[daruyanagi]

ピタゴラスイッチかな？

[k2wanko]

まるで将棋だな

[nminoru]

あれだ。NetfixのmonkeyシリーズにDCに物理的にダメージを与えるPhysical Monkeyを付け加えるべし。

[yosida95]

Azure は定期的に施設系の障害やらかしている印象がある

[T-miura]

規模間気になる、最近、azureもAZとか言い出したけど、AZで対応できるのかリージョン冗長化いるのか。リージョン冗長化だと、費用がきつそうなんだよな・・

[pmobiuse777]

毎年電源周りでやらかしてるような

[yogasa]

azure，わりとマヌケな障害多いよな……

[and_hyphen]

ひぃ、って気持ちになるな。消化剤からの負の連鎖。

[kitadon]

メモ。

[kiri3]

今度は綺麗に止まるようにしよう

[z1h4784]

まあ自動シャットダウンしないよりは良い（東電並感

[Cujo]

自動で動作ってことは人的被害は出なかったということでいいのかな（これから読む

[michiomochi]

ファイナルディスティネーションっぽい

[houyhnhm]

シュールすぎる。

[bps_tomoya]

かなりひどい事態だったのに現実味が感じられなくて、パニック映画の OP のようだと思ってしまった

[spacefrontier]

自社システムでは、温度の異常上昇時は必ずサーバよりストレージが最期まで生き残るハード設計にして、復旧時の容易化を図っている。(最近はCPUのサーマルスロットリングとかDIMMのCLTTとか色々な温度異常対策がある。)

[kita-tuba]

Azureの北欧州データセンター、定期メンテナンス時の消火剤放出が原因で空調停止、温度が上昇し自動シャットダウンへ。7時間にわたり一部にサービス障害

[jt_noSke]

しょうかざい 違ったしょうがないでは済まされない