「朝からサーバーからえぐいほど警告が来ていると思ったら室温がやばい」→その原因が判明したが非常にシンプルかつ深刻な事態だった

くわ @kuwamain ちなみに去年あった同じような事件とは違うサーバーです x.com/kuwamain/statu… x.com/kuwamain/statu… テスト運用していたGPUサーバー(ほかにも10台ぐらい)が全部90度になっていた 落ちてなかったのが奇跡... x.com/kuwamain/statu… くわ @kuwamain 今日のシステム障害の流れ 空調が死ぬ(ダイキンのエアコンって60日で切れるの？) ↓ 室温が上がりサーバー機が次々にオーバーヒートして停止 ↓ 9割以上の実機が死に冗長化が保てなくなりシステム停止 ↓ 全落ち☆ 簡単に言うと「我が名はアシタカ。節電のためにエアコンを止めた！」が発生した模様

[araikacang]

もう2回目なんだから、無知な他人を馬鹿にしてる場合ではなく、何か対策しようよ。スイッチにカバーつけるとか入室制限とかさ。

[keidge]

サーバ室に容易に警備員をアクセスさせるな。警備員を巡回させるなら最初から周知しておけ。どちらにしても施設管理者の責任になる案件。現場の警備員は正しく役割を果たしている。

[azumi_s]

まあ、サーバールームに入れる権限を持つ人間には周知は必要なのよ。その権限を持つこと自体が責任を負うことなので。

[hatest]

テプラ張っても、それを見ずに他の部屋と同じ流れ（勢い）で消しちゃう奴はいるので、物理的にスイッチに触れないようにしないとだめだよ

[punkgame]

警備員的には親切心なんだろうけど、社内に入り込める人間が独断で勝手に設備の電源にさわれるって、警備員本人どうこうよりその状況をなんとかすべきだと思うけど。賊に入りこまれたらもう終わりじゃん。

[suikyojin]

サーバー管理者以外が入れること、空調を操作できることが問題。空調は、電源と並ぶ、サーバーの生命線。

[demcoe]

結構な割合で「エアコンはできる限り使わない方が良い。そのためならある程度の我慢はするべき」みたいな行動規範を持っている人いそう

[yogasa]

警備員が切れるところにエアコンのスイッチがあるのが原因。オフィスにサーバ置いてるのだろうか？こんなことで起こられる警備員さんがかわいそう。ちゃんとしたDCに移転してね。

[mionosuke]

教育もそうだけど、エアコンの操作が出来るところ（リモコン）に、読みやすい大きさの文字で「エアコン消すな。室温を〇度以下にキープ」と書いておけばいいんじゃね？

[neco22b]

警備員でないけど、瞬電で一旦エアコン停止して、サーバはUPSで問題なかったが、電源復帰後もエアコン止まったままで高温になったことがあった。その後、復旧時に自動起動するエアコンに替えられた

[d-ff]

エイコスに頬を当てるきみ、で短詩を一つとあれこれひねっていた時期もありました。

[will_in_hiki]

シーズン中は全館空調を引いて、オフシーズンは自課エアコンで賄うのあるある。設備警備に巡視させないと全館空調の責任負わされかねないから入れるしかない。管は繋がってるからオフシーズンんでも部外者が来る

[John_Kawanishi]

そんな笑い話(笑えない)みたいな事が本当におきるの？と思ったらツイ主学生で大学の研究室の話らしい

[morimarii]

サーバー室に警備員が入室できてしかもエアコン切れるとかホラーでしょ普通に。。。

[PrivateIntMain]

なんか最近(半年以内)に海外で同種の事案なかったっけとブクマを漁ってみたが見つけられんかった。/親切な方ありがとうございます、それです。1年近く前だった…。

[nyankosenpai]

このネタ別の場所で読んだことあるんだけど、どこだったかな……

[Mu_KuP]

何のためにラック貸しのDCがあると思ってるんだ、という話でもある／HWに触れる機会が多い理由があるのだろうけども、電源・空調・セキュリティ面でサーバラックを自社ロケーションで維持するのはリスクしかない。

[airstation]

サーバールームとは？

[Re-birth]

こういうタイプの人に、頑固で自分が正しいとおもったらいくら言ってもやることがある

[deep_one]

「警備員が夜にチェックした後にエアコン消してた」いや、なぜ一般警備員がサーバー室に入れるんだ。／コメントを見て。瞬断でエアコンだけ死ぬ、という発想がなかった！怖い。

[m50747]

何だか普通のビルでこれだけのサーバー動かすのなんか懐かしい。普通のビルは年に一回くらい完全停電あるんだけど24時間365日のサービスじゃ無いのかな。

[mobits]

どいつもこいつもえぐいえぐいうるせえな

[cvtbgspuda]

張り紙するだけでは。

[takeishi]

まあ、切れてはいけないスイッチは誰でも押せるように設置してはいけない。医療機器で電源切っちゃいけない系の物はコードが引いただけでは抜けないとかスイッチにカバーとか対策されてる

[TakamoriTarou]

大学生っぽいので、まぁそんなもんじゃねーのと思いました。これ学内の一室をサーバ室って言い張ってるだけなのでは。大学は予算削減を迫られ、巡回警備員の正規の仕事として無人の場合の冷房電灯OFFがあると思う

[tsukumoya99]

警備は施設管理者から業務依頼を受けているのであって、実施要領については合意があるはずなので何度もということは施設管理者側の帰責がありそう。

[sc3wp06ga]

大学生らしいし、商用じゃなくて研究や勉強なんじゃ？研究で大事なのは、安定性より、とりあえず素早く自分たちでやってみて、失敗を恐れず試せる、学べることだろうから、DCへ移転とか、権限云々はナンセンスかも。

[Tack2Me]

2回繰り返してる時点で管理側の問題

[Fluss_kawa]

警備員の職務に切り忘れのエアコンを消すことがはいっていたら責められない。今の世の中自分の身を守るためには決められた職務しかやらないことが重要になってくる。（ジョブ型）

[miki3k]

エアコン操作が簡単にできないようにしておくべきだった

[ntstn]

鯖落ちの原因は掃除のおばちゃんによるコンセント抜きっていうことになってたROの話を思い出した。

[nakag0711]

冷蔵庫にいれてはどうか

[mame_3]

これは知識のない警備員にそういう行為を許した管理側の責任。重要施設に研修無しに立ち入らせては絶対ダメ。

[hanajibuu]

サーバールーム無かった頃は、エアコンのスイッチにLTOのケースを被せてガムテープで貼ってた

[sucelie]

エアコンのスイッチ周りをどう防御してたかによる。カバーして警告書いてたなら警備員が悪い。

[makou]

あと何年もしたら、カバー破ってでも空調いじる人が出てくるだろうな。動物園のクーラー、テープ破って勝手にいじった事件があったからね。

[ayumun]

どんなに言っても人は忘れたり、ぼんやりしてたりするので「エアコン切らないで！」って、スイッチにテプラを貼るのが最強

[hopeholdsmoon]

ほっとくと90℃になるものをエアコンで冷やせるんだね

[neo_Neutral]

むかし客先が一般フロアの一部をパーテションで区切ってマシン室にしてたけどエアコンの操作パネルがフロア入口で社員がイジるから常時警報状態ってのがあったなぁ