サイボウズ Live アクセス障害の裏で起こっていたこと - Cybozu Inside Out | サイボウズエンジニアのブログ

どうも！アプリケーション基盤チームの@yokotaso です。 2017/11/13 にサイボウズLiveの長時間にわたる障害が発生しご迷惑をおかけしました。 技術的な調査が一段落し、対応を進めております。 障害にいたった原因と対応のお話をさせていただきます。 簡単なまとめ Java8u152以降で、CPU負荷が高まる現象 Java標準のデシリアライズとSecurity Managerの相性が悪くなった 解決策は現時点では存在しない。サイボウズLiveでは、Java標準のデシリアライズをやめる準備段階 障害発生時の状況 障害発生の数時間前に、運用マシンのメンテナンスを行っておりました。 Javaのマイナーアップデート カーネルのアップデート その他、設定ファイルなどの更新 障害発生時には次のような現象が見られました。 JavaプロセスがCPU高負荷状態 MySQLに大量のロック及びエラーが

[m_insolence]

サイボウズの障害報告って毎回面白い（不謹慎）

[rjge]

“夜間など稼働率が低い時間帯のアップデートは問題の早期発見を難しくさせる” メンテ系は天秤にかけるのが難しい

[progrhyme]

Security ManagerとJavaの標準のデシリアライズ機能によって秘孔を突いてしまったようだ

[honeybe]

うわぁ…。お疲れ様でした。 / 自分だと原因特定まで行けない気がする。半日くらい色々調べた結果「よくわからん。切り戻す」となりそう。

[kithzmky]

パフォーマンス サイボウズ

[igrep]

貴重な知見だ

[kinushu]

おつかれさまです

[albacore]

あぁ...辛そう...

[t_motooka]

これ原因究明まできちんと進むことができるの、凄いと思う。すごい。

[pochi-mk]

こわいなー、Javaってでかいソフトウェアなので何があっても不思議ではないんだろうけど...カナリアリリースしたところで事前に発見できるものなのだろうか？それにしてもサイボウズさんすごい！

[magnoliak]

こうやって知見が共有されるって本当に素晴らしい時代になったなー