自動障害回復システム 月読の話 - Cybozu Inside Out | サイボウズエンジニアのブログ

@ymmt2005 こと山本泰宇です。短い夏休みから帰ってきました。 今回は cybozu.com のデータセンターで運用を開始した自動障害回復システム「月読」を紹介します。障害にも色々ありますが、今回紹介するのは仮想マシンのホストサーバーの物理障害を検出して、稼働していた仮想マシンを予備のホストに移動する仕組みです。 月読は、データセンター全域に分散したエージェントが協調動作するピア・ツー・ピア (P2P)システムとして作られています。以下分散システムの話題が多数でてきますが、とても難解というわけではないので、分散システムの入門記事としてお楽しみください。 障害にどう対処するか 障害対応の自動化 設計のポイント エージェント間通信 障害の検出と回復 その他の機能 まとめ 障害にどう対処するか 物理障害対策の基本は二重化(多重化)です。アプリケーションサーバーのようにデータを持たないサーバ

[heavenshell]

ヤバい。面白い。

[watchlynx]

カッコイイ…

[tmatsuu]

ほっほー面白い。バケツリレーなのはTwitterのデプロイと似てて面白いね。こういった配布ができるpuppet/chefみたいなのあるんかな。

[Yamashiro0217]

月読…あらやだカッコイイ

[fukaoi]

ゴシッププロトコルか。勉強してみよう

[zembutsu]

ハードウェア周りの障害発生時における、自動復旧手法。ゴシックプロトコル

[harabu]

「(1)多数のサーバー間で相互監視して、(2)障害の検出には何らかの合意(consensus)を必要とします」は、技術やハードとか何もわからないような会社に売りつけられて儲けをかすめ取るものにはならんかなぁ。。。

[yosuke_furukawa]

これやっぱり無限ループとかに陥ってしまったときはイザナミだ、って言うの?

[chroju]

ほー／"月読は安眠が守られるよう願いを込めて名付けたものです"

[kimutansk]

それなりに自動復旧、ダメなら人間にヘルプ、それ以外は安全側に倒している感じですかね。面白いです。。。と見ると、OSS化を期待したいところですが、さて

[anoworl]

月詠？（難聴）