米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る

Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ

[ryopeko]

障害を常に身近なものと考えるっていうの、常に超サイヤ人でいるみたいな感じだ

[stibbar]

https://www.publickey1.jp/blog/14/netflixchaos_monkeyamazon_ec2.html

[tmatsuu]

persistent layerも対応するのすごい。

[kanu-orz]

障害を意図的に起こすことで、対策を徹底することと検証を日常的に行うというのは凄い。でも真似は難しいなぁ。

[kakku22]

>サービス障害を起こさないために、障害を起こし続ける。

[nilab]

米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る － Publickey

[topiyama]

これはすごい

[kasumani]

米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあた

[hazisarashi]

これはかっこ良すぎる惚れる

[t-wada]

EC2のインスタンスをランダムに落としまくることでサービスに対して仮想的な障害を引き起こす Chaos Monkey を使うことで、本物の障害が起きたとしてもサービスが継続できることをテストし続けてきたのか。見事。

[Dryad]

かっこいい…。

[Hash]

本領発揮や

[riywo]

美しい

[burnworks]

『パーシステントレイヤーであっても、レジリエンスの計画を持つべきだ。もしCassandraをChaos Monkeyのテストに加えていなかったら、今回の話は別の結果に終わっていただろう』

[railute]

次のCassandra Summit JPNにNetfilixの人どうにかして誰か呼びたいなぁ。

[an_old_pencil]

ぬお

[Chisei]

なつい。

[geopolitics]

日常的に行うストレステストらしい。

[K2ICE]

ガチムチHA...

[jyotti]

Netflixはいろんなの出してるなぁ

[yutatone]

へー

[chikunai]

これ、使ってみたかったが、転職してしまった。

[yoshi0309]

OSS って。動かしてみるか？w

[kentana20]

スゴい。

[raitu]

普段から「Amazon EC2のインスタンスをランダムに落としまくることで、サービスに対して仮想的な障害を引き起こしてくれ」るツールで演習してたから実際にリブートされても平気だったと

[doublehorn93]

米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る － Publickey

[ktakemoto]

演習によりガチガチに鍛えられたシステムはさすがだな。

[nobuking]

他の記事では200台程度影響がでたと、あったが…？

[d0i]

ふむ。凄いな。一般化できるだろうか？

[a2ikm]

すごいな

[minonet]

米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処す...