本当は恐ろしい分散システムの話

分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html

[Shin-JPN]

インフラ連中ってのはこういうことをガリガリやってるので、新参IT屋が「何でもかんでも俺らがやれば上手くいく」みたいなドヤ顔してると胡散臭いとみる/ちな新しい玩具を振回す新参でも腕利きはまずドヤ顔してない

[kemuken]

「いい攻撃だ」　なんか師匠というかラスボス感あるセリフだ、いい

[masatomo-m]

分散クラスタって難しいんやで？という話はもっとよく知られるべきというとても良いまとめ。障害をなくす方向は無理なので、障害の影響を最小限にするというスタンスが大事だよね

[taruhachi]

簡単じゃない。という本質的な話なので、じゃぁ、自前実装してアプリケーションで担保すれば良いとか、オンプレミスにしろとかいう話ではないことに注意が必要。

[perl-o-pal]

まず上に乗っかるアプリのバグを十分に潰してくれ、せめてelementaryレベルのテストで良いからやってくれと思うことは多々あったりなかったり。これはこれでかなり勉強になった。

[mn112hr]

壊れた時のことを考えてインフラ設計するのは重要。

[tohokuaiki]

「お前らなんかあるとオレらの関連会社バカにするけど、ホントに分かってるからいちいち反論しないんやで」という矜持を感じさせるスライド

[eriotto]

その昔少し離れた事務所の通信を八木式アンテナで拠点間通信してたときの話、ネットワークが全然安定しないので現場まで見に行ったらスリッパを大量に詰めた箱がアンテナの前に置かれてたのを思い出した

[Sediment]

すげー面白かった。メモリのホットスペアとかミラーリングとか知った時の、やり過ぎ感を思い出す。いやまぁ確かにメモリもCPUも基盤も基盤のバスも単一障害点だがww

[t-wada]

分散システムを作るのは本当に難しいことをこれでもかと伝えてくれる資料。すばらしい。そして分散システムは恐ろしい。

[ka-ka_xyz]

memo

[keijak]

いらすとやが使われていないことに違和感を覚えるようになってしまった

[amatou310]

新しいやつかと思ったら当時のだった。いまさらなぜ。

[iekusup]

ありがたい。

[gogatsu26]

“Microsoftのデータセンタでは • 毎日5.2個の装置が壊れる • 40.8本のリンクが壊れる • 復旧平均時間(Mean Time to Repair)は5分から1週間 • 1障害あたりおよそ59,000個のパケットが消失”

[ryunosinfx]

記念ブクマ

[tackman]

GitHubの障害関連で調べてたら出てきた、こわい

[dabits]

いわゆる落ちないシステムに対する考察。Netflixのカオスエンジニアリングにも言及。このレベルまでやるには普通の会社だとR&D部門必須だろうなぁ。

[lowpowerschottky]

“ 合計2000件の書き込みリクエストのうち 成功と返ってきたのが1998件 実際に保存されていたのが872件→書いたデータの56%が消えた！”

[web-engineer]

CAP定理ぶち壊す

[zyzy]

マイクロサービスが本当に生きるのはこういう規模なんだろうな。

[rryu]

ファイル書き込み失敗や通信失敗はテストしづらいけど、テストしづらいからやっぱりバグが残ってるんだなあ。

[vanbraam]

これどこで発表された資料だろう?:ACIDの話は分散関係ない気がする;p.58の"サルと和解せよ"のリストは本当重要;逆に世の大半のシステムはなぜこれらの問題に遭遇せずに動いているのかも考えたい

[jumperson]

分散システムに関わらずシステムの耐障害性に関するスライド。異常系のバグやchaos engineeringについて。

[side_tana]

面白い...

[shin1x1]

"Chaos Engineering"

[ikajigoku]

「ハードウェアは壊れる」

[chezou]

推薦のフォールバックはなるほどそうだよな感

[moccai]

NTTのこのロゴ久々に見た

[braitom]

分散システムはレイヤーが多岐に渡るのでいろいろ壊れやすいし、原則すら守られていないものが多いという話。信頼性を高めるためのNetflixのChaos Engineeringについても書かれている。

[k-takahashi]

分散システムのテストと信頼性確保の方法の話。本番環境を壊してみる、って確かに凄いな。その準備段階も含めて

[uniqlosage]

これは恐ろしい…

[joker1007]

これは勉強になるわ。

[nobeans]

おそろしい

[hiroponz]

面白い

[nrtkbb]

こぇぇ

[mashori]

素人の流し読みでもなんとなく恐ろしさが伝わった。

[FutureIsWhatWeAre]

よくあるラスボスが世界にカオスをもたらそうと大破壊を試みるのは世界の耐久度テストのためだったとかそういう話か

[z1h4784]

本番環境の破壊テストができるのは凄すぎる。Netflixを尊敬する。