Chaos Engineering BootcampThese are the slides from the Chaos Engineering Bootcamp I ran at Velocity 2017 in San Jose #VelocityConf
Jepsen: MongoDB 3.6.4
In February 2017, we discussed data loss and fixes in MongoDB 3.4.0-rc3’s v0 and v1 replication protocols. In this Jepsen report, we will verify that MongoDB 3.6.4’s sharded clusters offer comparable safety to non-sharded deployments. We’ll also discuss MongoDB’s new support for causal consistency (CC) in version 3.6.4 and 4.0.0-rc1, and show that sessions prevent anomalies so long as user stick t
Chaos Engineering
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. With so many interacting components, the number of things that can go wrong in a distributed system is enormous. You’ll never be able to prevent all possible failure modes, but you can
Hexing the technical interview
Previously: Reversing the technical interview. Long ago, on Svalbard, when you were a young witch of forty-three, your mother took your unscarred wrists in her hands, and spoke: Vidrun, born of the sea-wind through the spruce Vidrun, green-tinged offshoot of my bough, joy and burden of my life Vidrun, fierce and clever, may our clan’s wisdom be yours: Never read Hacker News But Hacker News has rea
Jepsen: Dgraph 1.0.2
Dgraph is a distributed graph database which uses Raft for per-shard replication and a custom transactional protocol, based on Omid, Reloaded, for snapshot-isolated cross-shard transactions. Dgraph claimed to offer snapshot isolation, per-client monotonicity, and linearizability. However, in Dgraph 1.0.2 through 1.0.6, we found multiple deadlocks & crashes in the cluster join and node recovery pro
Consistency Models
This clickable map (adapted from Bailis, Davidson, Fekete et al and Viotti & Vukolic) shows the relationships between common consistency models for concurrent systems. Arrows show the relationship between consistency models. For instance, strict serializable implies both serializability and linearizability, linearizability implies sequential consistency, and so on. Colors show how available each m
Asynchronous replication with failover
In response to my earlier post on Redis inconsistency, Antirez was kind enough to help clarify some points about Redis Sentinel’s design. First, I’d like to reiterate my respect for Redis. I’ve used Redis extensively in the past with good results. It’s delightfully fast, simple to operate, and offers some of the best documentation in the field. Redis is operationally predictable. Data structures a
Chaos Monkeyアップデート
NetflixはChaos Monkeyのアップグレードを発表した。Chaos MonkeyはSoftware as a Serviceの弾力性を改善するための汎用ツールであり、サービス提供時間中にランダムにサーバやコンテナを停止する。今回のアップグレードで、Chaos MonkeyはSpinnakerと統合された。SpinnakerはNetflixの継続的デリバリのプラットフォームであり、さまざまなクラウドプラットフォームで利用できる。同社のDockerコンテナのプラットフォームであるTitusも対応している。 Chaos MonkeyはSpinnakerを経由して構成情報を受信し、この情報を使うことでChaos Monkeyはリソースの停止をスケジューリングして実行する。これによって停止のスケジューリングのユーザ体験が向上できる。アプリやスタック、クラスタをグループ化できる。また、さま
Jepsen: Aerospike 3.99.0.3
Aerospike is a high-performance distributed document store. Following up on our 2015 analysis, we explored Aerospike’s new strong-consistency mode, which offers linearizable operations on single records. We confirmed two documented flaws in Aerospike’s homegrown replication algorithm. First, it can lose updates when more than k nodes crash (either concurrently or in sequence). Second, when either
GitHub - simonmunro/ChaosMonkey: Chaos Monkey is a .NET based app that randomly selects a tagged AWS instance and terminates it
The Chaos Monkey originated with Netflix, who built a Chaos Monkey in order to test that they can consistently handle failure. Partly because of its name and partly because the idea of randomly terminating production servers is an absurd check of fault tolerate architectures, the Chaos Monkey concept took a life of its own and has become part of AWS legend. Werner Vogels even kicked off a t-shirt
米Netflix、AWSに対応するクラウドインフラ向け障害テストツール「Chaos Monkey」をリリース | OSDN Magazine
ネットを利用したビデオレンタルサービス大手の米Netflixは7月30日、Amazonクラウドインフラストラクチャ向けの障害テストツール「Chaos Monkey」をオープンソースソフトウェアとして公開した。クラウドインフラストラクチャ内での障害を意図的に発生させるツールで、アプリケーションの耐障害性をテストできるという。 Chaos MonkeyはAmazon Web Services（AWS）クラウドでホストされている環境の耐障害性をテストするシステム。インターネット経由でのDVDレンタルサービスやオンラインでの動画ストリーミングサービスを展開しているNetflixはクラウドを多用してシステムを構築しており、さまざまな障害シナリオに対応するために開発したという。 Chaos Monkeyはクラウドシステムで運用中のインスタンスをランダムに無効にし障害を引き起こす機能を持つ。これにより、
猿が暴れてクラウドの障害に強くなるNetflixのシステム - ワザノバ | wazanova.jp
http://techblog.netflix.com/2013/10/introducing-chaos-to-c.html 「歴史上の有名な開発プロジェクトからまなぶべきこと」をまとめていたときに、Videoの中で、ある大型ロケットエンジンの開発において、信頼性テストのために小型爆弾をエンジンの噴射口辺りで爆発させて耐性を調べた云々のエピソードが紹介されていて、更に続いて「ネット業界で同じようなことをやってるのはNetflixぐらいだ。」という説明がありました。その時は何のことだかよくわからなかったのでブログでは取り上げなかったのですが、今回見つけました。 以前紹介したように、北米のインターネットトラフィックの30%以上を占めるNeflixはインフラをAmazonに全面的に移行しています。クラウドに移行した後の学びとして、 自社データセンターの時は、個別のハードウェアインスタンスが障害
Chaos Monkey
Note: See Netflix/chaosmonkey for a newer version of Chaos Monkey. What is Chaos Monkey? Chaos Monkey is a service which identifies groups of systems and randomly terminates one of the systems in a group. The service operates at a controlled time (does not run on weekends and holidays) and interval (only operates during business hours). In most cases we have designed our applications to continue w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
障害ヲ抱擁セヨ──大規模クラウドサービスをマイクロサービスアーキテクチャで作るNetflixが実践する障害注入テスト（FIT）とは何か | さくらのナレッジ
カオスエンジニアリングによるAPIの回復力の向上
IBM Developer
IBM Developer
GitHub - Netflix/SimianArmy: Tools for keeping your cloud operating in top form. Chaos Monkey is a resiliency tool that helps applications tolerate random instance failures.
NetflixがChaos Monkeyをオープンソースに
障害ヲ抱擁セヨ──大規模クラウドサービスをマイクロサービスアーキテクチャで作るNetflixが実践する障害注入テスト（FIT）とは何か | さくらのナレッジ