AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました | DevelopersIO
AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました 2021/03/15より、AWS Fault Injection Simulator(FIS)の利用が可能になりました。 アジア太平洋（大阪）と中国の2つのリージョンを除くすべての商用AWSリージョンで利用できます。 AWS Fault Injection Simulatorとは、 AWSでフォールトインジェクション実験を実行するためのフルマネージドサービスです。 フォールトインジェクション実験はカオスエンジニアリングで使用されます。 フォールト(障害)を意図的に発生させることでシステムに何が起こるのかを確認する、障害にどのように反応するかを学ぶ事によりシステムの回復力、信頼性、パフォーマンスをあげていくことが目的です。 FISを使うと モニタリングの死角、パフォーマンスのボ
AWSのAZ(アベイラビリティーゾーン)とは？AZ障害が起きたときどうすればよいのか
アドテク本部の黒崎( @kuro_m88 )です。 2019/08/23にAWSの東京リージョンで特定のAZ内で大きめの障害がありました。 私が開発しているプロダクトもAWSの東京リージョンを利用していて、常時数百インスタンスが稼働しているため、今回の障害の影響範囲に含まれていました。 何が起きたのか？ AWSから公式発表が出ています。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 データセンタ内の冷却の障害が原因で一部のハードウェアホストが過熱し電源が失われてしまったようです。これにより影響を受けたハードウェアホスト上で稼働していたEC2インスタンスやEBSボリュームは電源が失われているため、外部から見ると突然応答がなくなったように見えました。 担当サービスでも公式発表と同じくらいの時刻にELBやその配下のサーバ
AWS でいままで起きた大規模障害を振り返る - Qiita
目的 2017/3/1 に us-east-1 の S3 大規模障害がありました。過去にもいくつか発生しているのと、いつ使っているリージョンで同じ事態が起きてもおかしくないと思い、これを機に過去どのような障害があったのか遡って調べました。 所感 毎年どこかのリージョンで大規模な障害が起きている ap-northeast-1 で起きていないのはたまたま、運がいいだけ AWS は復旧時間の改善・可用性向上に全力を尽くしているものの、未知の障害はいつかどこかで起きるもの ステータスダッシュボードは時に嘘をつく クラウドシェアトップである AWS はインターネット全体の SPOF になりつつある Chaos Monkey の思想は必須 報告書読むの面白い AWS の中身がすこし透けて見えてきます 前回データセンターについて調べたことが役に立った AWS のデータセンターに侵入する（妄想で） - Q
システム障害で消耗してるあなたに：失敗から学ぶための取り組み「Failure teaches Success」 - クックパッド開発者ブログ
こんにちは！広告エンジニアのレオです。最近、システム障害を起こしていますか？クックパッドも例外ではないです。毎月、何かしらのシステムに何かしらの障害が起きてしまいます。その際、早く気づき、速やかに対応することによって被害を最小限に留めるように努めます。そして、システムやデータを正常な状態に復旧させます。 正常な状態に戻した段階では対応はまだ完了していません。問題の本当の原因は何なのか、またその再発をどうやって防止するかを考えて手を打つまでは、障害の対応が完了したといえません。予防しない限り、また同じ過ちを繰り返すことになってしまいます。 失敗は成功のもと 根本原因分析、そして再発防止は大事な作業ですが、とても難しい作業です。クックパッドでは、これらを少しでもやりやすくするために、ルールと仕組みをまとめています。この仕組みを「Failure teaches Success」（略してFtS）と
誰も教えてくれなかったMySQLの障害解析方法 - Qiita
それほどDBに詳しくないアプリエンジニアが何かトラブった時にすぐさま行動して問題把握できるようになる情報を列挙しておきます。 開発時、障害時の対処療法やちょっとした定期監視方法などを対象にしています。 抜本的な対策などはインフラエンジニアさんにお任せしたほうがいいと思います。 DBはいろんな意味でこわいんでできれば触りたくないです＞＜ 事前確認 MySQLサーバーのシステム設定値を確認しておく 以下のようにサーバーのシステム設定値を確認できます。 mysql> SHOW GLOBAL VARIABLES; # ワイルドカード(%)を用いた絞り込み mysql> SHOW GLOBAL VARIABLES LIKE 'performance_schema%'
route53をAWS CLIで切り替える～マネジメントコンソールも使えないこんな世の中じゃ～ | Engineer's Blog
12/23（月） 16時前にただならぬアラートが来だした。 影響ドメイン等からcloudfrontの可能性を疑い、twitterで検索すると、やはりそうらしい。 急いで家に帰り、キャッシュのパージ等を試してみるも、復旧しない。 nslookupをすると、結果が返ってきたり、返ってこなかったり、遅かったり。 どうやら、cloudfrontのドメインがroute53で引けなくなっているようだ。 上司に相談し、cloudfront経由のドメインをオリジンサーバへ向けることにした。 しかし、AWSのマネジメントコンソールもcloudfrontを使っているらしく、死んでいる。画面が真っ白だ。 自分の頭も一瞬真っ白になった。 すこしうろたえたが、AWS CLIで切り替えればいいかと思いついた。 ちょうど自分のサーバにインストールしてあるし。 備忘も兼ね、簡単な使い方を残しておく。 ゾーンIDの確認
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS障害で本当に知っておくべきことと考慮すべきこと
障害の概況