Amazon Elasticsearch Service(AES)のデータノードが消失しStatusがRedになった場合の対応方法 - production.log

概要 info.snapmart.jp 私が運用しているサービスの一つであるSnapmartで障害が発生しました。 原因はAmazon Elasticsearch Service(以下AES)のデータノードが消失しStatusがRedになったためです。 Elasticsearchのデータノードが消失しているので、検索周りで多大な影響が出てしまいました。 この記事では上記の障害を振り返り、類似の問題が発生した場合のトラブルシューティングの一助としたいと思います。 Elasticsearchの基本概念 まずはざっくりElasticsearchの構成で出てくる用語を整理しましょう！ 今回の障害の登場人物は以下の通りです。 クラスタ ノード インデックス ドキュメント シャード&レプリカ 詳しい解説は本家ドキュメントとクラスメソッドさんの解説に譲ります。 www.elastic.co dev.cl