『ElasticSearch(0.19)で無理やりデータ復旧させた話』

こんにちは。Amebaの基幹系インフラ担当している鳥垣です。 ユーザーのサービス用途でElasticSearch（0.19.10）を使用しているのですが、先日ElasticSearchの障害で一部のShardが読めなくなってしまいまして、それを力技で無理やり読めるように復旧させたのでその時の奮闘記を記載したいと思います。 運用情報台数：30台CPU：24コアHeap：8GBインデックス数：３総データ容量：約300GBShard数：128レプリカ数：2バージョン：0.19.10※OpenStackの仮想サーバ ホスト障害発生OpenStackのホストサーバがダウンし、ElasticSearchのノードが1台ダウン。Shardの再配置処理が走り、ダウンしたノードが持っていたShardは他ノードに分散される。この時点ではElasticSearchのクラスタステータスはグリーンだった（Headプラ

[sonots]

なんだ、つまりoranieさんのせいか > "Cassandraの面倒を見るのが大変だったので"

[sue445]

ESに限ったことじゃないけど自分で運用してるとバージョンアップや障害対応が大変なのでフルマネージドサービスを積極的に使っていきたい

[yukung]

0.19 で本当にスミマセン (´Д⊂ヽｳｪｪﾝ

[T-miura]

0.19・・・？後、OpenStack側（VM側）でのバックアップとか気になる。awsならs3のバックアップ使うけど、vmware環境とかだと鬱陶しいのでvmwareのバックアップ使っちゃってるな。

[successor]

デレステの障害も記事にしてくれんかな

[tokida]

ElasitcSearch(0.19)で無理やりデータ復旧させた話 - | ユーザーのサービス用途でElasticSearch（0.19.

[l__LINE__l]

人件費考えたら有償サポートの方がお得そう

[rx7]

お疲れ様でした。鳥垣さんが表に出てくるときって、いつもトラブルで死にかけた話なのは何故なのか考察が必要。

[t-cyrill]

大変そう

[munisystem]

つらみある

[akuwano]

((((；ﾟДﾟ))))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

[hiroakis]

ほほう

[oranie]

涙なしには読めない。

[kakerukaeru]

0.19...(ﾟＡﾟ;)ｺﾞｸﾘ