メモ：Elasticsearchの書き込み性能を上げるためにやったこと - Qiita

背景 サーバーに対して位置情報を含む500万レコード以上のデータがFTP経由で送られてくる。送られてくるときは１つのファイルにある独自の方法で圧縮されているが、このままでは位置情報を元にした検査ができないため、受け取った時点で展開して位置情報をサポートしたデータベースに書き込むのが今回の課題。 なお、このファイルは５分毎に送られてくる。したがって書き込みに5分以上かかってはダメ。できたら アプリケーションでの展開 → データベースへの書き込み までを2分程度で終わらせて、その後は位置情報をもとに検索ができなければならない。という状況。 親切な方から、位置情報ならElasticsearchがいいんじゃないかと教えてくれた。で、試行錯誤してなんとか2分ちょっとで書き込めるようになったので、そこまでにやったことの覚え書き。 【2017/1/3 追記】参考資料 このメモをキータにあげた際に、Jun

[braitom]

書き込み速度を上げるためのTips

[wyukawa]

ノード数やディスク数にもよるけどshardを増やしたら書き込み性能上がらないのかな。

[Dai_Kamijo]

よい / “メモ：Elasticsearchの書き込み性能を上げるためにやったこと - Qiita” — Hiroshi Toyama (@toyama0919) December 26, 2016 from Twitter https://twitter.com/Dai_Kamijo December 26, 2016 at 03:14PM via IFTTT

[toyama0919]

よい