![](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2ba55af03372b2a3bf2a93184daf360c4345d4f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--flayC6W1--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AElasticsearch%2525E3%252581%2525AE%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252583%252587%2525E3%252583%252583%2525E3%252582%2525AF%2525E3%252582%2525B9%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%252592%2525E9%2525AB%252598%2525E9%252580%25259F%2525E3%252581%2525A7%2525E3%252583%252580%2525E3%252583%2525B3%2525E3%252583%252597%2525E3%252581%252599%2525E3%252582%25258BCLI%2525E3%252583%252584%2525E3%252583%2525BC%2525E3%252583%2525AB%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252582%25258A%2525E3%252581%25259F%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Atakenoko-gohan%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2E3ZGQwZDdiMjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Elasticsearchのインデックスデータを高速でダンプするCLIツールを作りたかった
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Elasticsearchのインデックスデータを高速でダンプするCLIツールを作りたかった
作ろうとした背景 以前、elasticdumpを使ってインデックスデータをダンプしていたのですが、結構な時間... 作ろうとした背景 以前、elasticdumpを使ってインデックスデータをダンプしていたのですが、結構な時間を要したため暇だった年末年始あたりからCLIツールをGo言語で作りはじめました。 実装 処理の大まかな流れは下記の図のような形で実装しました。 今回は、処理の効率化と学習を目的に並行処理でインデックスデータを保存するようにしました。 困ったこと Elasticsearchの検索上限 ElasticsearchのSeach APIではsearch_afterを使用しない場合、検索の上限がデフォルトで10000件までとなり、ドキュメントが10000件を超えるインデックスのダンプをすることができませんでした。 Search APIの代わりに、Scroll APIを使用することで、10000件以上のドキュメントを取得することができました。 並行処理 最初は下記のような形で実装したのですが、d