Elasticsearchのインデックスデータを高速でダンプするCLIツールを作りたかった

作ろうとした背景 以前、elasticdumpを使ってインデックスデータをダンプしていたのですが、結構な時間を要したため暇だった年末年始あたりからCLIツールをGo言語で作りはじめました。 実装 処理の大まかな流れは下記の図のような形で実装しました。 今回は、処理の効率化と学習を目的に並行処理でインデックスデータを保存するようにしました。 困ったこと Elasticsearchの検索上限 ElasticsearchのSeach APIではsearch_afterを使用しない場合、検索の上限がデフォルトで10000件までとなり、ドキュメントが10000件を超えるインデックスのダンプをすることができませんでした。 Search APIの代わりに、Scroll APIを使用することで、10000件以上のドキュメントを取得することができました。 並行処理 最初は下記のような形で実装したのですが、d