ElasticsearchのデータをApache Sparkで加工する - Qiita

はじめに KibanaではElasticsearchに格納されているデータを容易にグラフ化するための機能が提供されています。ただ、この機能はElasticsearch上のIndex Patternの単位で操作するのが基本なので、構造の異なる複数のIndexの情報をまとめて扱おうとするとグラフを作るのが結構難しかったり、複雑な計算処理を含めるとグラフ化する際に処理が重くなったりしてしまいます。そのため、事前にデータを加工してVisualizeしやすいようなIndexにあらかじめ加工しておく方がやりやすい場合があります。 そこで、ここではElasticsearchの情報を加工する方法として、Apache Sparkを利用してみます。 Elasticsearchの複数indexを読み取り、簡単な加工をして、新たなindexを作成する、ということをやってみます。 参考情報 Elasticsearc

[sh19910711]

org.elasticsearch.spark.sql / 自分でBulk APIとか叩くよりSparkでやった方が簡単かもしれないな