Treasure Data の集計結果を Elasticsearch に保存して利用する - Qiita

毎日いろんなデータを取り、集計し、可視化し、分析し、日頃の業務改善のアイディアを考えたりすると、仕事してる気になって良いですね。 データの保存と集計を Treasure Data 様にお任せできるのは、本当にすごいし便利です。 最初は hive や presto のクエリを実行するスクリプトを LL で書いて cron で回して自前の MySQL に保存する等やっていたのですが、なんかそれは色々面倒でした。実は Treasure Data のクエリは、定期実行スケジュールや、集計結果の保存先が指定できることを知りました。 そこで、実行結果を HTTP PUT で WebDAV に保存した上で、json を変換して Elasticsearch に送り、最終的に Kibana で見れるようにしてみました。 クエリの設定 毎時実行されるようにスケジューリングする WebDAV に HTTP PU

[tagomoris]

“データ分析を楽にしましょう！”