NorikraとFluentdで流れてきたログをリアルタイムに集計する - sambaiz-netNorikraはTD社のtagomoris氏が作った、 スキーマレスのストリーミングデータを処理するOSS。 モチベーションとしてはfluentdでElasticsearchにログを送って可視化していたのだが、 流量が増えてきてピーク帯に耐えられなくなってしまったため、前もって集計してから送ることで流量を減らそうというもの。 Norikraを立ち上げてクエリを実行する 公式で紹介されているDockerイメージがあったのでこれで動かしてみる。 $ docker run -e "TZ=Asia/Tokyo" -p 26578:26578 -p 26571:26571 -v `pwd`:/var/tmp/norikra:rw -d myfinder/docker-norikra norikra start --stats /var/tmp/norikra/stats.json -l /var/t
