サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
衆院選
shinofara.hateblo.jp
ふりかえり 前回「Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。」URL -> http://shinofara.hateblo.jp/entry/2013/09/15/000202 では、複数台のサーバで稼働するNginxのアクセスログを、Fluentdを使って回収して、S3上に格納して、 EMR(Elastic MapReduce)を使って、ログ解析をするという簡単ながれを書きました。 今回なぜ、Elastic MapReduceでの解析結果を使ってD3.jsの調査をしたのか 前回の解析結果のデータだけではパッと見てわかりにくかったりするので、 パッと見てわかりやすくする為に 今回は、前回解析したデータを、グラフしてみました。 ※テストデータの内容レベルなら、グラフ化は不要なのですが、調査というこ
今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析も必要になってくると思い調査し始めたのがきっかけです。 調べてみると、Redshift、Big Query、TreasureDataなど色々あるんですね、 でも今回は、Facebookで流れてきた記事に目がとまったので、まずはとElastic MapReduceの調査をしてみました。 構成としては、Elastic MapReduce + S3 + Fluentd + nginxでやってみます。 Nginxで書きだしたltsv形式のログが、fluentdでS3に転送されています AWS上で準備（Elastic MapReduce Job Flows作成）
このページを最初にブックマークしてみませんか？
『shinofara.hateblo.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
