Elastic MapReduceで解析した結果を、D3.jsを使ってグラフ化してみたお話 - Technofara
ふりかえり 前回「Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。」URL -> http://shinofara.hateblo.jp/entry/2013/09/15/000202 では、複数台のサーバで稼働するNginxのアクセスログを、Fluentdを使って回収して、S3上に格納して、 EMR(Elastic MapReduce)を使って、ログ解析をするという簡単ながれを書きました。 今回なぜ、Elastic MapReduceでの解析結果を使ってD3.jsの調査をしたのか 前回の解析結果のデータだけではパッと見てわかりにくかったりするので、 パッと見てわかりやすくする為に 今回は、前回解析したデータを、グラフしてみました。 ※テストデータの内容レベルなら、グラフ化は不要なのですが、調査というこ
Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - Technofara
今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析も必要になってくると思い調査し始めたのがきっかけです。 調べてみると、Redshift、Big Query、TreasureDataなど色々あるんですね、 でも今回は、Facebookで流れてきた記事に目がとまったので、まずはとElastic MapReduceの調査をしてみました。 構成としては、Elastic MapReduce + S3 + Fluentd + nginxでやってみます。 Nginxで書きだしたltsv形式のログが、fluentdでS3に転送されています AWS上で準備（Elastic MapReduce Job Flows作成）
技術検証するならVPSレンタルより、自分のPCで、Vagrant + Chefを使って仮想サーバを立ち上げよう【導入編】【vagrant入門】 - Technofara
技術検証するならVPSレンタルより、自分のPCで、Vagrant + Chefを使って仮想サーバを立ち上げよう【導入編】 前提条件 インストール済みパッケージ ruby 1.9.3p448 gem 1.8.23 VirtualBox https://www.virtualbox.org/wiki/Downloads version 4.2.16 をインストール済み 仮想環境を立ち上げる作業開始 仮想環境構築で使う、gemパッケージのvagrantをインストール $ gem install vagrant $ vagrant -v Vagrant version 1.2.2 OSイメージを取得してbox化 $ vagrant box add centos64_64 http://developer.nrel.gov/downloads/vagrant-boxes/CentOS-6.4-x86
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
