fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
Hadoop + Hiveでapacheアクセスログ解析 - 備忘録
Hiveのセットアップは、Hadoopが正常に実行できてる環境下で、アーカイブ（hive-0.7.0-bin.tar.gz）を適当な場所に解凍します。HADOOP_HOMEの設定とhiveのbinにPATHを通して、hiveコマンドを実行するのみです。 hiveコンソールが起動します。 まずapacheログのテーブルを作成します。とりあえずログのフォーマットはcommonです。combinedはこのあとで。 hive> CREATE TABLE apachelog ( > ipaddress STRING, identd STRING, user STRING,finishtime STRING, > requestline string, returncode INT, size INT) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
