EMRってなんじゃ？（ログ、ゆりかごから墓場まで）

AWS Advent Calendar 2012 に参加させてもらいました。21日担当です。 AWSでWEBサイトをホストするときのログのライフサイクルについて、まとめてみました。 WEBサーバーの一般的なログの扱いは以下のような感じだと思います。 各インスタンスのアクセスログを1箇所に集める 複数のログファイルを１ファイルにまとめてソートする 集計をする 古いログのバックアップをとり、削除する これをAWSで行なってみると例えば以下のようになります。 fluentdを使って各インスタンスのログを１つのバケットAに送る EMRで１つにまとめてソート。別のバケットBに保存 EMRで集計もして、別のバケットBに保存 バケットAの期限が過ぎたものをGlacierに送る 図にすると以下のようなイメージです。 １．各インスタンスのアクセスログを1箇所に集める これはfluentdでtail→s3で行

[labunix]

“memorycraft: EMRってなんじゃ？（ログ、ゆりかごから墓場まで）”

[equinox79]

“memorycraft: EMRってなんじゃ？（ログ、ゆりかごから墓場まで）”

[studio3104]

fluent-plugin-s3でログを集めて、Glacierにアーカイブ、EMRで解析

[suz-lab]

ログをFluentdでS3に集約してEMRで解析。(そして解析後のログはGlacierへ) 「Web Storage Archiveパターン」の完成系かも。