はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO

今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す

[yamitzky]

ParitionとS3のパスを対応させることもできるのか。こりゃ便利だ

[skrt2y]

"EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。"

[noblejasper]

これがやりたい！ はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する ｜ Developers.IO:

[kuenishi]

これこれ

[kukita]

【AWS】ElasticMapReduce（EMR）について。簡単にHadoopフレームワークを使うことができるAWSのサービスEMRを使ってfluentdでS3にアップロードしたログを直接検索。自分用メモφ(..) #jawsug →