Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - Technofara
今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析も必要になってくると思い調査し始めたのがきっかけです。 調べてみると、Redshift、Big Query、TreasureDataなど色々あるんですね、 でも今回は、Facebookで流れてきた記事に目がとまったので、まずはとElastic MapReduceの調査をしてみました。 構成としては、Elastic MapReduce + S3 + Fluentd + nginxでやってみます。 Nginxで書きだしたltsv形式のログが、fluentdでS3に転送されています AWS上で準備（Elastic MapReduce Job Flows作成）
fluentdからMongoDBへ連携する際の注意点 #fluentd - 都内在住エンジニアの思考整理録
fluentdからMongoDBへ連携させる際、はまった所があったので共有しておきます。 【はまった状況】 fluentdは、out_pluginで設定した連携先につなげないときに、バッファファイルとしてローカルにためこむ機能があります。 私の場合、fluent-plugin-mongoを使って、MongoDBへ連携させていたのですが、 バッファファイルが16MBのファイルをMongoDBへ連携させるときに、 以下のエラーが生じ、MongoDBへのInsertが失敗してしまいました。 2011-11-16 16:21:20 +0900: failed to flush the buffer, retrying. error="Exceded maximum insert size of 16,000,000 bytes" 2011-11-16 16:21:20 +0900: /usr/lo
#fluentd の性能・リソースに関する最近のいくつかの傾向の話 - たごもりすメモ
いくつかそれぞれ違う内容のことについて書きます。また複数の変更をほぼ同時期にやったケースもあり「お前それ分けてやれよ」と言いたくものがあるかもしれません。いや分かってはいるんだけど、そうそう変更ばっかりもしてられないからまとめてやりたいじゃんよ。 前提ですが、今回出てくるサーバはすべて、fluentdのみを8プロセスずつ起動している物理サーバです。fluentd meetupのときに「deliverサーバ」として紹介したやつ。各Webサーバからログを受け、アーカイブサーバにscribeプロトコルで送ると同時にロードバランスしてログ変換サーバに forward で送る配送サーバ。out_forwardのインスタンスが57あります。 ruby 1.9.2 -> 1.9.3 にした 前々から全くトラフィックの流れていないスタンバイ用のサーバでもメモリの使用量が徐々に上がっていって定期的な再起動が
fluentd をmongodbでとりあえず動かしてみた - mizchi log
使う機会ありそうだったのでやってみる。めんどくさいんで色々デフォルト設定でやる。 $ gem install fluentd $ gem install fluent-plugin-mongo $ gem install bson_ext $ fluentd --setup ./etc/fluent $ vim etc/fluent/fluent.conf mongoの fluent-debug に格納する etc/fluent/fluent.conf <source> type forward </source> <source> type http port 12000 </source> <match debug.**> type copy <store> type stdout </store> <store> type mongo host localhost database
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社コロプラ【位置ゲーで毎日の移動を楽しく】
Shinobra.com