FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
Fluentdがよくわからなかった話
The document discusses the Fluentd logging system. It includes an explanation of how Fluentd buffers and queues log data before outputting it. The emit method is used to add log data to a chunk, and if the chunk limit is reached a new chunk is created and added to the queue. Once data is in the queue it can be output by the configured plugin.Read less
Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch
OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合
多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる - Glide Note
最近ようやく仕事でガッツリFluentdとMongoDBを触るようになってちょっとハマったことが あったので誰かの役に立つかも知れないので書いておく。 Fluentd界隈は開発が活発なので、数ヶ月後にはこの記事の情報も恐らく古くなっているのでご注意ください。 結論 書いてたら長くなってしまったので先に要点というか結論を書いておく。 apache => fluentd => MongoDB とapacheのアクセスログをMongoDBに入れたときにcodeやsizeといった数値が文字列(string)として入っていた td-agent.confのformatを自作すると、時間以外のフィールドが文字列(string)として扱われる fluent-plugin-typecastを利用することでcodeやsizeといった特定のフィールドを、stringやintegerなどの任意のデータ型に変換可能
out_exec_filter 入出力フォーマットの変更による負荷の変化 - たごもりすメモ
まず前置きですが、みんな大好きFluentdがなぜ*1実用上充分なくらい高速に動作するかというとそれは内部のシリアライズ/デシリアライズフォーマットとして使われているMessagePackのおかげによるところが大きいわけですね。 ところで Fluentd の組込みプラグインのひとつに out_exec_filter というのがありまして、これは任意のプログラムを子プロセスとして実行し、そのSTDIN/STDOUTにFluentdのメッセージを通すことでどんな処理でも記述可能なフィルタとして使いましょう、というやつ。 これは当初はTSVしかサポートしてなかった*2んだが、対応フォーマットがいくつか増えていまではjsonとかmsgpackでも入出力可能になっている。もちろん外部プログラムの側でもjsonやmsgpackを読み書きするように書かれてないといけない。 さてお仕事でこの exec_f
Fluentd meetup Fukuokaに参加してきた | 大発見 | 大発見
That's News to meな事を紹介します。Web関連の技術者向け情報や、iPhoneアプリ・Macアプリの紹介、趣味の音楽についてのブログです。前から気になっていたfluentdのイベントに参加してきました。 fluentdとGrowthforecastを使うとかなり楽にシステムの監視が可能だと感じました。 サクッとログが構造化できて、解析も楽で、障害や不具合発生時の対処もほぼ自動で行なってくれるのはとっても便利だと思う。 大体、ログはローカルに出力して、scpとかを利用して定期的にバッチ処理で転送して管理する事が多く、何かと作業が煩雑だったりしてたので、fluentd入れれば幸せになれそう。 箇条書きですが、各トークの内容とスライドを書いておきます。 【今さら聞けないfluentdの基本】 @repeatedly “The basics of fluentd” ■個人的感想
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
macでfluentd のインストール 〜 out_exec_filterのrubyを試した #fluentd - seikoudoku2000のブログ
@studio3104さんのエントリーを読んでて、↓は確かにできると便利そうだな〜と思ったものの、如何せんperlは使ったことがないのと、丁度Ruby修行中の身なので挑戦してみた。 webのアクセスログを解析する場合は、クエリストリングをパースしてゴニョゴニョしますよね。 解析のたびにパースするんだし、どーせなら全部fluentdにやってもらいたいところですよね。 とりあえずローカルだけでやってみた所、意外とローカルに全部盛りでやってる説明ってあんまり無かったのでまとめてみました。(最近だと皆td-agent使うでしょうしね。) RVMやbrew等は入っている前提です。（丁度先日のエントリーでまとめてた。） Fluentdのインストール Installing Fluentd Using Ruby Gem | Fluentd mac用のtd-agentってのは無さそうだったので素のFluen
fluentdのout_fileプラグインの仕様について - hack in 3 minutes
ウィークリーFluentdユースケースエントリリレー #1 の記事です。 ウィークリーFluentdユースケースエントリリレーまとめ @oranie さんが in_tail を解説されてたんで、Output plugin から out_file を解説しようかと思います。さまざまな output に対応する Fluentd ですが、一番シンプルで基本的なこのプラグインの動作を今一度確認してみました。 file plugin out_file はその名の通り、他の出力から受け取ったバッファをファイルに書き出すプラグインです。 公式ドキュメントは こちら 設定例はこんな感じです <match pattern> type file path /var/log/fluent/myapp time_slice_format %Y%m%d time_slice_wait 10m time_format
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
Installing td-agent for Redhat and CentOS / Installing td-agent daemon / FAQs - Treasure Data Platform Support
Installation This article shows how to install td-agent for CentOS, RHEL 5.0+. At first, please create /etc/yum.repos.d/td.repo with the following contents. [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 Then, you can install via yum command. $ yum update $ yum install td-agent /etc/init.d/td-agent script is also provided to start, stop, or r
Amazon LinuxからTreasure Dataを使ってみる | DevelopersIO
Fluentdが良さげなのでTreasure Dataも使ってみる Treasure Dataは、Big Data as a Serviceを提供しています。あらゆるログを転送する仕組みがFluentdでしたが、Treasure Dataは生成され転送されるログを溜め込んで価値ある情報として加工して提供しましょうと感じです。ある程度までは無料で使えるようですので早速使ってみましょう。 アカウントを作成する クラウド型のサービスを利用しますのでアカウントを取得しましょう。 セットアップする いつもの流れということで、まずはAmazon Linuxを立ち上げてください。そして以下のコマンドへと続きます。 コマンド１発でインストールが終わりそうな感じですが、Amazon Linuxに足りないものを入れておきましょう。 $ sudo yum update -y $ sudo yum install
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
Fluentd + Hadoop: Instant Big Data Collection | Architects Zone
Fluentd is a JSON-based, open-source log collector originally written at Treasure Data. Fluentd is specifically designed for solving big data collection problem. Many companies choose Hadoop Distributed Filesystem (HDFS) for big data storage. [1] Until recently, however, the only API interface was Java. This changed with the new WebHDFS interface, which allows users to interact with HDFS via HTTP.
Quickstart Guide | Fluentd
Let’s get started with Fluentd! Fluentd is a fully free and fully open-source log collector that instantly enables you to have a ‘Log Everything’ architecture with 125+ types of systems. Fluentd treats logs as JSON, a popular machine-readable format. It is written primarily in C with a thin-Ruby wrapper that gives users flexibility. Fluentd’s scalability has been proven in the field: its largest u
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://docs.fluentd.org/articles/
fluentdでapacheのログ集約
Fluentd