Webサーバ勉強会#5にいってきた＆しゃべってきた - たごもりすメモ
参加者が全員発表というハードコア勉強会「Webサーバ勉強会 #5」に行ってきた。 Webサーバ勉強会 #5 : ATND お題がApache2.4 or Varnish or fluentd ということで聞きたい話題は満載、話せる話題は……Apache2.4で何か試せるかなと思ってたけど時間がなかった、ので普通にfluentdまわりで最近やってたことをしゃべってきた。 Fluentdでログ収集「だけ」やる話 #study2study View more presentations from tagomoris 内容はざっくり要約すると「とにかく各サーバからディスクに書かれてるログをストリーム状に集めてひとつのファイルに書き込みたい、形式をいじられると困るので生ログそのままで！ どうしたらいいの！」という話。実はFluentd標準の機能ではできない、ので、このへんのツール＆プラグインを組合せ
fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd - たごもりすメモ
Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出するためのプラグインに入れるデータを作るため、全メッセージからサンプリングを行う fluent-plugin-sampling-filter もリリースしました。 fluent-plugin-datacounter | RubyGems.org | your community gem host fluent-plugin-sampling-filter | RubyGems.org | your community gem host fluent-plugin-sampling-filter
fluentd のベンチマークとってみたよ！ - たごもりすメモ
入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。 fluent/fluentd · GitHub ので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以下非常に長くなるので結論だけ書くと、大変使える感じ。現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。だいぶいい感じ。 なおこれは in_scribe および out_scribe を使用した場合で、開発者 @frsyuki によるとMessagePackでのデータ転送の場合はこの倍くらい出るらしい。 もちろんこれは右から左に流しただけなので現実にタグによるルーティングだとかロ
Fluentd meetup in Japanに参加してきたのでplugin書いてみた - As a Futurist...
“the missing log collector”ということで昨今話題の fluentd ですが、日本での使用事例も増えてきたこともあり大規模なセミナーが開かれたので参加してきました。 Fluentd meetup in Japan on Zusaar 内容はとても充実していて、作者の古橋さんによる fluentd の概要から始まり、plugin の書き方、実例と続いていて 1 日で fluentd に詳しくなれるすばらしいイベントだったと思います。古橋さんのセッションで今までよくわかってなかった buffer plugin もイメージが持てましたし、@repeatedly さんのプラグイン作りの指南書のおかげで何を作れば自分のやりたいことができるのかが分かってきました。cookpad と NHN*2 の実例は非常に聴き応えのある内容だったので、もう一度資料見返しておこうと思います。
fluentd のソースを読む (1) - @kyanny's blog
fluentd のソースを読み始めました。単なる趣味です。 経緯: fluentd の exec buffered output plugin を試してみたらflush_interval を短くしても USR1 シグナルを送ってもバッファが flush されず command が実行されなくて悩んでいたらTimeSlicedOutput はスライスの時間が経過しないとバッファから出てこないと教えてもらい、ソースを読んでちゃんと理解したいと思ったため、です。 とはいえ plugin/out_exec.rb をいきなり読んでもさっぱりわからなかったので、順を追って読んでみることにします。 まずは bin/fluentd を実行すると fluend が起動するところまで。 bin/fluend は fluend/command/fluentd.rb を実行してるだけ fluent/command
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
USTREAM: {channel_title}: {about_channel}. {subcategory}
