You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出するためのプラグインに入れるデータを作るため、全メッセージからサンプリングを行う fluent-plugin-sampling-filter もリリースしました。 fluent-plugin-datacounter | RubyGems.org | your community gem host fluent-plugin-sampling-filter | RubyGems.org | your community gem host fluent-plugin-sampling-filter
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
タイトルまんまですね。 fluentdを導入する目的で、一番欲しかった物がリリースされて本当に id:tagomorisさん++ です。 プラグインの詳細はこちら。 fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd で、実際に試してみた結果がこちら。(ほとんどの設定はサンプルまんまですよ。) apacheのログフォーマットはこれ。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D" combined apacheログを読む為のfluentd configはこれ。 受け取ったログでfluent-plugin-datacounterでゴニョゴニョした結果をログに吐く fluentd con
みんな大好きfluentdネタです。というか、fluentd+fluent-plugin-datacounterが最強過ぎる。 便利すぎて生きているのが辛いどころか死ぬしか無いくらい。 ※そもそもfluentdって何?って人は前のエントリとか読んでみて下さい。 まだ障害発生時の動きとか自分の環境での性能測定とか検証やっていなくてエンジニア的にあれですが。 でも、性能測定とかはhttp://d.hatena.ne.jp/tagomoris/を見ることで充分かなと、えへへ。 今までログの解析は日次で収集していた物をバッチ処理してMySQLにぶち込み、 それをゴニョゴニョして見ていたけど、これがストリーミングで可視化まで一気に出来る。 今の所着手したのはこんな感じ。 Apacheログ関連 とりあえず、ステータスコードとレスポンスタイムをCactiで可視化した。こんな感じ。 ※datacounte
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く