fluentd Windows版でタスクスケジューラのログを収集する - Qiita
0. 前書き Windowsのタスクスケジューラ。 Linuxでいうcronみたいなもんですが、Windowsベースでシステムを組まれている環境では業務上のバッチ処理などでは結構使われていたりします。PCメーカー組み込みのタスクも結構入っていたりしますね。 本投稿ではこのログをfluentdのWindowsブランチで集めることにチャレンジします。 ここではWindows Server 2012で動作確認しています。 Windows Server 2008R2以降あたり（？）でWindowsの仕様変更があり、これ以前のバージョンでは、おそらくこの手順では収集できません。あしからず。（というより本投稿よりもっと簡単な手順でできるはずですが、まぁ今更2008以前ということもないのでやりません） で、あらためて。 この投稿は Windows Server 2012 日本語版 Ruby 2.1 x6
ロードバランス + マルチプロセス化で Fluentd のログ収集を効率化する – I'm Sei.
〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ログ収集編) 〜今回は、大晦日のイベント用に EC2 インスタンスを複数台立ち上げておいて、年が明けたタイミングで全て Terminate してしまう予定でした。 ただ、Terminate した際に、そのままログも一緒に消えてしまうと何かあったときに困るので、Nginx のログやアプリケーションのログの収集に Fluentd を使い、とりあえず S3 にぶっ込んでおくことにしました。 Fluend は標準では 1 つの CPU コアしか使ってくれないので、複数の CPU コアをもっているサーバで動かす際は、マルチプロセス化することで CPU を効率的に使えるようになります。 具体的には、ログ集約用のサーバは in_multiprocess プラグインで複数のポートから受信できるようにしつつ、送信側は out_forward プラグイン
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の３つに分けられそうです。 ログ収集/集計 時系列DB（＋API）の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
Windowsでfluentdを動かす - Qiita
2015.03.16 追記 Ruby 1.9.3のサポートは2015年2月23日に終了するらしいです。 こちらの投稿をベースにしたRuby 2.1へのインストール記事が以下にありますので参考にしてください。 "fluentd WindowsブランチをRuby 2.1上で動かす" 0. 前書き 実はGithubに公開されているfluentdには、Windowsでの動作を目的としたWindowsブランチがあります。これを実際にWindowsにインストール、動作させるまでの手順をご紹介:) とにかく動かしてみる、ということでゴールは fluentdをWindowsに導入する fluent-catからin_forward -> out_stdoutで標準出力 です。 1. Windows用Rubyの導入 RubyInstaller for Windows (http://rubyinstaller
fluentdの設定管理サーバーを構築 - s_tajima:TechBlog
概要 fluentdによるログの回収の構成を広げていくと、 多くのインスタンスにfluentdがインストールされることになるため、 全体に影響するような設定変更が面倒になりそうである。 そこで、fluentdの設定ファイルの中で include http://config-server/path/このようにinclude対象にhttp(s)でのリソース取得ができることに注目し、 この仕組を利用した構成を組むことで設定変更時の手間を減らす工夫をした。 構成 CONTROLLERと呼ばれるサーバーにfluentdの設定を配布するためのWebサーバー(config-server)を立てる。 config-serverは、GETパラメータによって返す内容(設定)を変更するようなものとする。 大した処理をしないので、今回はsinatraで実装。 今回実装した例で言えばGETパラメータにはホスト名を指
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Log Analysis System And its designs in LINE Corp. 2014 early