今回は、以下の図の通り、将来的な拡張を考慮しつつ、複数のプラグインを使ってログのパースからElasticsearchへの送信までを設定していきます。なお、点線で囲ってあるプラグインは、今回は設定しませんのでご注意ください。 ■ 事前設定: nxlogの全角文字化け対策設定 Windows 2003 Server (Windows XP)以前の環境からログ収集を実行する場合や、コマンドプロンプトから出力されるログファイルは基本的に”Shift JIS”で出力されますが、ログ集約をするfluentdがインストールされているLinuxサーバーは基本的に”UTF-8”で運用されています。このため、単純にWindowsからログを収集してLinuxサーバーに転送すると文字化けが発生します（特に全角文字）。これを解消させるために、文字コードの変換処理をnxlogの設定ファイル（C:\Program Fi

Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra

既存のwindows用のsyslogクライアントはオープンソースじゃなかったり、有料だったり、windowsのEventLogを全部転送してくれるんだけどEventLogへの書き込みに管理者権限が必要だったりで手軽に使えるものが無かったので作った。 syslogにちょっと書き込みたいだけなのに色んなツール組み合わせないとならないのがおかしい。 Syslog Client for Windows https://github.com/shokai/syslog-client-for-windows 不具合などは@shokaiかgithubのissueにお願いします 使い方 syslog-client.exeをダウンロードして適当にPATHの通っている場所(C:¥windows¥system32¥とか？)に置いてから % syslog-client -help % syslog-client

fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、

事象 fluent-plugin-mysqlを使ってみようと思って、td-agentにインストールしようとしたところ。 # /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-mysql # vi /etc/td-agent/td-agent.conf # service td-agent restart Starting td-agent: 2013-02-14 18:14:40 +0900: fluent/supervisor.rb:187:rescue in main_process: config error file="/etc/td-agent/td-agent.conf" error="Unknown output plugin 'mysql'. Run 'gem search -rd fluent-plug

概要 fluentd(td-agent) がバージョンアップしたので確認した バージョンアップについて Change Log 幾つかの修正等に合わせて、個人的に注目したのは td-agent の起動スクリプトで configtest オプションが利用出来るようになったこと configtest に関しては、改めて Change Log を確認すると 0.10.36 から利用出来るようになった --dry-run オプションを利用している（後述） バージョンアップ 環境 OS は Debian 6.0.7 td-agent は既に 0.10.35 が稼働している状態（下図） バージョンアップ後 こちらから deb パッケージをダウンロードして dpkg -i でサクッとインストール 下図のようにバージョンが 0.10.38 となった 個人的目玉な機能を試す configtest td-age

Fluentd Casual Talks #3 : ATND 2013/12/13 Fluentd Casual Talks #3 #fluentdcasual - Togetterまとめ 複数台のサーバーやクラウド環境を組み合わせたサービス運用において非常に有用となる様々なログの収集手段を提供するfluentdに関する勉強会『Fluentd Casual Talks #3』が開催されたので参加してきました！ Fluentd: Open Source Log Management 『#3』とあるように、今回でこのイベントは3回目。過去2回も100人〜200人規模での参加があり、非常に盛り上がっているシリーズとなっているようです。以下に過去2回分の参加レポートなどのまとめを置いときます。 Fluentd Casual Talks : ATND Fluentd Casual Talks まとめ

はじめに Fluentd Casual Talks #3 に行ってきた！ 初めてのヒカリエ、DeNA！ 勉強会を取り仕切って頂いた @tagomoris さん、会場を提供して頂いた DeNA さん、@sonots さん、運営スタッフの皆さん、ありがとうございましたー！ ステッカー有難う御座いました！ 登壇された方、参加された方の記事 Fluentd Casual Talks #3 で Shadow Server on Fluentd の話をしてきた Fluentd Casual Talks #3 で話してきました Fluentd Casual Talks #3でLT＆Fluentd Advent Calendar 2013で記事書きしていました fluentd casual のメモ書きました Fluentd Casual Talks #3いってきた Fluentd Casual Talks

About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)

あらまし 以前に、『dstatをkibanaで可視化＋3.0.0milestone5新機能』という エントリでKibana3+dstatを使った可視化について書いたのですが、この中で構築の肝としてfluent-plugin-mapがありました。 Kibana3だと同一グラフ内に同一レコードの複数のfieldを…

前々回、前回と、ElasticSearchについて勉強をしました。繰り返しになりますが、ElasticSearchの特徴は「RESTfulで全てがJSON」です。そうするとJSONデータであれば何でも食わせて全文検索が出来るわけですね。またCluster機能によって保持データを分散させることで可用性も確保出来ます。 高い可用性が必要で、全文検索したいもの...ログだ！ そこでfluentdです fluentdはイベントログ収集のためのオープンソースソフトウェアで、インプットされたイベントログをJSONに変換してアウトプットします。「Log everything in JSON」です。開発元であるTreasure Data, Inc.の古橋氏のBlogに詳細があります。 構成

GO言語いいですよね。学習しやすくパフォーマンスも良く、メモリ管理が楽で、さらにワンバイナリも作れると。 コマンドラインツールなどもGo言語でさくっと書けば、ワンバイナリで非常に便利な物ができあがります。 今回「みんなのGO言語」をsuzuken (@suzu_v) | Twitterさんよりご恵贈いただきましたので、早速紹介を行いたいと思います。 気になる目次も紹介します。これだけの情報が144ページに収まっているので、通勤時間中の読み物にもぴったりです。 第1章Goによるチーム開発のはじめ方とコードを書く上での心得（松木雅幸） 第2章マルチプラットフォームで動作する社内ツールのつくり方Windows（mattn) 第3章実用的なアプリケーションを作るために（藤原俊一郎） 第4章コマンドラインツールを作る（中島大一） 第5章The Dark Arts Of Reflection（牧 大輔

ウィークリーFluentdユースケースエントリリレー #1の記事です。 fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容＋以前教えてもらった内容をまとめてみます。 公式ドキュメント：http://fluentd.org/doc/plugin.html#tail Github：https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/in_tail.rb tailプラグインはLinuxコマンドで言う「tail -F」と同じような挙動を取る事により、ファイルに追記された情報をfluentd内に取り込む事が出来ます。追記されたかどうかはIOイベントを読み取って動作します。 簡単に説明すると 1)新規に設定されたファイルは終端から読む 2)ログローテーションされたら次のフ