Fluentdの監視 ~ mackerel-plugin-fluentdを読み解く - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の18日目です。 qiita.com soudai.hatenablog.com それでは18日目は mackerel-plugin-fluentd です。 mackerel-plugin-fluentdはデータの収集と送信、そしてバッファリングをいい感じにしてくれる Fluentd 専用プラグインです。 Fluentdって何？って人は id:tagomoris さんの記事がめちゃめちゃわかりやすいです。 読んだ多分使いたくなるので是非読みましょう。 Fluentd はデータのやりとりを管理するソフトウェアだ。デーモンとして動作する。今のところはLinux上での動作が主に想定されている*1 tagomoris.hatenablog.com github.com ちなみにこの記事のFluentdのバージョンは下記のと
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま
MySQLのslow query logを可視化するnata2が大変便利そう - oranie's blog
MySQL Casual #6で@studio3104さんが発表していたnata2を触った。 My sql casual talks vol.6 from studio3104_com で、とりあえずローカルにnata2を起動しtd-agentを入れてプラグインを入れてmysqlslapを実行してみた。 動作環境はRuby2.1.2で。1.9系は動かなかった。 手順はgithubにも書かれているが、 https://github.com/studio3104/nata2 https://github.com/studio3104/fluent-plugin-nata2 以下は簡単な流れ。 まずnata2自体の設定。 git clone https://github.com/studio3104/nata2.git cd ./nata2 bundle install vim ./config
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の３つに分けられそうです。 ログ収集/集計 時系列DB（＋API）の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
RailsログLTSV対応(LTSV Logger + UUID) - Qiita
# ltsv-logger config.log_tags = [ :uuid ] config.logger = ActiveSupport::TaggedLogging.new(LTSV::Logger.open("log/development.log")) time:2014-01-27 17:23:52 +0900 message:[8f72b641-edf2-4f6e-8484-fb3e3c471709] Started GET "/" for 127.0.0.1 at 2014-01-27 17:23:52 +0900 time:2014-01-27 17:23:52 +0900 message:[8f72b641-edf2-4f6e-8484-fb3e3c471709] ActiveRecord::SchemaMigration Load (0.1ms) SELECT "s
fluentdの効果的な活用例と安定運用のポイント
fluentdの効果的な活用例と安定運用のポイント：今さら聞けないfluentd～クラウド時代のログ管理入門（3）（1/3 ページ） 効率良く、意味のあるログ管理を実現するツールとして注目されている「fluentd」。最終回では、実際の利用シーンを想定し、より効果的なfluentdの利用法を紹介します。 第1回、第2回でfluentdを使って基本的なログ管理が実現できるようになったのではないでしょうか。fluentdはプラグインの組み合わせにより更に効果を発揮します。最終回では、実際の利用シーンを想定し、より効果的な利用法を紹介します。 fluentdの具体的な活用例 実際の利用シーンを想定した2つのfluentdの活用例を紹介します。 大量のログを分析し、「意味のある情報」として管理する タグデータを効果的に活用し、ログデータのフィルタリング管理を行う 1.大量のログを分析し、「意味のあ
fluentを使ったログ集約 - 俺の備忘録
アプリケーションサーバのログを集約するのにfluentを利用してみたのでその備忘録。 構築手順を以下にまとめてみます。 構成 アプリケーションサーバから、各種のログをログ集約サーバへ送信する。 対象となるOSは、AmazonLinux リポジトリの追加 [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 ユーザの作成 fludentのユーザを作成します。ユーザ名は、td-agent # groupadd -g xxx td-agent # useradd -u xxx -g td-agent -s /sbin/nologin td-agent udi,gidは各サーバで同一のものを設定する fluentのインストール yum .confに
fluentdでログをS3に格納する – OpenGroove
fluentdをうっすらいじってみた。ほぼ参考サイトからの引用そのまんまなのだが、一応記録。 ログ格納用のS3バケットは適当な名前で作成しておく。実行環境もAWSマシンです。 TreasureDataレポジトリの追加。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 tg-agentインストール $ sudo yum install td-agent -y $ sudo service td-agent start $ sudo chkconfig td-agent on タグを動的に扱うプラグインとプレースホルダを扱えるようにするプラグインを追加でインストール。
最新インフラエンジニア技術勉強会に行ってきました #dli_infra | こえむの編集後記
昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics
Fluentd Meetupで発表してきました : slog
2014年05月16日 02:06 カテゴリ Fluentd Meetupで発表してきました Posted by steelwool_oxide こんにちは、スチールです。 ものすごーく久しぶりに勉強会で話してきました。 参加したイベントはFluentd Meetupです↓ Fluentd Meetup 新しい応用事例とv1に関する発表 自分だけ写真がちょっとおかしい人みたいなかんじですね。 僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。 発表スライドはこちら。 実際にマゾいかどうかはみなさまの判断にお任せしますが、 限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。 今後やっていきたいこととして、全てのログを集めるということと、リアルタイ
Shadow Server on Fluentd at Fluentd Casual Talks #3
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツールAtsuo Ishimoto
Fluentd Casual Talks3に参加してきました #fluentdcasual - 月曜日までに考えておきます
12/13（金）にDeNA@渋谷ヒカリエで行われたFluentd Casual Talks#3に参加してきました。 なんとかCasualというとガチュアルと呼ばれるこわい勉強会もあるという話を聞いたことがありますが、今回のはそんなことはなく自分のレベルでも便利情報満載でとても良い勉強会でした。 主催の@tagomorisさんもBlogエントリ書くの超オススメと最初におっしゃっていたので参加レポート書いてみます。 fluent-plugin-norikra by @tagomoris さん 資料 fluent-plugin-norikra #fluentdcasual 今年春のRubyKaigiのときにNorikraの話を聞いて、そのときは自分はFluentdを使っていなかったのであまり効果がよくわからなかったのですが、実際にFluentd知ってから改めて聞くとStreamにSQLクエリを投
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなのログ運用 これまでとこれから / Hatena Engineer Seminar #6
excale.net
excale.net
bitbucketの使い方
最新インフラエンジニア技術勉強～Fluentd, Elasticsearch,Chefの実践実例～ ツイートまとめ #dli_infra
excale.net
OutputとBufferedOutputの間の何か
