Specinfra Host InventoryのデータをFluentdで集めてElasticsearchに入れてKibanaで見る構成管理 - Qiita
Specinfra Host InventoryのデータをFluentdで集めてElasticsearchに入れてKibanaで見る構成管理FluentdchefElasticsearchspecinfraKibana4 前書き @sawanoboly さんによるOhai版記事のSpecinfra Host Inventory版的なやつです。 踏襲したタイトル付けたらメッチャ長いタイトルになったｗ 何気なく軽量で実行方式（ローカルとかSSH越しとか）が選べて取り回しの良いインベントリ収集ライブラリは何かに使えるんじゃないかなーと思いつつ、ItamaeはChef Server的な存在が居ないし、こういう感じでインベントリを集めてみるのはどうでしょうかというコンセプトモデル的な何かです。 Azureの無料枠が余っていたのでAzure上でやってみましたが、 慣れてないので複数のVMを纏めて扱うの
DockerのFluentd Logging Driverを試してみる | DevelopersIO
ども、大瀧です。 Dockerバージョン1.6でLogging Driverというプラガブルなログ機構が追加され、DockerコンテナのログをSyslogに送信するなど柔軟なログ構成ができるようになりました。 ログアグリゲータとして著名なFluentdのLogging Driverが最近Dockerのmasterブランチにマージされたので、試してみた様子をご紹介します。 検証環境 OS : Ubuntu 15.04 Vivid Vervet(AMI : ubuntu-vivid-15.04-amd64-server-20150616.1 (ami-0473a904) 東京リージョン) Docker : Master Binaries 1.8.0-dev/Git commit: 90024b9 まだリリースされていない段階なので、最新リリースのDockerパッケージをインストールした状態でG
dockerでfluentdを動かすときはudpも意識しましょう - Qiita
fluentdにログを転送できない！ docker内で動作するfluentdに対して別のfluentdからログを転送したいのだがどうもうまくいかない。 転送元のログには下記のメッセージ。 「no nodes are available」 fluentdのハートビート どうもfluentdは転送先のサーバーの死活監視にハートビートと呼ぶUDPパケットを送っているらしい。 エラーメッセージからも転送先サーバーを確認できていないようなので、どうもこのあたりが怪しそうだとあたりがついた。 Dockerのポートを確認 「sudo docker ps」でポートを確認してみると・・・ 0.0.0.0:24224->24224/tcp と表示が。 あ、tcpに限定されているっぽい。 どうもdockerは docker run -p 24224:24224 のようにしてrunするとtcpしかマッピングされな
td-agent(fluentd)でtagを色々してみたメモ①-タグにhotname追加、タグを書き換え、タグを入れ替えとかとか - tweeeetyのぶろぐ的めも
はじめに td-agent使って最初はすこし四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です また、各プラグインの詳細は開発者の方のサイトや参考になるサイトも多数あるので ピンポイントで使った感じだけをそのままメモ 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました →td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ－まとめ ながれ こんな感じで書いてみました 前提とか(fluent-plugin-parser) 前提 関連ディレクトリ構成 イメージ タグにhostname追加したい(fluent-plugin-config-expander) タグをjsonの中身でパターンマッチングして書き換えたい(fluent-plugin-rewrite) タグを入れ替
Fluentdでparser用の正規表現を書く・試す - たごもりすメモ
こんなエントリを目にしたので、なんか書こうかなと思った。 fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note - グライドノート Fluentd の in_tail や拙作 fluent-plugin-parser ではログのparse用の正規表現を指定することになるが、確かにこれを設定してログを流して試して直して、というのはいささか効率が悪い。ので、簡単に試す方法を書いてみる。 なお irb を使う手順。ruby 1.9系がインストールされていればたぶん入っているけれど td-agent だとちょっとどうだっけ。適当にがんばっていただきたい。 とりあえず以下のようなログをparseしたいとする。 Jul 16 00:45:47 BJA login[58879]: USER_PROCESS: 58879 ttys002irbを起動
fluentdでformatを作る時 - Qiita
機会的にformat作る事がそこまでないので、特に問題もないかもしれませんが 良い方法を模索中です・・・ネットを漁るとこうゆう記事があがってきます ■参考 fluentdのformat(正規表現)の作り方について試行錯誤中 Fluentdでparser用の正規表現を書く・試す また正規表現を書く事になるので以下のページも参照 Fluentdでparser用の正規表現を書く・試すの方法だと irbからうまくfluentdのモジュールが読めなかった・・・ 今回はFluentdでparser用の正規表現を書く・試すを参考に 色々いじってみました。 rubyコードを用意 formatを評価してくれる簡単なrbを用意します #!/usr/bin/env ruby # -*- coding: utf-8 -*- require 'time' require 'fluent/log' require '
Fluentd Formatter プラグイン入門 - Qiita
Fluentd update 2014で言及されている通り、Fluentd に Formatter プラグイン というものが導入されているので、作り方を解説します。 2014/12/14 更新 v0.10.58、v0.12.0以降で新APIが生えた[1][2]のでそちらを使うようにサンプルコードを更新 概説 現在サポートしているのは、out_file、out_s3 プラグインだけですが、例えば のように format パラメタに値(このサンプルでは ltsv)を指定することで、出力形式を変えることができます。これ自体は以前からできたのですが、Formatter プラグインを作成することによって、この format を自由に増やすことができるようになりました。 デフォルト formatter 一覧 現在デフォルトで bundle されている Formatter はコード的にはこの行で定義され
fluentdのformatを設定してみただけの日記 - 日頃の行い
ランキング参加中プログラミング Macでfluentdを動かしてみようと思って動かしてみました。 dummerというダミーログを作ってくれるツールを利用しています。 github.com 動かしてみた流れ fluentd + dummer ( dummy log generator ) のインストール dummer ( 出力するログのフォーマット )設定 fluentdのformat設定を無意味に頑張る 実行1 fluentdにデフォルト(？)であるltsv設定をしてみる 所感 1. fluentd + dummerのインストール $gem install fluentd $gem install dummer でおｋ と思ってたら後で実行した時になんか言われた。 $dummer -c dummer.conf Could not find gem 'pry (>= 0) ruby' in
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
Etsyを支えるパフォーマンスアラートの技術 ～Velocity Conference 2015レポート #1～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintone 開発チームの田中裕一(@yuichielectric)です。 O'Reilly Mediaがサンタクララで開催したVelocity Conference 2015に僕と佐藤鉄平(@teppeis)の2人で参加してきました。これから何回かに分けてそれぞれが面白いと思ったセッションの内容を紹介していこうと思います！ Velocity Conferenceとは O'Reilly Mediaが主催しているカンファレンスで、高速でスケーラブルで価値のあるサービスを作るための方法論がテーマです。 もともとは、技術的なテーマが主だったようですが、最近はそういったサービスを開発するために必要となってくる、継続的インテグレーションや継続的デリバリーの手法や、アーキテクチャ（流行りのmicroservicesの話題も幾つかありました）、開発プロセス、組織論（DevOps絡みの話題が
"Docker and Fluentd"の話をした - たごもりすメモ
Fluentd meetup と Gophers and Docker-users beer social というのが連続であって、それぞれでほぼ同じ話をした。……んだけど参加者層が違うからまあいいかなと。あと後者は英語だった。いまだに英語でしゃべるのはだいぶ疲れる。 【レポートあり】Fluentd Meetup 2015 夏 - 2015/06/01(月) - dots.[ドッツ] Gophers & Docker-users Beer Social - Docker Tokyo (Tokyo) - Meetup 資料はこれ。2回目にやるときにFluentd知らない人がけっこういそうだったのでそのあたりを足してあるくらい。 Docker and Fluentd (revised) from SATOSHI TAGOMORI Dockerを使ってアプリケーションをデプロイするときにログの収
pg_monz,Fluentdの試行環境を構築する - Qiita
Vagrant.configure(2) do |config| config.vm.define :pgpool01 do |h1| h1.vm.provider "virtualbox" do |v| v.customize ["modifyvm", :id, "--memory", 512] end h1.vm.network :private_network, ip: "192.168.1.11" h1.vm.box = "chef/centos-6.6" h1.vm.hostname = "pgpool01" end config.vm.define :pgpool02 do |h1| h1.vm.provider "virtualbox" do |v| v.customize ["modifyvm", :id, "--memory", 512] end h1.vm.networ
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま
fluentd で Compute Engine のログを収集する - Qiita
はじめに Google Compute Engine インスタンス上で走っている Docker コンテナの出力を Cloud Logging に集めたい。fluentd と fluent-plugin-google-cloud を使うとサービスアカウントを使って認証してくれるので簡単に収集できる。 バージョンアップに伴い下記の内容は古くなっています．2015年7月28日時点の情報はこちら． fluentd コンテナの準備 reactivehub/google-fluentd-base というベースイメージがあったので，これを使うことにした．(ビルドステータスが若干不穏な感じなので別のものに変えた方が良いかもしれない．) ログの収集設定は 公式のものを使うことにする．よって，次の設定を適当なファイル名で保存． <source> type tail path /var/lib/docker/c
Docker and Fluentd
This document discusses using Docker and Fluentd together for logging container architectures. It describes different patterns for aggregating logs from containers using Fluentd, including 1-level and 2-level aggregation. A new Docker logging driver called "fluentd" is announced that will directly send container logs to Fluentd. The document also provides information on the official Fluentd Docker
Fluentd v0.12 master guide
This document provides an overview of Fluentd, an open source data collector. It discusses the key features of Fluentd including structured logging, reliable forwarding, and a pluggable architecture. The document then summarizes the architectures and new features of different Fluentd versions, including v0.10, v0.12, and the upcoming v0.14 and v1 releases. It also discusses Fluentd's ecosystem and
Slack Real Time Messaging APIのfluent pluginを作ってみた話 - 日頃の行い
Embulkのfilter pluginを作ってみようと思ったんですが その前にfluentdのpluginを作ってみました。 こちらです。 一応動くかと・・・ github.com Slack RTM(Real Time Messaging)のメッセージをfluentdで取得してくれるpluginです。 なんとなく作ってみただけなので、 テストとかも無いし、Gemfileにもしていません。 そのうちする予定です。 Configから取得するところのテストくらいは書きたいです。 ※SlackRTMとは Legacy: Real Time Messaging API | Slack SlackAPIから取得する部分の処理は 以下のライブラリを利用させてもらったので、 特に苦労しませんでしたｗ github.com 書いたコード 書いたコードは以下の程度です。 configure(conf) s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentdとnorikraが便利そうだから使ってみようよ
fluentdによる大規模キュー設計
fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog
