CloudNativeCon Europe 2017に行ってきた＆しゃべってきた - たごもりすメモ
うぎゃあ、これ今年の初エントリなのか。なんてこった。 で、FluentdがめでたくCNCF (Cloud Native Computing Foundation)に加わって初めてのCloudNativeConなので、Treasure DataのOSSチームで都合のつく人みんなで参加してきたというやつ。前夜祭的なところで同僚の Eduardo がKeynoteをやったり、Fluentd Salonという枠がつくられてFluentd関連の話をしたり。 自分はそれとは別にTalk proposalを出していて通っていたので、それを話しに行く、というのが個人的には最大の目的。 しゃべってきた セッションはカンファレンス2日目、全体でいちばん最後の時間枠。正直話すのが終わるまで気が抜けないからあんま好きじゃないんだけど、とりあえず、やるだけはやった。けっこう多い人が来てくれて席がぜんぶ埋まる(70人
Modern Black Mages Fighting in the Real World
This document describes a presentation about introducing black magic programming patterns in Ruby and their pragmatic uses. It provides an overview of Fluentd, including what it is, its versions, and the changes between versions 0.12 and 0.14. Specifically, it discusses how the plugin API was updated in version 0.14 to address problems with the version 0.12 API. It also explains how a compatibilit
fluentdのforward inputに任意の言語で直接ログを流しこむ方法 - Qiita
送信クライアント側の実装 今回はC++で実装しましたが、基本的な手順はどの言語でも共通するはずです。 TCPでforward入力プラグインに接続する 通常のネットワークプログラミングの手順でTCPにソケットで接続する。 C++の場合は以下のとおり。 int connect_tcp(std::string host, std::string port) { struct addrinfo hints; struct addrinfo *result, *rp; int sock; int r; memset(&hints, 0, sizeof(struct addrinfo)); hints.ai_family = AF_UNSPEC; hints.ai_socktype = SOCK_STREAM; hints.ai_flags = 0; hints.ai_protocol = 0; //
td-agentへのfluent-plugin追加に失敗した件＋解決策 - Qiita
事象 fluent-plugin-mysqlを使ってみようと思って、td-agentにインストールしようとしたところ。 # /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-mysql # vi /etc/td-agent/td-agent.conf # service td-agent restart Starting td-agent: 2013-02-14 18:14:40 +0900: fluent/supervisor.rb:187:rescue in main_process: config error file="/etc/td-agent/td-agent.conf" error="Unknown output plugin 'mysql'. Run 'gem search -rd fluent-plug
fluentdと定番プラグインのインストール
fluentdと定番プラグインのインストール：今さら聞けないfluentd～クラウド時代のログ管理入門（2）（1/2 ページ） 前回の記事「増えるログ、多様化するログをどう効率的に運用するか」では、fluentdの大まかなアーキテクチャについてご紹介しました。第2回では、fluentdがどういったものであるかをもう少し具体的に理解するために、実際の利用までの流れを紹介します。 fluentdの使い方 fluentdを利用するには、各サーバーにfluentdをインストールし、どのプラグインを使って処理を行うかについての設定が必要になります。 インストール手順 fluentdはさまざまな方法でインストールできます。例えば、 rpmパッケージによるインストール（CentOS、Red Hat Enterprise LinuxなどのOS向け） debパッケージによるインストール（Ubuntu、Deb
mackerelで不正ログインの検知 - Qiita
mackerelとfluentdを組み合わせると、ログの統計と見える化が比較的簡単に実現できる。 Secureログにログイン記録を付けているシステムは多いと思うが、せっかくなのでそれを見える化して定常的に監視できるようにしてみよう。 以下はtd-agentを使用しているものとしての例。 必要なfluent-pluginインストール 統計用のプラグインとmackerel用プラグインをインストールする。 $ sudo /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-datacounter $ sudo /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-mackerel
Collecting Docker Container Data with Fluentd - AppOptics Blog
Note: This article was originally published on Librato, which has since been merged with SolarWinds®AppOptics™. Explore what’s possible with AppOptics Docker performance monitoring. Today, we’re honored to bring you a guest post by Treasure Data’s Kiyoto Tamura. Kiyoto is the developer evangelist at Treasure Data and one of the maintainers of Fluentd, the open-source data collector to simplify a
bundler + rspecでfluentdプラグインを作るための手順 - くりにっき
先日 fluent-plugin-out_chatwork を作ったのですが、fluentdの公式サイト だとtestunit使用を前提にしててrspec厨には厳しい世の中だったので自分用にrspecでfluentdプラグインを作るまでの手順をまとめてます。 コマンドを叩いた後のファイル出力は適宜コミットのURLをつけているので参照してください 0. 前提条件 rbenv や rvm のようなrubyのバージョン管理ツールをインストールしてること。 このエントリではrbenvを前提に書きます。 1. ruby 1.9.3をインストールする td-agent ver 1.1.20 時点でruby 1.9.3なので合わせておくのが無難。 rbenv install 1.9.3-p547 公式だと 1.9.3-p194 ってあるけどローカルで開発する分にはパッチバージョンまでは気にしなくていいと
自家製 td-agent のrpmをつくる - たごもりすメモ
自社サービスの運営のために fluentd を使っているとrpmでインストールできる td-agent が大変便利だ。 便利だが、自社内で使うんだから、もう最初から自社用の設定とかその設定に必要なプラグインとか入っててほしい。そんで yum install td-agent をサーバ上で実行したら設定とかいじらないでいいようにしたい。みんなラクをしたいでしょ！？ もちろん td-agent のリポジトリをforkしてあれこれ手を入れればできるが、そうするとその後のメンテナンスが面倒だ。リポジトリ自体のアップデートはTreasure Dataの人に頑張っていただいて、我々は spec をいじる程度に収めておきたい。みんなラクをしたいよねー。 した いろいろと td-agent のビルドスクリプトに手を入れる必要はあったが、もうその修正は当たっているのでみなさんは以下の手順を実行するだけでよろ
fluentd自身のログにまつわるノウハウ - still deeper
fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e
td-agent(fluentd)のposファイルの作成タイミングとかその他もろもろもメモ - tweeeetyのぶろぐ的めも
はじめに td-agentのin_tailプラグインを使うと 指定したファイルをtail-fしてるように読みこんでからごにょごにょしてくれるわけですが、sourceディレクティブに指定するpos_fileの挙動について確認してみました in_tailプラグインとは tail インプットプラグインは、Fluentdがイベントログをテキストファイルの末尾から読み取れるようにします。その読み取り方は tail -F コマンドによく似ています。 引用→http://documents.mazgi.com/fluentd/doc/plugin.html#tail 公式→http://docs.fluentd.org/ja/articles/in_tail 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました →td-agent(fluentd)を本番サ―ビスで小さ
Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
日報 #97 - phi_thresholdとheartbeatとfluentd - 俺の報告
胃腸弱者故に年末はシンドイでござる。 油そば食ったら2時間以上もたれる程度には内蔵弱しです。 本日はfluentdのお話。 素晴らしいソフトfluentdなのですが、まれに激しい勢いでwarningを吐き出します。 常駐アプリのこわいところですね。 今回喰らったのは [warn]: detached forwarding server みたいな警告。 fluentdの受信サーバは正常で、今までもずっとつながっていたのに、 突如としてこうなりました。 端的に、hertbeatした結果サーバ応答が得られなかったということでしょう。 ではこのhertbeat、一体どういう仕組なんですかね。 http://bynatures.net/wordpress/3104/ http://blog.livedoor.jp/sonots/archives/36895001.html この辺の素晴らしいサイトを
BufferedOutput pluginの代表的なoptionについて - Qiita
こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd入門 - Qiita
Fluentd の forward 系プラグインの比較 : sonots:blog
fluentd-scr/01_out_forward_heartbeat.md at master · sonots/fluentd-scr
Rubular: a Ruby regular expression editor and tester
Fluentd の debug_agent 経由で ruby-prof を起動する - Qiita
http://bynatures.net/wordpress/3104/