Fluentdプラグイン in_exec, out_execの動作を確認する – OpenGroove
Fluentdの組み込みプラグインに、 in_exec / out_exec というのがある。 in_exec 任意のコマンド/プログラムの実行結果をイベントのソースとする out_exec イベントのMsgをファイルとして任意のコマンド/プログラムに渡す。そのファイル名が引数となる。 インターバルを指定し、その間隔においてプログラムが実行される。 …と聞いても分かったような分からないような微妙な心境なので、とにかく動かす。実行環境はAWS上のCentOS6.5 1台。td-agentはインストール済み。 in_execの動作を確認してみる。こんなスクリプトを用意。 random_number.py #!/usr/bin/env python # -*- coding: utf-8 -*- import random for i in range(0, 30): print random.
td-agent2をAmazon Linuxで実行する | DevelopersIO
ども、大瀧です。 Fluentdディストリビューション Treasure Agent(td-agent2)のAmazon Linuxに対応した最初のリリース、2.2.0が昨日公開されました。EC2でのtd-agent2のインストール方法と、td-agent2に同梱されているWebインターフェースのfluentd-uiの様子をご紹介します。 EC2(Amazon Linux)でのセットアップ手順 公式ドキュメントのインストール手順にある、"RHEL/CentOS 5,6,7"と共通です。ダウンロードされるスクリプト内でYumリポジトリファイルのインポートとtd-agentパッケージのインストールが実行されます。Amazon Linuxでは既定でec2-userユーザーでログインするため、ダウンロードしたスクリプトをsudoコマンドで実行するところに注意します。以下のコマンドを実行します。 c
ytake.blog | Laravel fluentdログパッケージリリースしました
Laravel fluentdログパッケージリリースしました Posted: 2015-11-08 00:12 | Laravelをつかったプロジェクトでfluentdを利用するために作りました。 ありそうでなかったので、大規模系のプロジェクトでLaravelを利用している企業でも 利用するケースが多いのかもしれません。 fluentdはこちら Laravel-FluentLogger 特に難しい実装をしているわけではありませんので、簡単に利用できます。 インストール方法 いつものと同じです。 $ composer require ytake/laravel-fluent-logger または、composer.jsonに記述します。 "require": { "ytake/laravel-fluent-logger": "~0.0" }, コンフィグ 下記のうち、どれを利用しても構いませ
fluentdで本番環境を再現する - Qiita
toyama0919/fluent-plugin-http_shadowというShadow Proxyっぽいことを簡単にやるプラグインを作りました。 production環境で半年くらい動かしてたのでメモしときます。 「Fluentd Meetup 2015 夏」で実際のユースケースを発表しました。 Shadow Proxyサーバとは Shadow Proxyサーバについては以下がわかりやすいです。 気軽なMySQLバージョンアップ - まめ畑 Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita 実装としては以下のようなものが公開されています。 cookpad/kage lestrrat/p5-Geest kentaro/delta 本番のリクエストをそのままバックエンドにあるサーバーに複製して送信するのですが、アプリケーションの規模が大きくなればなるほ
Docker Logging | Fluentd
The following article describes how to implement an unified logging system for your Docker containers. Any production application requires to register certain events or problems during runtime. The old fashion way is to write these messages to a log file, but that inherits certain problems specifically when we try to perform some analysis over the registers, or in the other side, if the applicatio
fluentd Windows版をWindowsサービスとして動かす - Qiita
0. 前書き 本稿ではfluentd WindowsブランチをWindowsサービスとして動かすことにチャレンジします。 通常の（Linux向けの）デーモンオプションを使ってもWindowsサービスとしては動きません。というかエラーになります。 Windowsサービスように実装された機能を使って登録する必要があります。 本投稿ではこれにチャレンジします。 なお、利用しているRubyのバージョンは 2.1(x64)となります。 1. fluentd Windows版の導入 以下の記事にしたがってfluentd Windowdsブランチを導入します。 "fluentd WindowsブランチをRuby 2.1上で動かす" ただし、「2. fluentd gemパッケージ」では以下のパッケージ（最新版）を導入します。 これ以前のパッケージではWindowsサービスとして正しく動作しません。
新しいオープンソースEmbulkを発表1 - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 2015年1月，Fluentd のコミッター（弊社エンジニア）が中心となった「Embulk」というOSSが公開されました。このツールは大規模なデータセットのバルクインポートを行えるデータ収集ツールの1つに大別されるものです。 ↑ メインコミッターである当社エンジニア：古橋は Fluentd や MessagePack といったOSSを生み出してきました。そして，トレジャーデータのプラットフォームの根幹を作り上げたのも彼なのです。 Embulk とは何か？ Embulkとはどのようなものなのでしょうか？ バルクインポートを行うためのツールは，はるか以前からたくさん存在しますが，その中においてEmbulk の位置付けはどこにあるのでしょうか？ 少しずつ紐といていきましょう。 「簡単に言うとFluentdのバッ
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが
Fluentd対応MIDIキーボードを作ってみた - Qiita
Fluentd Advent Calendar 24日目の記事です。 家にあるMIDIキーボードからMIDI信号をひろってFluentdにとばすという、誰得な工作をした。CPUやOSを使わず、MIDI信号のデコードからTCP接続、FluentdのMessagePackエンコードまで、すべてハードウェア実装なのだ。 まずはデモ動画をどうぞ： MIDI keyboard + DE0 + Fluentd demo MIDIキーボードを叩くと、Mac上のFluentdにMIDIメッセージが送られ、Fluentdのログとして表示されてるのがわかる。以下、このデモの中身を解説したい。 MIDI→DE0→WIZ→Fluentd このデモの構成はこんな感じ： 以下、それぞれのコンポーネントの役割を見ていこう。 MIDI信号のデコード MIDIキーボードから送られてくるMIDI信号のデコードは2年前に作った
td-agentで--use-v1-config - Qiita
td-agent2からはデフォルトがv1で起動 v0互換性は完全互換ではないことに注意 1.1.1X系では対応していない(--use-v1-configは使えない) fluentd-0.10.55でv1でもv0との同じ設定で動作させることが出来るようになった。(それ以前のv1はリテラルのエスケープなど記述方法が異なっている。) が、プラグインによっては問題があるらしい(自分は今のところ遭遇していない) 余程の問題がない限りは2.1.2か1.1.21を使う方が無難だと思われる。 td-agent2を使っていない場合の設定 td-agentが1.1.2X系を使っている場合、/etc/sysconfig/td-agentに以下のように記述するとv1で起動できる。 TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group td-agent
fluentd v1 configのチェッカを作った - たごもりすメモ
tagomoris/fluentd-v1-checker · GitHub fluentd-v1-checker | RubyGems.org | your community gem host Fluentdの設定ファイルについてはv1 config という新書式がある。v0.14からはデフォルトでこちらの書式でパースが行われる予定。 ここに @repeatedly さんが書いてるけど、今のうちから v1 config で書いて --use-v1-config しておくと将来的に困らなくてよいと思う。書式的にも綺麗になっているはず。 ところで v1 config といってもいろいろな経緯から、これまでの書式の設定ファイルをぶちこんでもなんとなくパースできるようになっている。値に # とかを含めたいとかでなければ設定を変更しなくても通る場合も多い。 「場合も多い」これが困る。起動してみて動
Treasure Agent(td-agent)の1と2の今後 - Qiita
Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用 - Qiita
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用FluentdgooglecomputeenginekubernetesGoogleCloud まずはFluentdコミュニティの皆さん、おめでとうございます！！！ Googleを中心に開発されているオープンソースのDockerジョブスケジューラKubernetes (k8s)、それにGoogle Cloud Platformのログ収集サービスGoogle Cloud LoggingのGoogle Compute Engine用ログコレクタとして、Fluentdが標準採用されました。もうひとつおまけに、fluent-plugin-bigqueryをフィーチャしたソリューションページも、あと1か月くらいでcloud.google.comにて公開される見込みです（これは私がいま仕上げ中）。
Fluentdの設定を考えるときはこんなかんじで考えると便利 - Qiita
Fluentdはデータを流すのに非常に便利なツールでそこら中で使われている(個人調べ)。そのため、なんかいろんなところで設定を見るのであるが、タグに情報が付いていたりフィールドに情報がついていたりして、あれ、これどうなってるんだっけ感に襲われることがよくある。 このあたり自分でも混乱しがちなので、普段どのように考えているかだいたいまとまった気がしたところで書いておくことにした。 Fluentdのデータ構造 まずはFluentdのデータ構造を知っておいた方が良い。Fluentdの内部データはMessagePackで符号化されているが、Fluentdのデータ構造は単なるハッシュではなく、時刻(time)とタグ(tag)という属性を持っている。次のような感じだ。 レコード レコード(record)は入力されたデータそのものであり、tailプラグインであれば、tailした1行のデータに相当する。重
fluentdによるログ収集システムの構築～基本編
サーバーのセットアップ fluentdのインストール公式ドキュメントのとおり、インストーラーを実行してインストールします。 $ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash 実行すると、TresureDataのリポジトリ(/etc/yum.repo.d/td.repo)が作成され、RPMパッケージがインストールされます。 [vagrant@fluentd-server ~]$ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash This script requires superuser access to install rpm packages. You will be prompted f
Norikra: Stream processing with SQL for everybody
Schema-less Stream Processing with SQL Norikra is a open source server software provides "Stream Processing" with SQL, written in JRuby, runs on JVM, licensed under GPLv2. Schema-less event streams (called as 'target') Input/Output event streams as JSON objects, which can contain any fields with a target name. SQL processing Norikra's query is SQL with window specifier support (It's actually Esper
Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ
今日はhttp://eventdots.jp/event/49560 に参加してきました。 会場のフリークアウトさんがとにかくシャレオツでビックリ!! せっかくなので興奮が冷めないうちに、ざっくりですが、発表の内容をまとめました。 登壇者の方のスライドは公開され次第リンクさせて頂きます 情報に誤りがあればご指摘ください 誤字脱字もご指摘頂けると幸いです Fluentd v.1に関するアップデートと今後のロードマップ（仮） トレジャーデータ シニアソフトウェアエンジニア 中川真宏さん (@repeatedly) Fluentd v1 and Roadmap from Treasure Data, Inc. v10(現在)のFluentd logのフォワーディングを安全に ハイパフォーマンスに 任天堂他、著名な企業で使われている 公開されているプラグイン数250以上 CRuby想定で書かれてい
Docker Log Management Using Fluentd ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Docker Log Management Using Fluentd Mar 17, 2014 · 5 minute read · Comments logging fluentd docker Docker is an open-source project to easily create lighweight, portable and self-sufficient containers for applications. Docker allows you to run many isolated application
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 (v0.10向け)
Fluentd