Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog
出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る はじめに 目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Fluentd が Windows を正式サポートしたので動かした - 蒼の王座・裏口
2015年10月8日に、Windows での正式動作にFluentdが対応しました。 正式対応までの流れは、Add Windows support #674 で確認できて、Windows対応が、masterにマージされました。 Windows サーバーに Fluentd をインストールする方法Fluentd on Windows with Ruby 2.2を参考にインストールできます。 RubyInstallerのインストールhttp://rubyinstaller.org/downloads/からRubyとDevKitをダウンロードします。 Ruby 2.2.x(64bit)をインストール 「Rubyファイルの実行ファイルへ環境変数Pathを設定する」にチェックをいれる DevKit-mingw64-64-4.7.2-20130224-1432-sfx.exeをインストール 解答先指定で
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
IoTや組み込み向けのデータコレクタ、FluentBitについて - 一寸先は/dev/null
FluentBitとは IoT機器や組み込み機器を対象としたオープンソースのデータコレクタです。名前から分かる通り、Fluentdの兄弟アプリで、Treasure Dataのエンジニアが中心となって開発が進められています。 このソフトでは、例えば、 定期的にCPU使用率を取得し、標準出力に出力する カーネルログを取得し、外部のFluentdサーバに送信する センサファイルから定期的に状態を読み出し、HTTP経由で外部に送信する といったことが可能です。 名前はFluent-Bitだったり、Fluent Bitだったり、FluentBitだったり、様々な記載が見受けられます。 特徴 本家のFluentdと比べて次のような特徴があります。 C言語で実装されているため、Rubyが無い環境でも動作する 軽量・高速(らしい)*1 C API経由で自前のアプリからデータを流せる/受け取れる ビルドオプ
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
Fluentdの2015年の展望 - Qiita
Fluentd Advent Calendar 2014最後の記事は，Fluentdやその周辺の今後について書きます． v1を来年出す予定です．v1そのものは大きく後方互換性を損なう予定はないです．今月出したv0.12，そして来年の冬/春に出す予定のv0.14で導入される新しいAPI群が固まったら，v1がリリースされます． v0.12ではFilter/Labelが入りイベントルーティングが改善されましたが，v0.14では他のコア部分を改善します．今のところ大きめなものとして以下の機能追加・変更を予定しています: 各プラグインの改善 Actor(名前変わるかも？)の導入・スレッドハンドリング周りの改善 Bufferプラグインでより細かな制御が出来るように イベント時間のミリ秒 or ナノ秒のサポート ServerEngineでスーパーバイザー/エンジン部分を置き換え これらはv0.14で入れ
fluentd Windows版をWindowsサービスとして動かす - Qiita
0. 前書き 本稿ではfluentd WindowsブランチをWindowsサービスとして動かすことにチャレンジします。 通常の（Linux向けの）デーモンオプションを使ってもWindowsサービスとしては動きません。というかエラーになります。 Windowsサービスように実装された機能を使って登録する必要があります。 本投稿ではこれにチャレンジします。 なお、利用しているRubyのバージョンは 2.1(x64)となります。 1. fluentd Windows版の導入 以下の記事にしたがってfluentd Windowdsブランチを導入します。 "fluentd WindowsブランチをRuby 2.1上で動かす" ただし、「2. fluentd gemパッケージ」では以下のパッケージ（最新版）を導入します。 これ以前のパッケージではWindowsサービスとして正しく動作しません。
ビックデータ時代のログ収集管理ツールFluentdのインストールと使い方
前回に続いて第3弾、ログ収集ツールFluentdをインストール Fluentd（フルエントディー）とはTreasure Data社が開発するログ収集管理ツールです。 ログ収集と言えばsyslogや当サイトでも紹介したsyslogの強化版「rsyslog、またはsyslog-ng」が有名です。 近年ビックデータ、ビックデータと声高に叫ばれていますが、その名前の示す通り、データ量や形式が増えており効率的に収集・分析する手段が求められていました。 その現場の声から生まれたのFluentdです。 目次 Fluentdの特徴とメリット Fluentdのインストール Fluentdの設定ファイルについて fluent-plugin-dstatとfluent-plugin-mapをインストール fluent-plugin-growthforecastをインストール dstatのデータをGrowthFor
[初心者向け] fluentd Elasticsearch Kibanaが結局何か分からないやつはここを見ろ – o24ブログ
Apacheのログを解析しようと思い、色々とググってみたところ、 fluentd (td-agent), Elasticsearch, Kibanaというキーワードが頻出しました。 上記3つを組み合わせると、ApacheのログがシャレオツなUIで見れるということはすぐ理解できたのですが、 それぞれが結局何をするものなのか分からなかったので簡単にまとめてみました。 使ってみたいけど、いまいち仕組みが分からないって方は読んでみてください。 fluentd とは fluentd 様々なログフォーマットを指定したサービスのフォーマットに整形してくれます。 今回の場合は、Apacheのログを、Elasticsearchの入力フォーマットに整形してくれます。 fluentdの動作イメージ(公式より転載) fluentd は Apache や Nginxのログを Elasticsearchのフォーマット
![[初心者向け] fluentd Elasticsearch Kibanaが結局何か分からないやつはここを見ろ – o24ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e7347a83bccb965f96915111bdc805e845552d0e/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fblog.o24.me%2Fwp-content%2Fuploads%2F2014%2F02%2Ffluentd.png%3Ffit%3D677%252C329)
elastic/Kibanaでセンサーデータの可視化 | Natural Days
これは Elasticsearch Advent Calendar 2015 の記事です。 複数のセンサーデータを取得してfluentd経由でelasticsearchに流して可視化する内容です。構成的にはこんな感じです。 これだけ見れば普通にサクッと出来そうですね。golang/fluentdとセンサー周辺の設定、データ形式やコードについてはこちらの記事を参照。elastic/kibanaは次のような感じです。 elastic : 2.0.0-rc1 kibana : 4.3.0 kibanaについてはgitにある最新版を使ってみました。これは一つにダークテーマを使いたいという、これ１点に尽きます。開発時点ではテーマの選択が出来なくて白い感じので、何となくクールでカッコイイテーマを使いたくて、4.3を使おうとしたらelasticのバージョンも上げないとダメ…という事でどちらも最新版を使っ
fluentd(td-agent)のインストールと設定
fluentd / td-agent とは fluentd とは fluentdはruby gemによって提供されるログ転送/収集の仕組みです。rsyslogdでは実現できないような大量ログの収集/分析を行う目的で使用すると良いと思います。 td-agent とは td-agentとはfluentdのラッパープログラムです。ruby, gem等のプログラムや起動スクリプトなどの便利なファイルをインストールコマンドひとつで提供してくれます。td-agentは環境変数PATHには存在しないディレクトリにrubyやgemをインストールしてくれるので、システム全体への影響を与えずにfluentdが使えるメリットがあります。 fluentdのデメリット(弱点) fluentdは万能ではなく、業務要件によってはクラシックなrsyslogdを使用する方が良い場面も存在します。以下にfluentdの弱点を
HTTP Input Plugin | Fluentd
The in_http Input plugin allows you to send events through HTTP requests. Using this plugin, you can trivially launch a REST endpoint to gather data. Table of Contents Configuration Basic Usage Parameters @type (required) port bind body_size_limit keepalive_timeout add_http_headers add_remote_addr cors_allow_origins respond_with_empty_img format (deprecated) Tips & Tricks How to send data in Messa
ArduinoからEthernetで直接fluentdにPOSTする
ArduinoにEthernet Shieldを載せることで、Arduinoから直接各種サーバにデータを送ることができるようになります。ArduinoでA/D変換した電圧値をfluentdに送付することで、簡易ロガーとして活用することもできます。 fluentd側 Ethernet経由で受信するだけなので in_http が動くようにします。サンプルどおりで大丈夫です。 Arduino側 fluentd の in_http はPOSTで受け取るので、サイトのWebClientを参考にしてPOSTを送信するスケッチを作成します。 servername：fluentdサーバのドメイン名 or IPアドレス serverPort：fluentdサーバのポート pageName：fluentdに送信する際のタグ(スラッシュ含む) params：fluentdに送信するJSON(json=で始まる)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！] Software Design plus: 養成読本編集部: Digital Ebook Purchas![Amazon.co.jp: サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！] Software Design plus: 養成読本編集部: Digital Ebook Purchas](https://cdn-ak-scissors.b.st-hatena.com/image/square/09bf121942221fe897ad8335649d9401c6ef7ffd/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F61rZ7L4Zt1L._SL500_.jpg)
GitHub - fluent/fluent-logger-python: A structured logger for Fluentd (Python)
Fluentdのお勧めシステム構成パターン
Amazon.co.jp: サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus): 鈴木健太, 吉田健太郎, 大谷純, 道井俊介: 本![Amazon.co.jp: サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus): 鈴木健太, 吉田健太郎, 大谷純, 道井俊介: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b3bdd5e7a7bc44e01a0b3a9ec5006f8a263eb4c/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51lSb2Ie7WL._SL500_.jpg)
