Fluentdはデータ収集ソフトウェア最強のツールである
はじめに 最近Fluentdを使い始め、あまりの使い心地の良さに「ああ、最高だ」という気持ちになったため、素晴らしさを共有すべくこの記事を執筆することに致しました。一からFluentdを自分でやろうとすると中々手が出なかったり、「完全に理解した」という状態になるまで二日くらい掛かったりするので、それがこの記事を10分程度読むだけで200倍くらいの時間圧縮に繋がれば良いなと思います。少なくとも自分だけで一から学ぼうとするよりはるかに効率が良いと考えております。 Fluentdは高信頼性のデータ収集ソフトウェア Fluentdはオープンソースのデータ収集ソフトウェアで、多機能で、高速かつ信頼性高くデータ転送を行ってくれます。なぜ信頼性が高いのかというと、データ転送時に一時的にバッファーに情報を蓄積出来る機構を持っているため、障害が発生してもログの再送制御を行い欠損を防ぐことが出来るからなんです
FluentdをDockerで試してみる
Fluentdって何？ オープンソースのデータコレクター（収集）です。 JSONを利用したロギング 500以上プラグインがある リソースも少ない https://www.fluentd.org/architecture 日本人が元を作成していて、日本語の資料も多いです。 とりあえず、Dockerで試してみる。(ダラダラと試していくのでご了承ください。) ダラダラと試してみる。 Fluentdサーバの公式のイメージ 公式から探すと下記が公式イメージらしい とりあえず起動するだけなら下記でOK 利用するポート：-p 24224:24224 -p 24224:24224/udp 利用するディレクトリ：-v /data:/fluentd/log (この時点の推測だと、このフォルダにログ情報のJSONが吐き出されると思う…) docker run -d -p 24224:24224 -p 24224
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独
Zabbixのヒストリデータ格納先にElasticsearchを使う - Qiita
Zabbixの3.4.5からZabbixの監視結果の格納先としてダイレクトにElasticsearchを選択できるようになりました。 これまでは、fluentdとか使って、Zabbixでの監視用とログ結果の分析用といった感じで処理を分けて管理しなければならなかったところが、Zabbixの機能だけでElasticsearchとうまく連携できるようになっています。 Zabbixはこれまでログ監視・分析系が少し弱いところがあったので、これでかなり監視結果データの活用がやりやすくなったのではないでしょうか。 詳しくはこちらのZabbix社の公式ドキュメントに記載があります。 では、以下、使う方法について解説します。 ZabbixとElasticsearchのインストール 導入手順は省略しますが、普通にそれぞれインストールします。 ZabbixからElasticsearchのWeb APIを呼び出せ
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法
システム障害の原因調査や、稼働状況の確認のためにログの中身を確認することがよくあります。しかし、ログが大量に出力されていたり、複数の場所に分散して出力されていたりすると、それを確認するために多くの手間と時間がかかってしまいます。 これらの課題解決の方法として、ここ最近主流となっているのが、複数のOSS（オープンソースソフトウェア）ツールを組み合わせてログの収集や検索、可視化ができる基盤（ログ基盤）を構築することです。 その中で特に代表的なものが、「Fluentd」（ログの集約）、「Elasticsearch」（ログの検索）、「Kibana」（ログの可視化）であり、本連載では、これらのログ基盤を実現するツールについて、構築方法や利用方法、実際の案件で使ったときの事例、さらにはログ基盤に関連する最新の情報を紹介していきます。 連載第1回の本稿では、Fluentd、Elasticsearch、K
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
