はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです! td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダッシュボード的なものを作ってみた the 車輪の再発明 また、td-agent(fluentd) のバッファリングについても自分の中で整理整頓してみた 参考 Buffer Plugin Overview Fluentd out_forward における最適化パラメータいくつかの話 FluentdでバッファつきOutputPluginを使うときのデフォルト値 Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- で、どんなものなの? ソースコード一式はこちら。 スクリーンショット やってること mo
以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの話になります。 HDFSファイルのCREATEエラー 複数のFluentd CollectorからHDFSの1ファイルへ共通して書き込むというスタイルをとってみました。こんな感じに1分毎のHDFSファイルとして。 Collector-01 ─┐ Collector-02 ─┤ Collector-03 ─┼─> HDFS %Y%m%d-%H%M.log Collector-04 ─┤ ...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く