3Dクラスタ監視ツール
最近クラスタの負荷状況を3Dで表示するようなツールを作ってます。 クラスタ監視ツールって既存のものもあるのに、なぜ今更？と思うかもしれませんが、 既存のもので足りないと思っているのは、 1. 十数台くらいまでなら良いがそれ以上になるとグラフを見るのがつらい 2. CPU毎、ディスク毎に見れない 自分の目的としては数百台とかの規模でHadoopを実行し、負荷状況を見れること、 後からも実行時の状況を調べてボトルネック等を分析出来るようにすることです。 そこでこんな感じのものを作りました。 構成はこんな感じです。使用技術は、 fluentd + node.js + websocket + webgl (Three.js) といった感じでかなり流行りの技術を使ってる感じです。 各サーバーの負荷状況をfluentdで集めています。自作プラグインfluent-plugin-statでC
Node.js のログを Fluentd を使って MongoDB に集約する | DevelopersIO
最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB に保存するサンプルを作ってみます。 こんな感じ。とてもシンプルです。。 Input Output +------------------------------------------------+ | | | Node.js --------> Fluentd --------> MongoDB | | | +-------------------------------------------
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jwyuan/fluent-plugin-twitterstream
Nodejs - Fluentd
