3Dクラスタ監視ツール
最近クラスタの負荷状況を3Dで表示するようなツールを作ってます。 クラスタ監視ツールって既存のものもあるのに、なぜ今更？と思うかもしれませんが、 既存のもので足りないと思っているのは、 1. 十数台くらいまでなら良いがそれ以上になるとグラフを見るのがつらい 2. CPU毎、ディスク毎に見れない 自分の目的としては数百台とかの規模でHadoopを実行し、負荷状況を見れること、 後からも実行時の状況を調べてボトルネック等を分析出来るようにすることです。 そこでこんな感じのものを作りました。 構成はこんな感じです。使用技術は、 fluentd + node.js + websocket + webgl (Three.js) といった感じでかなり流行りの技術を使ってる感じです。 各サーバーの負荷状況をfluentdで集めています。自作プラグインfluent-plugin-statでC
Hadoop - 三上俊輔の研究日記 分割可能なLZO圧縮をhadoopで使う
Twitterでは基本的にファイルはLZO圧縮しているようで， 3,4倍のストレージの節約 分割可能 CPUは少ししか使わない IOバウンドのジョブは3,4倍の性能向上 などのメリットがあると言っています．これは使わない手はないということで試してみました． clouderaのこのブログ記事を参考にして進めます． code.google.com/p/hadoop-gpl-compressionもありますが，Twitterが公開している分割可能なのを使います． http://github.com/kevinweil/hadoop-lzo 今回の環境はclouderaのamiをベースにしました． cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4 CDH3で，hadopoのバージョンは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
