hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ - 科学と非科学の迷宮
hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は fair scheduler のイベントログを有効にする方法を紹介します。 注: CDH3u2 ベースです fair scheduler にはイベントログを出力する機能があります。 有効にすると、下記のようなイベントログが ${HADOOP_LOG_DIR}/fairscheduler/hadoop-<ユーザ名>-fairscheduler-<ホスト名>.log に出力されます。 2011-11-29 19:44:07,767 BEGIN_DUMP 2011-11-29 19:44:07,768 POOL pool1 1.0 0 10 0 5 0 2011-11-29 19:44:07,768 POOL default 1.0 0 0 0 0 0 2011-1
Facebook: 永続的key-value型高速データストアRocksDBをオープンソースで提供 - ワザノバ | wazanova.jp
http://rocksdb.org/ RocksDBは、FlashSSDメモリ/RAMに高速でアクセスできる組込み型の永続的key-valueデータストアです。LevelDBのうえに構築されていてCPUコアがたくさんあるサーバでスケーラブルに実行され、高速のストレージを効率的に利用し、IO-bound / in-memory / write-once な作業をサポートします。 （GoogleのLevelDBは「Hood.ie: “noBackend & Off-line first” という考え方」でもちょっと話題にでてました。） 利用用途としては遅延を避けたいケース、例えば、 ユーザの閲覧履歴やステータスを保持するアプリ 大きなデータにすぐにアクセスしなくてはいけないスパム検知アプリ リアルタイムでデータにアクセスするソーシャルグラフ検索のクエリ Hadoopデータのキャッシュに利用し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ggsoku.com
perlで快適REPL生活！ : sonots:blog
