HMaster Japan: HBase入門 - 5月27日発表
2010年5月30日日曜日 HBase入門 - 5月27日発表 Hadoop ソースコードリーディング（第２回）にて、HBaseを紹介しました。 HBaseの特徴 ユースケース（事例紹介） 当日は80名を超えるHadoopファンの方々にご来場いただきました。最後まで熱心に聞いていただきありがとうございました！ 参考：当日の Twitter まとめ 次回以降は、以下の内容を予定しています。 【６月】HBaseとCassandraの比較（設計上のトレードオフを理解する） 【７月】HBaseでつまずきやすい点と、ロードマップ（次期メジャーリリースの紹介） スライドは事前に公開する予定です。実は、英語・日本語版共に下書きはできていて、HBaseの開発リーダーのレビュー済みなんです。 ただ、会場で、Cassandraの開発チームにもレビューしてもらうと、より充実したプレゼンになるのでは？と
kumofsの死活監視はこんな感じでNagiosでやってます - （ひ）メモ
分散Key-Valueストア「kumofs」を公開しました！ - 古橋貞之の日記 ＼(＾o＾)／ kumofsは、弊社のフォトストレージサービス Ficia で現在大絶賛モリモリ稼働中なんですが、その死活監視は自家製の Nagios プラグインで行っています。 というわけで、kumofsをサービスで使いたい人の一助になればと思い、ぼくが実際に行っている kumofs の監視について紹介したいと思います。 サーバノードとマネージャノード サーバノードとマネージャノードの監視には、それぞれのノードに対してステータスを問い合わせるコマンドを発行して、その応答で死活を判断するスクリプトを書いて使っています。 kumofs公開記念ということでgithubにpushっておきました。 http://github.com/etolabo/nagios-check_kumofs 問い合わせの処理は、管理用コ
ほぼまっさらなCentOS5.5にkumofsをインストール - DenkiYagi
いくらでも情報があるんですが、自分用の備忘録。 方針とか この手順では32bitマシンを対象にする ソースから入れるパッケージはとにかくcheckinstall ネットワーク周りやiptablesの設定は各自やってね 準備するもの CentOS 5.5をインストール済みのマシン 全部デフォルト設定でインストール（インストーラ任せ） アップデート済み（yum -y update） 手順 Development Toolsのインストール そもそもgccとか入ってなかったので、インストール。 yum -y groupinstall "Development Tools" rpmforgeを使えるようにする checkinstallをインストールしたいのだが、rpmforgeじゃないとパッケージが置いてないのでrpmforgeを使えるようにする。x64の人はAdditionalResources/
kumofsに10MBのvalueを入れるとどうなるか実験してみた - sdyuki-devel
kumofsは、本来小さいサイズのvalueを大量に入れることを想定した分散KVSで、高解像度の画像など、サイズの大きいvalueを入れることは想定されていない。と言うかテストされていない。 でも、実は入れてみたら案外うまく動くんじゃないか？というわけで試してみた。 結論 データ総量30GB、物理ホスト１台で試した限りでは、実は問題は無さそう 物理ホスト１台というのが不十分なので微妙… ノードを追加したり復旧したりするとき、数時間の間、速度が半分くらいに劣化する データ量1TB、サーバ4台の構成で、2時間くらいかかる推定 データの再配置がタイムアウトしてしまう可能性があるが確認できていない。３台以上の構成で追試する必要あり 速度は、サーバ１台につき、Get 6.7 req/sec、Set 3.8 req/sec くらい ほぼ線形にスケールアウトすると仮定すれば、４台投入すれば Get 26
リアルアンリアル 高速配信Webサーバーシステムをオープンソース化 - 株式会社リアルアンリアル
報道関係者各位 プレスリリース 2010年3月24日 株式会社リアルアンリアル ＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋ 独自開発した高速Webサーバーシステム「クリティカルスピード」 を3月24日からオープンソースとして公開。開発者の募集を開始。 ＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋ 株式会社リアルアンリアル（東京都中央区、代表：清古貴史）は、 Key-Value Store(以下KVS)を利用した高速配信ウェブサーバーシステム 「クリティカルスピード」をオープンソースとして無償公開いたします。 ソースのダウンロードは以下のURLから http://www.luxury-la.com/ （このサイトはクリティカルスピードを用いて高速に配信されています） クリティカルスピードはKVSをウェブサーバーとし
Key Value Storeについて
主な3つの機能について実装状況を示してみました。 「データ永続化」とは、ストレージサーバを再起動してもデータが失われないようにデータをメモリではなくHDD等に格納できる機能です。例えば、memcachedはメモリにデータを置くため、ストレージサーバを再起動するとデータが失われます。 「データ冗長化」とは、格納したデータがストレージサーバ側で自動的に複数のストレージサーバにコピーが作られる機能です。1台(または数台)のストレージサーバがダウンしてもデータが失われることはありません。 「データ分散」とは、キーのハッシュ値等を元にデータの格納先のサーバを振り分ける機能で、負荷分散を図ることができる機能です。なお、memcached、Tokyo Tyrantにはサーバ側での分散機能はありませんが、クライアント側のライブラリによって格納先サーバを分散させることも可能です。 memcachedプロトコ
京都収納棚：DBMの率直な壱実装 - mixi engineer blog
飲み屋に行くとかなりの確率で荷物を忘れて帰るmikioです。さて、今回はここ2ヶ月ほどで急ピッチで開発した軽量データベースライブラリ「Kyoto Cabinet」について紹介します。 開発の動機 以前から軽量データベースライブラリとしてご好評いただいているTokyo Cabinetですが、DBMとして必要十分な機能と性能を備えていてなかなか良いものだと自負しております。ただ、開発を進める中でいくつか不満な点があったのも事実です。端的に言えば、全てC言語で記述して、標準ライブラリ（とzlib/bzip2）以外の機能は全て自作しているので、最適化がしやすい反面、メンテナンスの難易度が高くなってしまっているというのが不満です。 そこで、多少性能が悪くなってもいいから、私自身としてお気楽に開発およびメンテナンスができて、移植性も高いような実装を作ってみようと思い立ったのが昨年10月頃。様々な検討を
NOSQL Patterns
Over the last couple years, we see an emerging data storage mechanism for storing large scale of data. These storage solution differs quite significantly with the RDBMS model and is also known as the NOSQL. Some of the key players include ... GoogleBigTable, HBase, Hypertable AmazonDynamo, Voldemort, Cassendra, Riak Redis CouchDB, MongoDB These solutions has a number of characteristics in common K
NoSQL Required Reading
I've been trying to follow the fast-moving world of NoSQL lately, and -- like a visit to the carnival funhouse -- it has left me with double vision, queasy stomach, and a staggering gait. (And it's not even Saturday morning...) Yet I find myself coming back for more. If you're new to NoSQL, you'll want to do a bit of background reading. I'll keep this quick and limit my recommendations to just the
WebアプリのDBスキーマレス化がRubyにぴったりな件 - Tous Les Jours 攻防記
という題で、RubyKansai#37で発表させていただきました 内容は、WebアプリケーションのDBのスキーマレス化について。 スキーマレスなDBアクセスのための、拙作DBインターフェースライブラリ「SimpleResource」の紹介も合わせて盛り込みました。SimpleResourceは、スキーマレスなデータを保存するためのKVS DBインターフェースライブラリで、Rubyで書かれています。レコード単位のロック機構、インデックス機能等を備えている他、ActiveRecordに近い使い勝手で利用することができます。ストレージには現在MySQLとTokyoTyrantにのみ対応しています。（FriendFeedの同様の試みもかなり参考になりました。詳細はまた後日にエントリで上げたいと思ってます） SimpleResourceは、GitHub上で開発を続けていくつもりです。 http://
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google App Engine Datastore Performance Test