kumofs-ng/kumofs-ng · GitHub
README.mdWelcome to Kumofs NG. Overview kumofs-ng はオリジナル版の kumofs の性能を保ちつつ、実用性をさらに強化した分散 KVS です。 データは複数のサーバーにレプリケーションされます データは複数のサーバーに分散して保存されます 単体のサーバーでも非常に高速です サーバーを追加すると読み・書き両方の性能が向上します サーバーを追加してもアプリケーションには影響しません 一部のサーバーがダウンしても正常に動き続けます システムを止めずにサーバーを追加できます システムを止めずにダウンしたサーバーを復旧できます 追加や復旧時に発生するデータの再配置処理は、パフォーマンス影響を与えずに実行できます 2台から60台程度までスケールします（60台以上はまだ検証されていません） 小さなデータを大量に保存するのに適しています memcached
kumo-server が全ノード WAIT になる - tmtms のメモ
kumofs でサーバーを kumoctl detach した時に、kumo-server の全ノードが WAIT 状態になることがあったので調べてみました。というかここ数ヶ月ずっと調べてました。 attach, detach, replace により、kumo-server 間でデータが転送される時は次のような流れで行われます。 この例は server1 から server2 と server3 にデータを送る場合です。 server1 server2 server3 | | | A |---- 送ってもいい？ ---->| | B |---- 送ってもいい？ ------------------------------>| | | | C |<------- いいよ ---------| | D |<------------------------------- いいよ -------
インフラエンジニアのためのkumofs情報 CentOS4 へのインストール その1：So-net Developer Blog：So-netブログ
kumofsは日本で生まれただけあって日本語の情報も豊富で、インストールや設定で苦労 することも無いようです。ここでは、事情により古いCentOS4.8で動かしてみた結果を 記しておきます。 作者のサイトhttp://github.com/etolabo/kumofs/blob/master/doc/doc.ja.md を見ると、動作要件として「linux >= 2.6.18」と記されています。その他ライブラリに ついてはなんとかなるとして、CentOS4.8(2.6.9)で動くのかどうか・・・ 結論から言うと、問題なく動いてます。ただし、kumofsのパッケージのビルド環境として あるていど新しいLinux環境（コンパイラ、ライブラリ、その他の配置等）を前提にして いるので、それなりに工夫（というよりごまかし）が必要でした。 作業の方針として、rpmパッケージ化してインストールします。た
kumofsの死活監視はこんな感じでNagiosでやってます - （ひ）メモ
分散Key-Valueストア「kumofs」を公開しました！ - 古橋貞之の日記 ＼(＾o＾)／ kumofsは、弊社のフォトストレージサービス Ficia で現在大絶賛モリモリ稼働中なんですが、その死活監視は自家製の Nagios プラグインで行っています。 というわけで、kumofsをサービスで使いたい人の一助になればと思い、ぼくが実際に行っている kumofs の監視について紹介したいと思います。 サーバノードとマネージャノード サーバノードとマネージャノードの監視には、それぞれのノードに対してステータスを問い合わせるコマンドを発行して、その応答で死活を判断するスクリプトを書いて使っています。 kumofs公開記念ということでgithubにpushっておきました。 http://github.com/etolabo/nagios-check_kumofs 問い合わせの処理は、管理用コ
ほぼまっさらなCentOS5.5にkumofsをインストール - DenkiYagi
いくらでも情報があるんですが、自分用の備忘録。 方針とか この手順では32bitマシンを対象にする ソースから入れるパッケージはとにかくcheckinstall ネットワーク周りやiptablesの設定は各自やってね 準備するもの CentOS 5.5をインストール済みのマシン 全部デフォルト設定でインストール（インストーラ任せ） アップデート済み（yum -y update） 手順 Development Toolsのインストール そもそもgccとか入ってなかったので、インストール。 yum -y groupinstall "Development Tools" rpmforgeを使えるようにする checkinstallをインストールしたいのだが、rpmforgeじゃないとパッケージが置いてないのでrpmforgeを使えるようにする。x64の人はAdditionalResources/
Centos 5. 1 に kumofs 0.3.1 をインストール - I CAN ’CAUSE I THINK I CAN!
kumofs について 最近 OSS としてリリースされて話題の Key Value Store。 試して見ようと思ってインストールしたら何度かつまづいたので、 メモしておきます。 Centos である gccが4.1系である という条件でコケる傾向にあるようです。 kumofs 0.3.0 でこれを解決するのはなかなか面倒っぽかったのですが、さっそく 0.3.1 がリリースされて俺でもビルドできたので、似たような環境で悩んでる人に助けになれば。 環境 米国 VPS のひとつ Linode 上の Centos 5.1 でインストールを試みました。Rubygems が入ってる以外はほぼ登録直後の状態。デフォルトで入っていたgccは4.1.2でした。こいつが諸悪の根源だったようす。 手順 基本的には以下の手順どおり: kumofsのGithubのwiki kumofsを使う - さくらインター
kumofsに10MBのvalueを入れるとどうなるか実験してみた - sdyuki-devel
kumofsは、本来小さいサイズのvalueを大量に入れることを想定した分散KVSで、高解像度の画像など、サイズの大きいvalueを入れることは想定されていない。と言うかテストされていない。 でも、実は入れてみたら案外うまく動くんじゃないか？というわけで試してみた。 結論 データ総量30GB、物理ホスト１台で試した限りでは、実は問題は無さそう 物理ホスト１台というのが不十分なので微妙… ノードを追加したり復旧したりするとき、数時間の間、速度が半分くらいに劣化する データ量1TB、サーバ4台の構成で、2時間くらいかかる推定 データの再配置がタイムアウトしてしまう可能性があるが確認できていない。３台以上の構成で追試する必要あり 速度は、サーバ１台につき、Get 6.7 req/sec、Set 3.8 req/sec くらい ほぼ線形にスケールアウトすると仮定すれば、４台投入すれば Get 26
Key Value Storeについて
主な3つの機能について実装状況を示してみました。 「データ永続化」とは、ストレージサーバを再起動してもデータが失われないようにデータをメモリではなくHDD等に格納できる機能です。例えば、memcachedはメモリにデータを置くため、ストレージサーバを再起動するとデータが失われます。 「データ冗長化」とは、格納したデータがストレージサーバ側で自動的に複数のストレージサーバにコピーが作られる機能です。1台(または数台)のストレージサーバがダウンしてもデータが失われることはありません。 「データ分散」とは、キーのハッシュ値等を元にデータの格納先のサーバを振り分ける機能で、負荷分散を図ることができる機能です。なお、memcached、Tokyo Tyrantにはサーバ側での分散機能はありませんが、クライアント側のライブラリによって格納先サーバを分散させることも可能です。 memcachedプロトコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
GitHub - kuriyama/munin-kumofs: munin plugin for kumofs