ニコニコ動画、分散Key-valueストア「kumofs」を導入 - Blog by Sadayuki Furuhashi
つい先日、ニコニコ動画モバイルの一部でkumofsを導入した というお話を伺いました。 まだまだ利用は一部でしか始まっていないようですが、これからデータを取りながら運用実績を作っていきたいとのことでした。 kumofsは、バージョン0.3.3でflagsの保存に対応し、バージョン0.3.5でexpireに対応しています。バージョン0.3.4では、Javaクライアントとの互換性を改善しています。 これらの機能の改善に加えて、運用実績やノウハウの蓄積も、オープンソースソフトウェアとして重要な要素の1つと言えます。 kumofs関連資料まとめ や #kumofs@twitter にも、ぜひ注目してみてください^^; kumofsは既に、写真ストレージサービス Ficia（フィシア）での運用実績があります。（ITproニュース） ドワンゴ 研究開発ブログ 分散Key-Valueストア「kumofs
Java + kumofsは苦痛が伴うのでオススメできない - terurouメモ
2010/04/22追記 この情報はkumofs-0.3.2での調査結果です。0.3.4ではkumo-gatewayに-Fオプションを付けて起動することで、memcached client for Javaでも動作するようになりました。 memcached client for Java ＋ kumofs 0.3.4 での接続確認 - DenkiYagi 研究開発しているJava製システムにkumofsを採用しようと思い色々調査したのだが、とりあえず採用は見送る（最終決定は先送りする）ことにした。ここでは、なぜ見送ることにしたのか記しておく。 なお、調査段階でkumofs作者の古橋さん（id:viver、@frsyuki）にTwitterで助けて頂いたのにも関わらず、若干ネガティブな記事になってしまっているので多少心苦しい…。 結論 kumofs自体には問題はない。 だが、Javaにはロク
kumofsに10MBのvalueを入れるとどうなるか実験してみた - sdyuki-devel
kumofsは、本来小さいサイズのvalueを大量に入れることを想定した分散KVSで、高解像度の画像など、サイズの大きいvalueを入れることは想定されていない。と言うかテストされていない。 でも、実は入れてみたら案外うまく動くんじゃないか？というわけで試してみた。 結論 データ総量30GB、物理ホスト１台で試した限りでは、実は問題は無さそう 物理ホスト１台というのが不十分なので微妙… ノードを追加したり復旧したりするとき、数時間の間、速度が半分くらいに劣化する データ量1TB、サーバ4台の構成で、2時間くらいかかる推定 データの再配置がタイムアウトしてしまう可能性があるが確認できていない。３台以上の構成で追試する必要あり 速度は、サーバ１台につき、Get 6.7 req/sec、Set 3.8 req/sec くらい ほぼ線形にスケールアウトすると仮定すれば、４台投入すれば Get 26
第101回カーネル読書会 - Blog by Sadayuki Furuhashi
先日楽天タワーで開催された第101回カーネル読書会で、分散KVS kumofs の設計と実装に関して発表しました。 少々準備不足で十分な発表ができたか不安ではありますが、懇親会で大いに議論が盛り上がったのは良かったです。 そんなわけで、発表資料を公開しました。 kumofsの実装（PDF） クリックで進むムービー版 Keynoteファイル デモ用コード デモ用のコードをいくつか用意していたので、ここに掲載します。 エラー処理などなどはテキトーですが、とりあえず動きます。 MessagePackシリアライズ（C++） kumofsで利用しているシリアライズライブラリMessagePackを使って、オブジェクトをシリアライズするコードです。 シリアライズした結果は標準出力（ファイルディスクリプタ1番）に書き出します。 #include <msgpack.hpp> #include <unist
NoSQLを知る
The document contains charts and graphs showing performance test results for different key-value store systems. A line graph shows the number of requests per second for Viver, Runes and V-Field systems with varying request sizes. Another set of line graphs show the latency percentage for different request sizes on two systems. The document also includes URLs and diagrams showing the architecture o
kumofsはなぜスケールするか - Blog by Sadayuki Furuhashi
先日、分散Key-valueストア kumofs を公開しました。 多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでスケーラビリティとは何か？ スケーラビリティとは、利用者や仕事の増大に適応できる能力・度合い とされています（端的！）*1 。Scalability を日本語にすると、拡張性 と訳されるようです。 ただ一口でスケーラビリティと言っても、様々な側面があります。ITシステムでは主には処理性能と運用に関することを指す場合が多いと思いますが*2、その中にも様々な側面があります。 なぜスケーラビリティが必要か スケーラビリティは システムなどが持つべき望ましい特性 であって、高いに越したことはありません。しかし、高いスケーラビリティはタ
GitHub - etolabo/kumofs: kumofs is a scalable and highly available distributed key-value store.
Kumofs is a simple and fast distributed key-value store. You can use a memcached client library to set, get, CAS or delete values from/into kumofs. Backend storage is Tokyo Cabinet and it will give you great performance. Data is partitioned and replicated over multiple servers. Extreme single node performance; comparable with memcached. Both read and write performance got improved as servers added
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
えとらぼ、分散型ストレージ「kumofs」をオープンソースで公開
えとらぼは1月18日、分散型のストレージシステム「kumofs」をApache License 2.0 のもとオープンソースとして公開した。kumofsは同社の写真ストレージサービス「Ficia」で使用されている。 kumofsはレプリケーション機能を備え、一部のサーバに障害が発生しても正常に動作し続けられるほか、自動的に複数のサーバに負荷を分散して高速に動作するという。システムを止めることなくサーバの追加や復旧ができるなど、スケーラビリティ性に優れるという特徴もある。 kumofsはInteropTokyo 2009 クラウドコンピューティングコンペティションで優勝した。えとらぼはプログラムをオープンソースとして公開することにより、多くの人にkumofsを利用してもらい、プログラムの改善に参加してほしいとしている。 えとらぼは元ミクシィCTOの衛藤バタラ氏が創業したベンチャー企業だ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散キー・バリュ型データストア「kumofs」公開 memcachedと互換性のあるプロトコルを実装