第5回 gooホームにおけるKaiの運用例 ─監視や統計情報の活用 | gihyo.jp
Kaiにtelnetで接続してstatsコマンドを送っても値を確認できますが、ここではPHPのmemcached実装を使ってみましょう。リスト1のような簡単なPHPスクリプトを実行すると以下のような結果が得られます。 リスト1 kai_stats.php <?php $host = "localhost"; $port = 14013; $memcache = new Memcache; $memcache->connect($host, $port) or die ("Could not connect"); $status = $memcache->getStats(); print_r($status); ?> リスト1の実行結果 $ php kai_stats.php Array ( [uptime] => 1077608 [time] => 1246117054 [version
第4回 Kaiの詳細（2）―Kaiの設定をチューニングする | gihyo.jp
今回は、Kaiの設定とチューニングについて詳しく説明します。 なお、本連載が対象とする Kaiのバージョンは0.4、ErlangのバージョンはR13Bです。 データ管理の単位 ＝ バケット ここでは、Kai設定ファイル内の number_of_bucketsについて説明します。 number_of_bucketsは、ノード間での負荷の偏りや、データ配置の計算コストを調整するために使用します。ノード数が数十程度であれば、デフォルト設定のまま変更する必要はありません。 Kaiでは、担当ノードの決定やデータの再配置を行なう際、効率を高めるため、データをバケットという単位でまとめて扱います。バケットとは、32ビットのハッシュ空間をnumber_of_bucketsに指定された値で均等に分割したものです。 図1 ハッシュ空間とパケットの関係 バケット数（number_of_buckets）が少ないと
第3回 Kaiの詳細（1） ─Kaiの要であるクラスタを極める | gihyo.jp
前回、Kai のインストールと基本的な使い方を説明しましたので、今回は、Kai最大の特徴であるクラスタついて詳しく説明します。 なお、前回同様、本連載が対象とするKaiのバージョンは0.4、ErlangのバージョンはR13Bです。 データの保存・取得とリクエストの転送 memcachedでは、クライアントがデータの場所を決定します。このため、クライアントは、クラスタを構成するすべてのmemcachedノードを把握していなければなりませんでした。 一方Kaiでは、ノードがデータの場所を決定し、クライアントからのリクエストを適切なノードに転送します。クライアントは、すべてのノードを把握する必要がありませんし、L4ロードバランサで機械的に負荷分散することもできます。また、クラスタへノードが追加されても、クライアントのノード一覧を修正する必要がありません。 では、前回、構築した3ノード構成のクラス
Key で sort 済みの Key-Value Storage を作り始めた - higepon blog
タイトルの通り Key で sort 済みの Key-Value Storage を作りはじめました。 良くある DHT だと Key の Hash を取る事で分散させるので順序情報を失ってしまうのですが、それを Skip Graph という仕組みで順序情報を保持したまま分散させることが可能になります。 sort 済みだとうれしいのは KVS に対して Range Query が可能になること。 例えば、empno-999 以上の value リストを 最新10件、KVS に要求するみたいなことが出来るようになります。 従来の KVS では上記のような Range Query は不可能だったので、そこは RDBMS に任せていたと思うんですが。（RDBMS で Range Query 後、Key のリストを KVS に投げるなど） この辺りの RDBMS の負荷と分散しづらさを KVS 側
第2回 Kai の基礎 ─Kaiのインストールと基本的な使い方 | gihyo.jp
また、Erlangの公式サイトではWindows向けにインストーラ付きのバイナリも提供されています。 ここでは、公式サイトからソースコードをダウンロードし、CentOS 5.3上でコンパイルする方法を説明します。 なお、執筆時のErlangの最新バージョンはR13Bであるため、本連載ではR13Bを用いて説明します。しかし、Kaiの推奨バージョンはR12B以上ですので、ご利用のプラットフォームが提供するErlangパッケージのバージョンがR12B以上であれば、そちらをご利用されても差し支えありません。 もし、パッケージからErlang をインストールするのであれば、インストールの説明をスキップし、Erlang VMの起動まで進んでください。 Erlangのソースコードは、Erlangの公式サイトから取得できます。 ダウンロードページからR13Bのソースコード（53.1 MByte）をダウンロ
第1回 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp
今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。 Kaiとは Kaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。 Kaiは多
Key-Value Store (Strage) 勉強会にお邪魔してきました - cooldaemonの備忘録
id:Voluntas さんのコネで潜り込んできました。 当初の目当ては、id:teahut さんによる Kai の発表と、首藤さんによる Overlay Weaver の発表だったのですが、面白い発表が目白押しで非常に濃い 5 時間を過ごす事ができました。 感想 素晴らしいまとめが ここ と ここ にある為、後々の自分の為に印象に残ったプレゼンの感想だけ適当に残しておく事にしました。 Groonga (Senna の後継) ペアプレゼンを始めて目の当たりにした。 メインの話者が言い忘れた補足をサブの話者が行う為、非常に解り易いプレゼンになっていたし、3割ほど漫才の要素が入っていたので目が離せなかった（ｗ； groonga.org のトップ絵は id:tasukuchan さんの飼い猫だとの事。 初期で用意する QL に Scheme を選んだのは、Parser を書くのが楽だったからな？
Shudo's Notes (2009/2) - key-value store 勉強会。
講演タイトル (敬称略): 森大二郎,末永匡: 組み込み型全文検索エンジン groonga - Senna から groonga へ 山田浩之: About Lux IO 平林幹雄: Tokyo Cabinet の歴史 岡野原大輔: Key (-Value) の効率的な格納手法について 前坂徹: memcached 安井真伸: repcached のなかみ たけまる: Kai = (Dynamo + memcache API) / Erlang 上野康平: 分散メディアストレージ的ななにか (仮) 古橋貞之: kumofs - kumo fast storage 西澤無我: ROMA のアーキテクチャ 首藤一幸: peer-to-peer の方から来ました 藤本真樹: Flare のはなし 18:10 開始の予定が実際は 18:30 開始。 20分 x 12件 + 休憩 3回で、23時頃終
永続化対応のインメモリDB「Redis」が登場 － ＠IT
2009/02/26 memcachedに似たキーと値の対を保存するタイプの新しいデータベース「Redis」がGoogle Codeで2月25日にベータ版として公開された。開発したのは、イタリア人でフリーランスの開発者、Salvatore Sanfilippo氏。同氏はイタリアでソーシャルブックマークサイトやソーシャルニュースサイトを立ち上げた経験があり、現在はWebサイトの訪問者をリアルタイムで追加表示するステータス情報取得サービスを開発中という。 Redisのソースコードは、GPL2のライセンスで公開されている。ANSI Cで書かれていて、LinuxやMac OS Xを含む多くのPOSIXシステムで動く。現在、PHPやRubyのクライアントライブラリを開発中という。 Redisはmemcachedのようにキーと値の対を、すべてメモリ上に保存する。ただし、memcachedと異なり、同時
「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
Key-Value Store 勉強会を開催しました。 - moratorium
Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会 もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。 既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさん はてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん 日経BP社 中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。 「キー・バリュー型データストア」開発者が大集合した夜 また、講師の方々に発表資料等をアップロードして頂いております。 末永さん: 全文検索エンジンgroongaをテストリリースしました 山田さん: About L
SourceForge.net: kai » home
Get notifications on updates for this project. Get the SourceForge newsletter. Get newsletters and notices that include site news, special offers and exclusive discounts about IT products & services. I understand by clicking below I am agreeing to the SourceForge Terms and Conditions. I agree to receive these communications from SourceForge.net. I understand that I can withdraw my consent at anyti
Open Source Postcards from Japan: First "Key-Value Storage" meeting held in Tokyo
2/24/2009 First "Key-Value Storage" meeting held in Tokyo Daisuke Okanohara (Preferred Infrastructure, Tx) On February 20th, the first "Key-Value Storage" meeting, a meeting of Open Source database and search developers was held in Tokyo. The participants, with wide-ranging specializations from backend storage committers to algorithm researchers, had a casual time to discuss the future of KVS. Key
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング ��
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング 支援システム 多人数音声チャットシステム kumofs • 背景 • kumo fast storage概要 • 保証範囲 • 性能（目安） • ノード追加中の動作 • MessagePack-RPC 背景 • えとらぼ株式会社のプロジェクトで： • 小さいkey-valueを大量に保存 • 落ちないストレージ • キャッシュではなくて永続化したい • サーバーを足すと読み・書き性能が向上 • 導入・運用が楽 kumo fast storage • key-valueストレージ • Consistent Hashingで分散 • レプ
カイハツニッキ(2009-02-24)
_ [イベント] Key Value Store勉強会 すっごいひさびさになってしまいました、すいません。まだ何人かの方は読んでいるのでは、という期待と共に更新してみます。 title通り、先日(2009/02/20)Key Value Store勉強会をkzkさん、ichii386、moriyoshiと一緒に開催させていただきました、というか僕はほとんど運営できていないので、ちょこっとお話させていただきました、というのが正解です。 思えば、第16回のGREE オープンソーステクノロジー勉強会の懇親会でkzkさんやmoriyoshiと「key-valueな勉強会やったら面白くない？」とお話していて、楽天技研の方からメールいただいたのをきっかけにゆるゆると準備を始めてichii386も巻き込んで(超感謝！)、おかげさまで超豪華なかたがたのお話を聞ける濃い勉強会になってとても嬉しいです。個人的
Lux IO(ラックス アイオー)をPHPから使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ
Lux IOという高速なデータベースマネージャ(DBM)を公開しました。元々は、keyに対して長く拡張していくvalueを保持できるように、Luxの内部ストレージエンジンとして開発を始めましたが、一般的なDBMのような使い方においても、非常に高速に動作します。（詳しくは、sourceforgeのページのベンチマークを参照ください。） Lux IO - Yet Another Fast Database Manager : no hacking, no lifeLux IOという非常に高速なdbmが公開されました。Lux IO用のphp bindingを作ってGitHub — Server Error使ってみました。 サンプルコードが下記で $luxiobtree = new LuxIOBtree(); $luxiobtree->open('test', LUX_DB_CREAT); $re
KVS 勉強会に出て、自分でも書いてみたいなと思ったり。 - 武蔵野日記
Key-Value Store 勉強会なるものに行ってきた。キーと値をペアで保持するデータベースマネージャ的なものの勉強会。発表者豪華〜。 開催を知ったのは上記 @kzk_mover くんの Twitter なのだが、他の人たちも Twitter で知ったらしい……。Twitter 恐るべし。 tabatee さんやO 野原くんやO 倉さんといった人たちの近くに坐っていたのだが、id:yukoba さんと久しぶりに再会。相談員のときの先輩なのだが、直接お話するのはかれこれ6,7年ぶりくらいだろうか……(忘れているかもしれないけど)。勉強会終了後、最近の研究の話をしたりするのだが、ちゃんと聞いてくれるので説明のし甲斐がある。ふふふ…… ピザをつまんだりお酒を飲んだりしながら、ということだったのだが、最初は「こんなあったらものすごい量余るよ」と思っていたら、途中足りなくなって追加買い出しに行っ
たけまる / Key/Value Store 勉強会で話してきました
_ Key/Value Store 勉強会で話してきました [kvs][kai] 2/20 に行われた Key/Value Store 勉強会 で Kai や Erlang について話 してきました．正式サイトはなさそうなので，はてブにリンクしておきま す． タグ「kvs」を含む新着エントリー - はてなブックマーク Kai という Key/Value Store について，ベースになっている Dynamo や開 発に利用している Erlang の特徴に絞って紹介しました． 田舎暮らしで終電が早いので，順番を繰り上げてもらいました．臨機応変 に対応してくださりありがとうございます．発表順が繰り上がったおかげ で，休憩時間にいろんな方に話しかけてもらえたので良かったです． なお，Kai を利用したい方は sourceforge.net からダウンロードしてく ださい．非常に簡単にですが，使い
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
