[B! kyototycoon] KGAのブックマーク

開発メモ: memcachedプロトコルでメッセージキューを実現する

前回の記事にて、Kyoto Tycoonでメッセージキューを実現する方法について述べた。今回は、それを実運用にて使いやすくするための諸機能について説明する。みんな大好きなmemcachedプロトコルでメッセージキューを実現してみよう。ジョブキューとメッセージキューどうでもいい話ではあるが、ジョブキューおよびメッセージキューという用語はよく混同して使ってしまう。俺定義では、ジョブキューは「ジョブ管理機能」という目的をたまたまキュー構造に基づいて実装しているものであり、メッセージキューはキュー構造に基づく非同期メッセージング機構であって用途は特に限定しない。つまりメッセージキューをジョブキューを実装するのに使うこともあるが、それ以外の用途にもメッセージキューは使われる。またジョブキューをメッセージキューに基づかないで同期的に実装することもできる。きっと偉い学者さんがどこかでちゃんとした定

KGA 2011/06/22

リンク

開発メモ: KVSとシグナル機構でジョブキューを実現する

いわゆるkey-value storeを使っている際に、レコードの挿入もしくは更新を検知して即座に何らかの処理を行いたくなることはないだろうか。俺はあんまりないけど、結構そういう質問が来るので、きっと巷にはそういう要求があるのだろう。Kyoto Cabinetでそれを実現してみた。ジョブキューもうちょい具体的な例を挙げると、ジョブキューである。ここで、「foo」という名前のタスクを考えてみる。読み出し側（ワーカ）は、適当な名前をつけた条件変数を常に監視していて、そこにシグナルが飛んできたら即座にレコードを取得して処理を行いたい。しかし、「一定の間隔毎にレコードの検索を繰返して発見したら処理を行う」というポーリングスタイルにはしたくない。操作にどうしてもタイムラグが出るし、ポーリングのための無駄なトラフィックが発生するからだ。シグナル待機処理と該当レコードの取得処理を行う擬似コードは以

KGA 2011/06/13

リンク

おっぱいミサイル: kyoto tycoon memcached plugin 今度こそ

KGA 2011/06/09

リンク

memcached(プロトコル)のデータレプリケーション - （ひ）メモ

国内だけでなく国外(なぜか主に中国語)でもまだrepcachedについて言及してるのをちらほら見かけるのですが、repcachedはmemcached 1.2.8ベースですし(memcached 1.4.5に対応してる人もいるようですが)いまならKyoto Tycoon使えばいいんじゃないかと思うのです。 Kyoto Tycoonなら: memcachedプロトコルプラグインを使えば、Kyoto Tycoonがそのままmemcachedの代替になる（memcachedプロトコルを喋るクライアントコードはそのままでよい） Tokyo Tyrantと違ってexpireもOK memcachedの代替が目的なら、速いオンメモリDB(StashDBとか)でOK 非同期レプリケーションもできるホットスタンバイ側のサーバリソースが無駄に思うなら、keyに応じてmodとかでリクエストするサーバを2台の

KGA 2011/06/03

kyototycoon

リンク

Kyoto Tycoonの運用TIPSなどなど - （ひ）メモ

チャオ！みんな、Kyoto Tycoonライフをエンジョイしてるかい！？今日はKTライフを満喫してるミーからの運用TIPSアンドソーオンをお届けするＹＯ！ kchashmgrとktremotemgrコマンドの補完人間の脳活動のピークは22歳の今日このごろ、みなさんいかがおすごし？もうね、ミーは全然コマンドオプションとか覚えられないからシェル(bash)で補完しまくってるＹＯ！ kchashmgrとktremotemgrだけだしオプション網羅してないし補完ルールもアレだけどオープン＆シェアなマインドとガッツで気になる人はfork & push！ Nagiosで死活監視ナギオス！みんな使ってるよね？ミーはcheck_httpでKTのHTTP RPCのechoにアクセスしてデッドオアアライブの監視してる！ define command { command_name check_kyot

KGA 2011/06/01

kyototycoon

リンク

Kyoto Tycoon Guide in Japanese

1. Kyoto Tycoon導入ガイド FAL Labs http://fallabs.com/ mailto:info@fallabs.com 3. 製品コンセプト ● 軽量データベースサーバ ● 軽量 – 関係演算を省略　→　"Key Value Store" – クエリ言語も省略　→　"NoSQL" ● 高性能 – 数万クライアント同時接続 – 秒間数10万リクエスト処理 – Kyoto Cabinet内蔵 ● 永続的キャッシュサーバ ● memcachedの永続化 – ファイルDBに記録　→　再起動や移設が可能 ● 耐障害性（HA）機能搭載 – ホットバックアップ、更新ログ、レプリケーション 4. 基本機能 ● 連想配列 ● key-value構造 – ハッシュ表系：キーの完全一致で操作 – B＋木系：キーの完全一致や範囲一致で操作 ● set, remove, get, inc