開発メモ: memcachedメッセージキューの詳しい使い方
memcachedプロトコルでメッセージキューが実現できるという話を前回したが、今回はその具体的な使用方法を解説してみる。 サーバを起動する まずはサーバを起動しないと始まらない。典型的には以下のコマンドで立ち上げるとよい。 $ ktserver -th 1 -ls \ -plsv /usr/local/libexec/ktplugservmemc.so \ -plex 'port=11211#tout=30#thnum=16#opts=fq#qtout=10' \ 'casket.kct#ktopts=p' 「-th 1」でメインサーバのスレッド数を1にしている。最新版からはデフォルトで16スレッドを立てるのだが、アプリ側からはメインのサーバにはアクセスしないだろうから、1個あればよい。「-ls」はログレベルをSYSTEMに設定。「-plsv ...」では、memachedプラガブルサー
repcachedのmemcached 1.4対応 - Atzy->getLog()
mdounin(Maxim Dounin)さんが開発しているmemcached、あるいはrepcachedのforkがあるのですが、そこではrepcachedがmemcached 1.4.5に対応しています。 https://github.com/mdounin/memcached/tree/repcached KLabで開発されていたrepcached(2.2まであります)は、memcached 1.2.8までの対応ですので、モダンなmemcached 1.4系を使うことができなかったわけですが、このmdounin版を使えばレプリ機能を使いつつ、memcached 1.4を使うことができるわけです。(ただ、おそらくマルチスレッドは無効化される。) mdounin版の最新のものはrepcached 2.3と称していますが、あくまでブランチコードと思われます。なお、この最新版は、repcac
分散 Key-Value ストア mio-0.0.1alpha をリリースしました - higepon blog
分散 Key-Value ストア mio-0.0.1alpha をリリースしました。(mio-0.0.1-alpha.tar.gz) Mio とは何か？ 範囲検索(range query) が出来る KVS です。例えば「key が "1000"〜"2000" にあるものを昇順に10件取り出す」という検索が可能です。 Mio は memcached 互換プロトコルを実装しているので、多くのプログラミング言語から簡単にアクセスする事が可能です。（後述のコード例参照） Mio のアーキテクチャ Mio は Skip Graphs（スキップグラフ）というアルゴリズムに基づいて実装されています。詳細はErlang 分散システム勉強会での発表資料 Mio - a distributed Skip Graph based orderd KVSをご参照ください。 インストール 最新の Erlang をイ
月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
memcachedプロトコルCAS操作について
当ブログをご覧の皆様こんにちは。さくらインターネット研究所の大久保です。 ご存知の方も多いと思いますが、先日、分散KVSの一つであるkumofsが、バージョン0.4.0にてCAS操作をサポートされたそうです。以下は開発者である古橋さんの日記のURLです。 ▽ kumofs-0.4.0リリース - CAS操作をサポート http://d.hatena.ne.jp/viver/20100514/p1 今回は突然ですが、番外編としてCAS操作について取り上げたいと思います。 CAS操作とは?CASは”Check and Set”の略で、KVS上でトランザクション処理を行うために必要なものです。それ自体少々複雑ですので、以前当ブログにてmemcachedプロトコルの紹介をした際には、CAS操作のコマンド説明は省いておりました。なお、これまでとりあげてきたFlareでは、CAS操作は既にサポートされ
Flareを使う(複数台構成)
各役割のサーバは以下の働きをします。 インデックスサーバ Flareクラスタ内に1台存在し、各ノードの死活監視、各ノードへのサーバリストの通知、各ノードへの指示を行います。インデックスサーバの冗長化は、2010年5月現在のバージョン1.0.9では実装されていません。ストレージサーバ データを格納します。上記の通りマスター、スレーブの2種類が存在します。プロキシサーバ memcachedプロトコルをアプリケーションに提供し、リクエストをFlareクラスタへ中継します。サーバ設定Step1. インデックスサーバの設定と起動以下の設定ファイルを/home/admin/flare/flarei.confとして保存します。 data-dir = /home/admin/flare log-facility = local0 server-name = 192.168.13.21 monitor-th
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
memcached gem release
One of the hardest gems to install is no more. It’s now easy to install! Memcached 0.15 features: Update to libmemcached 0.31.1 Bundle libmemcached itself with the gem (antifuchs) UDP connection support Unix domain socket support (hellvinz) AUTO_EJECT_HOSTS bugfixes (mattknox) Install with gem install memcached. Since libmemcached is bundled in, there are no longer any dependencies. on coordinatio
ついに公開，楽天ROMA - なぜか数学者にはワイン好きが多い
楽天、分散キー・バリュー型データストア「ROMA」のソースコードを公開 | 日経 xTECH（クロステック） ってかITpro速い（笑） 公開してすぐに記事になってる．きっと会場で記事書いたのでしょう． 西澤さんがまつもとゆきひろさんにエンターキーを押してもらって記念すべき初公開，としようとした時のトラブルについては触れられてませんw ROMAのページはこちら． Google Code Archive - Long-term storage for Google Code Project Hosting. さて，FreeBSDで実験してみます． ドキュメントの通りruby-1.9とruby-1.9用のgem，それからgem経由でeventmachineをインストールした後，いよいよROMAをインストールします． 最初から最後までトラブル無しでした．素晴らしい． # wget http://
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する : blog.nomadscafe.jp
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能も高く、またConsitent Hashingも使えますし、バイナリプロトコルもばっちりです。 図にするとこんな感じ。revserse proxyのcacheがmemcachedになるので、cache効率が上がり、またApplicationサーバからも同じmemcachedが参照できるのでcacheを変更したりできるかもしれません。 導入 mod_libmemcached_cacheはgithubから入手できます http://github.com/a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://localmemcache.rubyforge.org/