橋本商会 » Node.jsでMemcachedを使う
インストール https://github.com/elbart/node-memcacheを使う。 npm install memcache プログラム書いた 2秒expireで書き込み→すぐ読む→3秒待って読む、という例。 memcache-test.js var memcache = require('memcache'); var client = new memcache.Client(11211, 'localhost'); client.connect(); var get = function(){ client.get('name', function(err, val){ if(!err) console.log(val); else console.error('get error'); }); }; client.set('name', 'shokai', func
Facebookの数千台規模のmemcached運用について - ゆううきブログ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログの続きとして、Facebook の memcached 運用に関する論文を読んだ。 タイトルなどは以下の通り。 NSDI はネットワークシステムに関するトップレベルのカンファレンス。 Scaling Memcache at Facebook Rajesh Nishtala, Hans Fugal, Steven Grimm, Marc Kwiatkowski, Herman Lee, Harry C. Li, Ryan McElroy, Mike Paleczny, Daniel Peek, Paul Saab, David Stafford, Tony Tung, Venkateshwaran Venkataramani NSDI'13 In Proceedings of the
ubuntu で nginx から memcache を利用する
memcached, python-memcache のインストールと起動 sudo apt-get install memcached python-memcache sudo /etc/init.d/memcached start 初期設定だと 11211 番ポートで起動しています。変えたい場合は /etc/memcached.conf で。 memcached とお話してみる (telnet 編) まずは telnet 経由でお話してみる。プロトコルについては official wiki を見ればいいと思います。 telnet 127.0.0.1 11211 Trying 127.0.0.1... Connected to 127.0.0.1. Escape character is '^]'. 'foo' という key で フラグ 0、無期限 (0)、 3 byte のデータ '
memcached＋PostgreSQLで実現する ハイパフォーマンスWebアプリケーション構築
memcachedの仕組みと新機能 ここからはmemcachedの仕組みそのものと、最近のバージョンで実装された機能について見ていきましょう。 memcachedの仕組み memcachedの仕組みを3つの部分に分けて説明します。 1：通信管理とイベント処理 通信管理とイベント処理はライブラリlibeventを利用しています。これを使ってデータの受信からコマンドの解析、データ操作、結果の送信までコンパクトに実装しています。 libeventは大量の同時アクセスも軽々こなす高性能なライブラリとして有名で、memcachedのレスポンスの高速化にも寄与しています。 2：データ操作 データ操作は保存、検索、削除の3種類に大別できます。 （1）保存の場合 データの保存を行うaddコマンドがmemcachedに届くと、（キーとデータの組である）itemを保存する領域を確保、キーのハッシュ値を求め、ハ
[libmemcached] libmemcachedを使ってみる
メモ代わり。てきとーに。 いや、ですからてきとーですって。 2年前ぐらいにPythonあたりでメールくれた方、ごめんなさい。メール紛失してしまい無視した形になってしまいました。。。 libmemcacheは開発終了とのことで、libmemcachedを使ってみることに。 教えてもらった http://alpha.mixi.co.jp/blog/?p=119 を読破。 まず、http://tangent.org/552/libmemcached.html からlibmemcachedをダウンロードっす。 現行0.20が最新かもしれません。 そしたら、展開。 $ tar xvzf libmemcached-0.20.tar.gz で、configure。 $ cd libmemcached-0.20 $ ./configure で、make。 $ make へー。 libmemcachedでは
memcachedのオプションにハマる - なぜか数学者にはワイン好きが多い
memcachedにアクセスするためのC言語のAPIには，オプションを設定する関数，memcached_behavior_set()があります． memcached_behavior_get memcached_behavior_set オプションの効果を検証しようと思い，ベンチマークをやってみました． ベースとなるプログラムは，こんな感じ． #include<libmemcached/memcached.h> #include<stdio.h> #include<string.h> enum mode_type { SET, GET, DEL}; const int TOTAL_CONNECTIONS = 10; int access_memcache(mode_type mode, int seed) { memcached_return rc; memcached_st *memca
mixi大規模障害について - mixi engineer blog
こんにちは。システム本部技術部たんぽぽGの森本です 先日のmixi大規模障害についてのブログです。 はじめにお断りしておきますが、弊社CTOがtwitterで公開した以上の情報はまだ得られておりません。 twitterでは書ききれなかった細部を補足してみたいと思います 現状判明しているのは以下の点です memcachedに大量の接続・切断を行うとmemcachedプロセスが突然終了することがある memcachedには異常時に終了するフローもあるが、同時に出力されるはずのエラーログは出ていなかった coreも出力されていなかった テスト環境にて追試を行ったところ、なんどか再現させることができましたが、確実に発生する条件は未だ不明です。 障害時の memcachedのバージョンは1.4.4, libeventのバージョンは1.3bです memcached の起動オプションは以下のとおり ./
libevent-1.3b, libmemcached-1.4.4 で固まる? - moratorium
libevent-1.3b, libmemcached-1.4.4 で固まる? 2010-08-13 (Fri) 0:56 Uncategorized mixiの件について、nealさんから情報を貰ったので数時間調査してみた。というのも、うちの製品でもlibevent(evhttp)をリクエスト処理に使っているので、これにバグが有ると非常に困る。 Nealさんのつぶやき ひとまず、libevent-1.3b, libmemcached-1.4.4をビルドする。memcachedは、-cで同時接続数を制限できる。で、この同時接続数というのは、実はファイルディスクリプタの数を制限する事で達成されている。memcached.cの以下の部分。 /* * If needed, increase rlimits to allow as many connections * as needed. */
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60として500台以上必要。そんなに増えたん？
［速報］mixiが障害の経緯を発表。原因はお盆のアクセス急増ではなく、memcachedの異常終了
8月10日の17時20分頃から12日未明までの長時間にわたり、サービスが利用不能もしくは利用しにくい状況になっていた「mixi」。数度の断続的な復旧ののちに、本日12日午前1時50分頃には復旧が完了し、現時点で全面的に復旧しているようです。 その障害の経緯について株式会社ミクシィの広報からプレスリリース「『mixi』のアクセス障害のお詫び及び復旧に関するお知らせ」として発表されました。 原因はアクセスの急増ではなかった プレスリリースの中で、今回の障害の原因は以下のように説明されています。 『mixi』のデータベースへの負荷軽減のために導入しているデータキャッシュシステムが複数同時に異常終了したことに伴い、データベースへの負荷が急増したため『mixi』を閲覧しづらい状態となりました。 高負荷かつ特殊な状態でのみデータキャッシュシステムの異常終了が発生していたため、根本的な原因の究明に時間が
nabokov7; rehash : Cache考(1) - オブジェクトキャッシュかページキャッシュか
March 03, 200900:48 カテゴリCache考プログラミング Cache考(1) - オブジェクトキャッシュかページキャッシュか コンテンツキャッシュのやり方って、アプリケーションの性質によって、大きくわけて以下の二つの攻め方があると思う。 ・オブジェクト単位でキャッシュする ・最終出力 (レンダリング済みのhtml) 単位でキャッシュする blog は後者、clip は前者がメイン。 ブログの場合、1ページを構成する要素のうちひとつだけが細かく変動するとか、リクエスト毎にかわるとかいったことは少ない。例えばあるページへのコメントは、その対象ページ以外で使われることはほとんどない。 コメントが追加されたりしてページの内容がかわったら、そのページのhtmlをまるごと書き出しておいて、またしばらく同じものをみんなに見せ続ければいい。 クリップの場合、たとえばあるひとつのクリップは
key-value stores: Anti-RDBMS: A list of distributed key-value stores | Richard Jones, Esq.
Please Note: this was written January 2009 - see the comments for updates and additional information. A lot has changed since I wrote this. Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include: You're suffering from Cloud-computing Mania. You need an excuse to 'get your Erlang on' You heard CouchDB was
memcached活用は、格納オブジェクトの”粒度”がキモ
最近じゃmemcachedを活用してデータベース(RDB)の負荷を下げるって話、そこらじゅうから聞こえてくるけれど、memcachedの活用は、格納オブジェクトの”粒度”（granularity）がキモだと思ってます。 memcachedは、KeyとDataをペアで格納して、Keyが与えられると、関連付けられたDataを返すだけのシンプルなシステム。PerlやPHPの連想配列と同じ。このmemcachedをRDBのキャッシュとして活用してやる場合、memcachedに格納するキャッシュデータの単位、”粒度”をどう設計するかが重要になってくる。 RDBの場合、格納されるデータはRow(レコード)単位。じゃぁキャッシュもRow単位で作ってやればいいのかといえば、それではうまくいかないケースもたくさんある。RDBでは専用の問い合わせ言語であるSQLを使って、 SELECT * FROM hoge
Tugela Cacheを使ってみる : blog.nomadscafe.jp
Tugela Cacheを使ってみる Tugela Cacheとは、MediaWikiの人がつくったMemcachedのストレージをBerkeleyDBに入れ替えたCache Serverです。 使っているとか聞いたことがないですし、情報もすくないです 特徴としては、 既に書いたけど、BDBにデータを保存 Cache切れの値を削除するプログラムが別にある Memcachedとプロトコル同じ あたりでしょうか インストールには、libeventとBDBのライブラリが必要です。 そんなに迷わないと思われます $ svn checkout http://svn.wikimedia.org/svnroot/mediawiki/trunk/tugelacache $ cd tugelacache $ make $ sudo cp tugela /usr/local/bin $ sudo cp tug
memcached_in_mixi.pdf :: handsOut.jp
このスライドの現在表示中のページへのリンク 非公開に設定したスライドでも、このURLにアクセスすることで参照が可能になります。 スライド1: memcached in mixi株式会社ミクシィ開発部 長野雅広Copyright© 2008 mixi, Inc スライド2: 自己紹介所属: 株式会社ミクシィ開発部 システム運用グルヸプアプリケヸショョンン運用チヸムBlog: http://blog.nomadscafe.jp/PAUSE ID: kazeburoCopyright© 2008 mixi, Inc 1 スライド3: アジェンンダ• memcachedとは• mixiでの利用事例• 分散アルゴリズムについて• memcached互換アプリケヸショョンンCopyright© 2008 mixi, Inc 2 スライド4: memcachedとはCopyright© 2008
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
memcached/libmemcached - RyoWiki
DoS for memcached
https://blog.8-p.info/2009/01/object-kv-mapping