入社4年目にもなってtech.kayac初登場のせいです。 ブログ書けプレッシャーにとうとう屈する時がきました。 これで夢にkyo_agoが出てうなされなくてすみます。(彼はtech.kayacの尻たたき担当でした) 先々月「ぼくらの甲子園!熱闘編」というゲームをモバゲー内に... 続きを読む
こんにちは、たんぽぽGの森本です memcached-1.4.6がリリースされました。 mixi大規模障害の原因となった不具合が解消されているとのことなので検証してみました。 動作確認 過去のバージョンで不具合が発生することと新しいバージョン(1.4.6)で不具合が発生し... 続きを読む
クライアントからmemcachedを利用する際の、ベストプラクティスは以前書いているので、その前段階でmemcachedを含めたWebアプリケーションのアーキテクチャ(と一部クライアントの話)について今の個人的な考えをまとめてみます。Kyoto Tycoonを使ったキャッシュ... 続きを読む
ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60として500台以上必要。そんなに増えたん? 続きを読む
handlersocket plugin や mycached を使えば memcached は不要か、それとも使うべきケースがあるか。考察せよ [10点] kazuho (Kazuho Oku) http://twitter.com/kazuho/status/21477219149 考えて答えてみる。 HandlerSocketやmycachedを利用し、MySQLへの接続数... 続きを読む
This is a set of MySQL UDFs (user defined functions) to work with memcached using libmemcached. With these functions you get, set, append, prepend, delete, increment, decrement objects in memcached, as well as set which servers to use and whi... 続きを読む
22:40 | RDBの復権はしばらくないと思う最近目にしたのは、これからRDBが十分速くなっていくので、memcachedに代わってRDBがまた使われるようになるという主張。これはしばらくの間は無いんじゃないかと思う。全データがオンメモリだったとしても、KVSはRDBより... 続きを読む
memcached 1.4の到来 第2回 バイナリプロトコルの扱い方 2009年9月9日 前坂徹 memcached, バイナリプロトコル, クライアントライブラリ, libmemcached, spymemcached, pylibmc, PECL memcached 1 2 株式会社ミクシィの前坂です。第1回でmemcached 1.4の簡単な... 続きを読む
memcached 1.4の到来 第1回 memcahed 1.4,基本の基本 2009年9月4日 前坂徹 memcached 今回は,1.4になってアップデートされた新機能を中心に紹介します。 memcachedとは? memcachedとは,主にデータベースへの負荷を下げ,かつWebアプリケーションのスケーラ... 続きを読む
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能... 続きを読む
<a href="http://pics.livedoor.com/u/mala__/3068445" target="_blank"><img src="http://img08.pics.livedoor.com/008/1/9/19667bbf0536a5374748-L.jpg" border="0"></a><br /> <a href="http://pics.livedoor.com/u/mala__/3068445" target="_blank"><img sr... 続きを読む
On a recent Symfony 1.0 project I’ve been working on, I noticed that there were quite a few pages that heavily made use of a particular database table that basically held a set of data that would rarely change. I thought it would be nice to ... 続きを読む
数日前にmemcached-1.4のリリース候補が出ましたので、今日はその最新版と、それを使ったメモリ節約の運用法を紹介します。厳密にいうと、ご紹介させていただくmemcachedのメモリ節約機能は1.3のbetaから存在し、過去にこちらで取り上げました。 memcached-1.4.... 続きを読む
PHP libmemcached - GREE Labsで公開したphp-libmemcachedのベンチマークをとってみました。 比較したのはPHPのmemcachedクライアントのPECL :: Package :: memcacheの3.0.1です。 PHPは5.2.6使ってます。 用いたベンチマークコードはこちらで、get()とset()を... 続きを読む
memcachedはその名の通り、メモリー上にデータを保存する。そのためデータの保存/取得はとても素早く行える。反面、そこに保存されているデータはおいそれと見ることができない。もちろんmemcachedクライアントからは見られるが、一覧で取り出したりすることは... 続きを読む
APCのWebインターフェースではキャッシュ使用率の円グラフが表示されますが、これを元にmemcacheの管理画面を作った方がいらっしゃるようです。For a long time I was looking for a nice web interface like the apc.php (comes with the apc’s source) that ... 続きを読む
アプリケーション側ではlocalhost:11211で一台に見えていて、裏側で複数台のmemcachedにproxyをして、分散アルゴリズムやノードの管理(サーバーの動的な追加/削除、fail over)を行ってくれるようなのがあると便利ではないか。 分散アルゴリズムが特定のライブラ... 続きを読む
memcached用のiostatみたいなのを書いた。 statsコマンドを2回発行して増加分を見れば秒間にどれぐらいread/writeがあるのかが分かるのだけれど、手動で数値をコピペしたりしながらやるのが面倒くさかったので自動化した。 最初はmemcached-toolを呼び出すよう... 続きを読む
PHP用の拡張ライブラリを提供するPECL(The PHP Extension Community Library)で、ソーシャルニュースサイト「digg」によるmemcachedモジュールが、1月29日に公開された。バージョンは0.1.0。libmemcachedクライアントライブラリのラッパーとして実装され、mge... 続きを読む
JSMemcached ClientThis project aims to create a feature complete JavaScript client for memcached that can be used over Jaxer. DependenciesJaxer SetupFirstly, include the script. <script type="text/javascript" src="path/to/jsMemcached.js" runa... 続きを読む
If you've read anything about scaling large websites, you've probably heard about memcached. memcached is a high-performance, distributed memory object caching system. Here at Facebook, we're likely the world's largest user of memcached. We u... 続きを読む
技術フェチ日記 (2008年 12月) 先月 へ 一覧へ 首藤のページへ 2008/12/14 (日) Facebook 社が memcached に加えた改良: Scaling memcached at Facebook 4点。 TCP 接続ごとのバッファを、スレッドごとに変更。 メモリ消費量を削減。 返答を返すために (受信用... 続きを読む
PHP, memcachePHPなんだから透過的にmemcachedとか扱えないとまずいでしょうということで。要はphp.iniに # hostname # hostname:tcpport # hostname:tcpport:udpport # [hostname] # [hostname]:tcpport # [hostname]:tcpport:udpport memcache.auto_connect_h... 続きを読む
libev? 多くの人がlibevの方がlibeventより早いし安定していると言っているのを聞くし、3倍速いことを示すベンチマークも見た。libevにする予定はある?という質問に対しての回答。libevには半信半疑なんだ。pollerの指定をいろいろやる必要があるし、graceful f... 続きを読む
Protocol -------- Clients of memcached communicate with server through TCP connections. (A UDP interface is also available; details are below under "UDP protocol.") A given running memcached server listens on some (configurable) port; clients... 続きを読む
長野雅広, 前坂徹, 池邉智洋, 福冨諭, 正野勇嗣 WEB+DB PRESS Vol.47の特集2「mixi,ニコニコ動画,livedoor [実例から学ぶ]memcachedベストプラクティス」で掲載した内容の元となった座談会の様子を動画でお送 りします。 長野雅広(ながの まさひろ) 株式... 続きを読む
Cache::Memcached::Fastを試す Perlの新しいmemcachedクライアント「Cache::Memcached::Fast」がでていたので試してみた 結論から言うと、これは使えそう。 まず、C::M::Fastはmemcached-1.2.4でサポートされた、append, prepend, cas, gets, gets_multiをサポ... 続きを読む
13:54最近じゃmemcachedを活用してデータベース(RDB)の負荷を下げるって話、そこらじゅうから聞こえてくるけれど、memcachedの活用は、格納オブジェクトの”粒度”(granularity)がキモだと思ってるですよ。memcachedは、KeyとDataをペアで格納して、Keyが与え... 続きを読む
memcached某サービスでセッション情報を保持するために利用しているmemcached(repcached)に障害が起こった。ちゃんと追えていないけど、おそらく以下のような原因。他の人がハマらないように。 障害発生まで memcached(repcached)の中には揮発したらそれなりに... 続きを読む
先日開催された memcached Night in Tokyo #1 というのに参加してきた。 http://groups.google.com/group/memcached-ja/web/memcached-night-in-tokyo-1 夕方6時開催という昨今の勉強会としては早めの開始時刻なので、あたふたと会社を出た。場所は原宿である。... 続きを読む
PHP libmemcached PHP libmemcachedは、libmemcachedをPHPから扱うための拡張モジュールです。 例によってPHP LICENSE 3.0に基づきオープンソースソフトウェアとして公開しています。 ダウンロード ソースコード ドキュメント ニュース [2008/09/18] PHP libmem... 続きを読む
クラスタリングに対応したコードがコミットされるとか何とかで、ローカルでアプリを起動するのにmemcachedなるものをインストールしなければならないらしい...と言う事でFFTT : memcached(特に、起動オプションの説明)memcachedをインストール(導入)する - ... 続きを読む
monorail-RC3 が mono1.2.4上で動いた 複数のエラーが複雑に絡み合って大変でした... monorail on mono でハマりまくる ( ̄□  ̄ || monorailで作ってるセカンドライフ... Mercurialでサーバにクローンを作る Mercurialっていう分散リポジトリ... Enyim Memcac... 続きを読む
The libevent API provides a mechanism to execute a callback function when a specific event occurs on a file descriptor or after a timeout has been reached. Furthermore, libevent also support callbacks due to signals or regular timeouts. libev... 続きを読む
memcachedを知り尽くす 第2回 memcachedのメモリストレージを理解する 2008年7月9日 前坂徹 memcached 1 2 3 株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmem... 続きを読む
memcachedは便利なんですが、専用のクライアントがないのでどんな項目がどれくらいキャッシュされているかどうかを簡単に知る方法はないようです。ということで、memcachedでどんな内容がキャッシュされているか確認するためのスクリプトを作ってみました。 † ... 続きを読む
memcachedの使い方(1) memcached+PostgreSQLで実現する ハイパフォーマンスWebアプリケーション構築 大規模Webサイトでの利用事例が公開されたこともあり、キャッシュサーバを使ったデータベースシステムが注目を集めつつあります。中でもmemcachedは多くの... 続きを読む
memcachedを知り尽くす 第1回 memcachedの基本 2008年7月2日 長野雅広 memcached 1 2 3 株式会社ミクシィ 開発部 システム運用グループの長野です。普段はミクシィのアプリケーション運用を担当しております。今回から数回にわたり,最近Webアプリケーションの... 続きを読む
memcachedの生みの親であるBradから了解を得た上で先日、memcached Users Group :: Japanというコミュニティを立ち上げました。 http://memcached.jp コミュニティに関して 目的は国内におけるmemcachedの普及と技術界隈の人たちが集まり、スケールに関する様々... 続きを読む
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン... 続きを読む
memcacheをsymfonyから利用してみました。 まずはyumを利用してmemcachedをインストールし、起動。 # yum install memcached # chkconfig --level 345 memcached on # /etc/init.d/memcached start phpからmemcacheにアクセスする環境をつくる。 # pecl install... 続きを読む
server, memcached, repcachedある程度でかいサービスでDailyCount的な事をやらなきゃいけなくなって、DBに突っ込むとログのお掃除や負荷が大変だからmemcachedでやりたいけど、落ちたらウザいしなー・・・って考えてたらrepcachedを思い出した。YAPC2008でもmi... 続きを読む
開発部・システム運用グループの長野です。5月15日・16日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2008に参加してきました。2日目にはセッションの時間を2つ頂いて、発表をしてきたのでその資料を公開します。 ■memcached in m... 続きを読む
なぜか最近になってまた動きが活発になってきた気がするmemcachedですが、ちょっと前(2007-12-06)にリリースされたmemcached 1.2.4からプロトコルコマンドが追加されました。 append prepend gets cas 今回は、これら新しく追加されたコマンドについて、軽く説... 続きを読む
みんな大好きなmemcached。今日はBrian AkerのC言語用クライエントライブラリについて書きたいと思います。日本語の情報がとても少なく、ドキュメンテーションも英語だけという事で興味はあるけど手をつけていないという方のお役に立てれたらなと思います。 本... 続きを読む
Flared (Yet Another Memcached) Flared(ふれあでぃー)は、memcachedと同様のプロトコルを持つ(ちょっと非互換なところもあります)分散ストレージサーバソフトウェアです、と書くと大げさですが、もうちょっと気軽なものです。 現在、GNU GENERAL PUBLIC LICENS... 続きを読む
先日、こちらの Erlang の世界ではmemcachedとか要らない を興味深く読ませて頂きました。 たしかにクライアント側も Erlang で書かれている場合、例えばキャッシュサー バーにアクセスを行う WEB アプリケーションも Erlang で書かれていれば Erlang のプロセ... 続きを読む
森川です。恥ずかしながらmemcacheを使うくらいならtmpfsとかMySQLのHEAPテーブルを使えばいいじゃん、などと思っていたのですが、今回簡単なベンチマークをやってみて心を入れ替えました。 はい、memcacheは偉大です。すごく速いです。 テストとして10万件のデ... 続きを読む
オブジェクトをメモリにキャッシュするデーモン。 動的ページを持つウェブアプリケーションの裏側で動くデータベースへの負荷を軽減させることを目的にデザインされている。 公式サイト memcached: a distributed memory object caching system 特徴 オブジェク... 続きを読む
■ Why storing session on memcached? 19:14 http://d.hatena.ne.jp/tokuhirom/20061216/1166231736 memcached の開発元でもある Six Apart ですが、Vox/LJ ではセッションを memcached にいれてはいません。理由は簡単で memcached は比較的小さなデータを格... 続きを読む
http://diary.lampetty.net/20061211.html#p01web application のセッションの管理に mysql などの RDBMS を使わないで memcached を使うのはなぜでしょう。最近モバイルファクトリーや LD は memcached を使ってます。なぜそういう判断なのでしょう。MySQL で... 続きを読む