mixi の年末年始対策 2009-2010 - mixi engineer blog
こんにちは。パートナーサービス部の加藤和良です。 2008年末に、mixi の年末年始対策について紹介しました。今回は、ここ数年の年末年始対策の歩みと、今年の対策について紹介したいと思います。実をいうと、設計も実装も自分じゃなかったりするのですが、このまま歴史に埋もれていくのも悲しいので、関係各所に取材してみました。 2008年末をふりかえる まずは、2008年末をふりかえってみましょう。 あのころはまだ mixi の機能も少なく、年末年始の負荷は主に日記に集中していました。そこで当時は ID Generator の改善 - mod_perl をあいだにはさんで MySQL への接続本数を減らす 最新情報DBへの書き込みを非同期に - Q4M をつかって負荷を時間軸で分散する という2つを日記に実装したのでした。 しかし、2008年末から2009年のお正月にかけて、mixi はまたも日記に
Kazuho at Work: Q4M - 0.6 release and benchmarks
Today I have uploaded Q4M (a Queue for MySQL) 0.6, which is basically a performance-improvement from previous releases. Instead of using pread's and a small user-level cache, Q4M (in default configuration) now uses mmap for reads with a reader/writer lock to improve concurrency. I also noticed that it would be possible to consume a queued row in one SQL statement. SELECT * FROM queue_table WHERE q
q4m にまつわる適材適所 - kameidの備忘録 - Sharpen the Saw!
サイボウズ奥さん作の q4m を職場で提案。 jdbc で接続するのはちょっと・・・という意見が出たので、一個ラッパーを挟むことにして、無事職場で導入されそうだ。 ラッパーは apache の mod で作成した。単純にキュー投入リクエストを受け取り q4m に投入するだけの簡単なもの。とはいえ内部で mod_dbd を使用したコネクションプーリングも行い、(apache 上で動作させているため)ログ出力等の周辺機能もプラガブルに追加、変更可能だ。apache を使わずこれらを作り込むのは結構大変だ。 これでキューへのデータ投入に関しては単純な http リクエストで行えるということになる。 php でも servlet でも cgi でも簡単に作れるこの機能をあえて apache の mod で作成したのは、パフォーマンスを一番期待できるのではと考えてのこと。ラッパーがボトルネックになる
q4m の configure のオプションによる速度の違い - kameidの備忘録 - Sharpen the Saw!
q4m の configure のオプション変更によってどの程度パフォーマンスに違いが出るのか比較してみた。 Intel(R) Xeon(TM) CPU 2.80GHz x 4 CPU OS : Debian(Etch) まずは、default 状態。 ./configure --with-mysql=/home/kameid/mysql-5.1.30/ --prefix=/usr/local/mysql 暗黙的に、以下のオプションを指定していることになる。 --with-sync=yes commit to disk at checkpoints (default) --with-delete=pwrite use pwrite for row deletions (default) t/05-multireader..........................ok 1/4 Mul
Infosia, Inc. » Blog Archive » Q4M on Debian(Etch) インストール記録
インフォシアでは、UNIXプラットフォームを中心とし、Java、C#、PHP 等を利用したソフトウェアの開発を行っています。 インストールしたての Debian(Etch) に Q4M(Message Queue for MySQL) をインストールしてみたのですが、思いの外ハマったので記録しておきます。 1. MySQL 5.1 インストール まず Q4M のインストールには MySQL 5.1 が必要なのでインストール。 現時点で最新の mysql-5.1.28 を取ってきました。ここは普通に mysql のインストール方法に従ってインストール。 http://dev.mysql.com/doc/refman/5.1/en/installing-binary.html 簡単簡単。 2. MySQL 5.1 ソースの準備 Q4M にはバイナリが用意されているのでこれを使おうとしたのですが
オープンソース開発者がDeNAを選ぶ理由
This document discusses the history and capabilities of Q4M, an open-source message queue plugin for MySQL. It was created in 2008 by Cybozu to provide a robust, fast messaging system accessible via SQL. Major Japanese companies like DeNA, Livedoor and Mixi use Q4M for asynchronous communication between services. The document also covers related projects like Mycached, a memcached-like plugin, and
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Q4M - a Message Queue for MySQL - Google Groups
Index of /dists/squeeze/mysql-dfsg-5.1/5.1.55/binary-amd64/
Q4Mのインストール(ソースから) [yagniki]
mixi Engineers’ Blog javascript