オープンソース開発者がDeNAを選ぶ理由
This document discusses the history and capabilities of Q4M, an open-source message queue plugin for MySQL. It was created in 2008 by Cybozu to provide a robust, fast messaging system accessible via SQL. Major Japanese companies like DeNA, Livedoor and Mixi use Q4M for asynchronous communication between services. The document also covers related projects like Mycached, a memcached-like plugin, and
Inside mbga Open Platform API architecture
The document describes a load balancer distributing requests across multiple lighttpd web servers running fastcgi applications. It also shows databases for user profiles and messages with memcached caching. Messages are enqueued into a message queue processed by worker processes and inserted into a replicated message database with a slave for high availability. Cached messages from previous lookup
YAPC Asia 2010 でのスライド公開と補足、あと感想など - 日向夏特殊応援部隊
はい、@941 さんを初めとして、@lestrrat さん、JPA の皆様って僕もですけど、それとボランティアスタッフの皆さん、スピーカーの皆さん、ご来場者の皆さん3日間お疲れ様でした。そして、今年も盛り上がりましたね。 さて、後半だいぶ時間が押して早口になってしまいましたが当日のスライドを公開します。 Inside mobage platformView more presentations from zigorou. さてと特に後半の Q4M を複数台構成にした際の負荷のばらつきですが、INSERT の方は DNSRR とかでやればいいのですが、queue_wait() して実際に何かタスクを実行する際に、処理時間に偏りがある場合、queue_wait() の sleep が無視出来なくなって片側に接続が偏ってしまう現象が何度か起きました。 これを解決するために、ひとつのQ4Mに接続す
Unbuntu 9.10 Server に MySQL 5.1 と InnoDB Plugin と Q4M をインストール。 - One By One - norizo333's Blog -
MySQLはソースからではなく、aptitudeでdpkg版を入れて、それにInnoDB PluginとQ4Mをインストールする。 MySQLインストール $ sudo aptitude install mysql-server libmysqlclient16-dev 途中でrootパスワードの設定を求められので、入力すると完了。 Ubuntu 9.10 からはMySQL 5.1が標準でインストールされる。リリースノート和訳 libmysqlclient16-devもMySQL関連の諸々をインストールしたりする際に必要なので、インストールしといた方が俄然良い。 インストールされたバージョンは5.1.37。 $ dpkg -l | grep mysql ii libdbd-mysql-perl 4.011-1ubuntu1 A Perl5 database interface to the
MacPortsのMySQLにQ4Mをインストールする方法
皆さん、こんばんは。笹亀です。 本日はブログを書くために環境をつくっているときに、間違えてMacPortでインストールしたものを削除してしまいました；； 悲しさとむなしさと戦いながらも本日のブログをお届けさせていただきます。 ※そのため、内容はちょっと少なめになっています。ごめんなさい 今年のPHPカンファレンスでもQ4Mの発表があり、いつか使う日が来るだろうと思い、 個人的にもとても興味があったので実際に使ってみたいくなりました。 Q4M (Queue for MySQL) は MySQL 5.1 のプラガブル・ストレージ・エンジンとして動作するメッセージキューであり、堅牢・高速・柔軟であるよう設計されています。(転載させていただきました 早速インストールをと思ったのですが、上記のこともあり、今回はインストールのみの紹介です。 特にMacPortsでMySQLをインスールしていて、そのM
Kazuho@Cybozu Labs: Parallel::Prefork - Perl でマルチプロセスなサーバを書く方法
« Q4M (Queue for MySQL) 0.3 リリース | メイン | Q4M Version 0.4 で高速なクローラを書いてみた » 2008年04月04日 Parallel::Prefork - Perl でマルチプロセスなサーバを書く方法 Perl でマルチプロセス処理を行う場合は Parallel::ForkManager を使うというのが定番かと思います。しかし、このモジュールはシグナル処理を前提とした作りになっていない注1ため、シグナルを受信するまで動き続けるようなサーバを書きづらい、という問題がありました。 そこで、Parallel::ForkManager の API は、ほぼそのままに、シグナル処理が可能なプロセス管理モジュールを作ることにしました。それが Parallel::Prefork です。Parallel::Prefork を使うことで、Gracef
ウノウラボ Unoh Labs: Q4Mを触ってみる
yukiです。そろそろクリスマスですね。みんな浮かれていればいいと思います！最近急に目が悪くなって、ツリーの赤色電球と居酒屋の赤提灯の色が判別出来なくなってきました。嘘です。 今回は、みんな大好きメッセージキュー、Q4Mを触ってみた感想を今更ながらレポートします。 公式ページはこちらhttp://q4m.31tools.com/ Q4Mはサイボウズラボの奥 一穂氏が開発されており、MySQLの5.1以上でストレージエンジンとして利用できるメッセージキューで、MySQLプラグインとしてGPLライセンスで配布されております。 特長 MySQLのストレージエンジンとして利用できるので、テーブル作成時にストレージエンジンを指定するだけで利用できます。 CREATE TABLE hoge ( ... ) ENGINE = QUEUE キューの作成(enqueue)は通常のレコード操作と同様にINSE
Test::mysqld で Q4M のテストを書く方法 - kazuhoのメモ置き場
yappo perl, test, memcached Test::memcached もほすい Test::Q4M もほすぃ Test::Pg もほすい はてなブックマーク - yappoのブックマーク / 2009年8月10日 Test::Pg は書いた。memcached は個人的に需要がない。Q4M のテストなら、こんな感じで書けます。 use strict; use warnings; use DBI; use Test::More; use Test::mysqld; my $mysqld = Test::mysqld->new( my_cnf => { skip_networking => '' }, ) or plan skip_all => $Test::mysqld::errstr; { # setup my $dbh = DBI->connect( 'DBI:mysq
初めての Q4M, Test::mysqld を使ったテストの準備 - 日向夏特殊応援部隊
id:kazuhooku さんの指摘 *1 を受けて transaction してた所を修正。AutoCommit をとりあえず 1 にしておきました。 #!/usr/bin/perl use strict; use warnings; use DBI; use Perl6::Say; use SQL::Abstract; use SQL::Abstract::Plugin::InsertMulti; use Test::More; use Test::mysqld; my $m = Test::mysqld->new( my_cnf => +{ 'skip-networking' => '', }, ); my $dbh = DBI->connect('dbi:mysql:dbname=test;mysql_socket=' . $m->base_dir . '/tmp/mysql.so
Kazuho@Cybozu Labs: MySQL Conference & Expo 2009 に参加してきました
« FreeBSD の ptrace ではサンドボックスを作れないという話 | メイン | ブログ移転のおしらせ » 2009年04月30日 MySQL Conference & Expo 2009 に参加してきました 先週一週間、MySQL Conference & Expo 2009 に参加してきました。ほとんどのキーノートのビデオや一部のセッションの資料は公開されているようなので、それ以外、全体からうけたイメージなどについて、つらつらと。 サービスをスケールアウトする話は、意外と聞かなかったように思います。今回が初参加だったので間違っているのかもしれませんが、単純な「スケールアウトできるよね」という話ではなく、むしろ、アプリケーションデベロッパに負担をかけずにスケールアウト (もしくはスケールアップ) するデータベースを、どのように作るか、というところが盛り上がっていたように思います
YappoLogs: Q4MをMacPortsのMySQL環境に入れる方法
Q4MをMacPortsのMySQL環境に入れる方法 macportsでmysql入れると /opt/local/lib/mysql5/mysql とかいう独創的な所にライブラリが入るので、そのまんまのQ4Mのconfigureじゃ./configureすら上手く動かないし、ググっても良くわからないのでてっとり早くconfigure.inを書き換えたよ。 パッチはhttp://gist.github.com/94339から 実行令とかは下記の通り。 $ patch < ../for-macports.patch $ autoconf # include ディレクトリを追加するのが必要 $ CPPFLAGS=-I/opt/local/include ./configure --with-mysql=/opt/local/var/macports/sources/rsync.macports.
バイナリ版Q4Mインストールメモ : blog.nomadscafe.jp
バイナリ版Q4Mインストールメモ バイナリ版のQ4Mをインストールしたときのメモ バージョンは、MySQL-5.1.26とQ4M-0.8.3。OSはFedora8@x86_64 MySQL オフィシャルのrpmを利用します。 MySQLのサイトだと5.1.28になっているので適当なミラーから5.1.26を探してくる。 http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-5.1/ MySQL-client-5.1.26-0.glibc23.x86_64.rpm MySQL-server-5.1.26-0.glibc23.x86_64.rpm MySQL-shared-compat-5.1.26-0.glibc23.x86_64.rpm をダウンロードしてきてインストール Q4M Q4Mのサイトにファイルがあるので落としてくる http://q4
myfinder's blog: Q4Mを使うときにやってはいけない一つのこと
ある日Q4Mを利用したシステムを運用していたところ、プログラマの方から 「Q4Mのテーブルが壊れたっぽいのだけども。。。」 との報告があり、状況を聞いてみた。 どうも、Queueに突っ込んだけども処理したくないデータがあったという理由で一部の行をDELETEしたとのこと。 で、早速DBを調べてみると、全部queue_waitで取り出したにも関わらず行数が0にならなかったり、 発行しているqueue_endが実行されずにずっとプロセスが残っていたりして大変カオスな状態になっていた。 (insertも止まっていた) その場ではMySQLを強制的に再起動して、tableやschemaをdropして再作成してもらうことでことなきを得た。 が、今日帰ってきてQ4Mのページを見て謎が解決。 Q4Mの「Limitations and Known Issues」に removal of multiple
q4m を debian にインストール - kameidの備忘録 - Sharpen the Saw!
会社の debian にインストールしようとしたところ、 異なるエラーが出たため、一応記録しておく。 # ./configure --with-mysql=/home/kameid/mysql-5.1.30/ --prefix=/usr/local/mysql checking for mysql source code... "/home/kameid/mysql-5.1.30/" checking for int*... yes checking size of int*... configure: error: cannot compute sizeof (int*), 77 See `config.log' for more details.もーほんまナニコレって感じなんだけど、 http://www.infosia.co.jp/posts/249 ここ見つつ、一個ずつ解決していっ
Q4Mをソースからインストールしてみたメモ - download_takeshi’s diary
mysql5.1もようやくStableになったことですし、うれしいので話題のQ4Mをインストールしてみました。 今回はソースからコンパイルしてみました。 以下、その際のインストールメモです。 今回インストールするのは各々このバージョンです。 * mysql-5.1.30.tar.gz * q4m-0.8.3.tar.gz mysqlのインストール まずは mysql-5.1.30 です。適当にコンパイルしてください。 configreに渡すオプションは用途によって色々代わると思いますが、今回はこんなパラメータでconfigureしました。 $ ./configure \ --prefix=/usr/local/mysql \ --libexecdir=/usr/local/mysql/bin \ --sbindir=/usr/local/mysql/sbin \ --with-charse
ハタさんのブログ : Q4Mのビルド(CentOS 5.2 と OSX)
Q4Mのアイディアがとても面白そうなので、使ってみることにしました。 が、ビルドに色々つまづいたので、メモ。かれこれ2週間くらい前のログなので、微妙にバージョンが違ってたら申し訳ないです。 CentOS 5.2 に入れる CentOS を使っているので、これに入れるログ 既にインストール済みのMySQLをアンインストール とりあえず、キレイにしておきました。 hata@local ~/local/rpms/mysql5> sudo yum remove mysql Resolving Dependencies --> Running transaction check ---> Package mysql.x86_64 0:5.0.45-7.el5 set to be erased --> Processing Dependency: libmysqlclient.so.15()(64b
Infosia, Inc. » Blog Archive » Q4M on Debian(Etch) インストール記録
インフォシアでは、UNIXプラットフォームを中心とし、Java、C#、PHP 等を利用したソフトウェアの開発を行っています。 インストールしたての Debian(Etch) に Q4M(Message Queue for MySQL) をインストールしてみたのですが、思いの外ハマったので記録しておきます。 1. MySQL 5.1 インストール まず Q4M のインストールには MySQL 5.1 が必要なのでインストール。 現時点で最新の mysql-5.1.28 を取ってきました。ここは普通に mysql のインストール方法に従ってインストール。 http://dev.mysql.com/doc/refman/5.1/en/installing-binary.html 簡単簡単。 2. MySQL 5.1 ソースの準備 Q4M にはバイナリが用意されているのでこれを使おうとしたのですが
棚からパルチャギ
…ので、そのメモ書き。 http://q4m.31tools.com/ MySQL5.1をインストールする 5.1系はまだdevelにしかないので、5.0系をインストールしている場合はdeactivateする。 データベースの初期化とかパスワードの設定とか自動起動とかの諸々は割愛。 $ cd /ur/local/src $ wget http://q4m.31tools.com/dist/q4m-0.8.3.tar.gz $ tar -zxf q4m-0.8.3.tar.gz $ cd q4m-0.8.3 $ ./configure --prefix=/opt/local/lib/mysql5/mysql --includedir=/opt/local/include ... checking for mysql source code... configure: error: "no m
Q4M人柱その２ - D-6 [相変わらず根無し]
Q4M人柱その２ rev40のq4mを使ってベンチマーク。といっても単純にSELECTとINSERTのベンチのみ。 use strict; use warnings; use DBI; use Time::HiRes qw(time); my $TEST_ROWS = $ENV{TEST_ROWS} || 1024; my $dbh = DBI->connect( $ENV{DBI} || 'dbi:mysql:database=test;host=localhost', $ENV{DBI_USER} || 'root', $ENV{DBI_PASSWORD} || '', ) or die 'connection failed:'; $dbh->do('drop table if exists q4m_t'); $dbh->do('create table q4m_t (v int n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kazuho@Cybozu Labs: メッセージキュー事始め with Q4M