q4m-balancer - D-6 [相変わらず根無し]
至極簡単なハックなんだけど、q4m-balancerというスクリプト書いてみた。シナリオとしては、(1) q4mが複数あって、(2)それぞれに繋がってるワーカーの数・処理能力にバランスの不整合があって (3) キューの中身について処理順番等が関係ない、という状況においてq4mに入っているメッセージの数にかたよりが見られている状態をある程度改善するスクリプト。 入っているメッセージ数が最大のキューと最小のキューの差が 最大 ＞ 最小 * 2 だった場合に最大のほうのキューの中身を40%最小のほうに移す、ってだけ。グラフを見れば分かるとおり、右側のほうにグラフの内容がイーブンになっているのが見えると思う。これを定期的に動かす事によって処理能力の高いワーカーのほうにより処理を任せられる。 まぁくだらないっちゃくだらないですが、ワーカーを遊ばせておくのもあほらしいのでちょっと書いてみた次第。
Q4Mインストールメモ - Road To Nowhere
Q4Mをインストールしようとして調べたところたくさんの情報が見つかったけど、 みなさんけっこう苦労されていて、さらに解決方法も各々で定まっていない様子。 傾向として、MySQLやQ4Mをソースからインストールすると手こずるようだったので、 MySQLをrpmでインストール後、Q4Mのバイナリ版をMySQLに組み込むという方法でインストールした。 環境 CentOS 5.7 Q4M 0.9.5 MySQL 5.1.55 (2011/11/30現在、Q4M 0.9.5が対応している最新) MySQLのインストール MySQL5.1.55のrpmを以下のページからGET。 MySQL :: MySQL Product Archives 最低限必要なのは「MySQL-server-community-xxx」と「MySQL-client-community-xxx」 それとunameなどを見て環境
Q4Mを簡単に導入する方法 - MySQL Casual Advent Calendar 2011 - blog.nomadscafe.jp
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
これで完璧！Q4MをCentOS5.4にインストールしphpで実行する方法！ - @camelmasaの開発日記
前回の記事では中々満足のいく結果が出せませんでした。 Q4MをCentOS5.4にインストールしphpで実行しました。 - @camelmasaの開発日記 もっと簡単にQ4Mをインストールし、かつ前回出来なかったphpからqueue_abort()を出来るようにしたいと思います。 環境 OS:CentOS5.4 MySQL:5.1.43 Q4M:q4m-0.9 PHP:5.3.1 PHP5.3.1とMySQL5.1.43をyumでインストール PHP5.3.1でなくても良いのですが、前回PDOからqueue_abort()が出来なかったので、今回はopenpearで提供されているNet_Q4Mを使用したいと思い、PHP5.3.1をインストールします。 (Net_Q4Mはphp5.2.0以上が必要) MySQL5.1.43はQ4MがMySQL5.1以上が必要ということですのでyumからインス
Q4M に障害が発生し弊社ではどうも解決できそうにないので Q4M... — Bigegg Lab
Q4M に障害が発生し弊社ではどうも解決できそうにないので Q4M の作者の奥一穂さんに相談させてもらいました。 その際は、デッドロックのバグを踏んでいる可能性があるので Q4M を 0.9.1 以上のものしてみてはどうかと返答を頂きました。 弊社では 64bit 環境であった為、0.9.2 は除外され、0.9.3 は新しすぎるので 0.9.1 を採用することにし、バージョンアップ後に障害もなく安定稼働を続けています。 そんな経緯もありまして、先日弊社に奥一穂さんが来社されることになり Q4M について10ページ程のスライドで Q4M の現状とこれからを紹介して頂いたり、弊社からいくつか質問をさせて頂く機会がありましたので今回は弊社からの質問とその回答をご紹介したいと思います。 queue_end() を呼ぶ頻度とデッドロックについて ウ：（Q4M 0.9.0 の環境で）障害が起きたサービ
q4m の configure のオプションによる速度の違い - kameidの備忘録 - Sharpen the Saw!
q4m の configure のオプション変更によってどの程度パフォーマンスに違いが出るのか比較してみた。 Intel(R) Xeon(TM) CPU 2.80GHz x 4 CPU OS : Debian(Etch) まずは、default 状態。 ./configure --with-mysql=/home/kameid/mysql-5.1.30/ --prefix=/usr/local/mysql 暗黙的に、以下のオプションを指定していることになる。 --with-sync=yes commit to disk at checkpoints (default) --with-delete=pwrite use pwrite for row deletions (default) t/05-multireader..........................ok 1/4 Mul
CentOS 5.2 MySQL 5.1.44にQ4Mを入れる - イノベートな非日常
Q4Mはサイボウズラボの奥 一穂氏が開発した、MySQLのストレージエンジンとして使用できるメッセージキューです。詳細については以下のウノウラボさんの記事が参考になりますので、こちらをご覧ください。 Q4Mを触ってみる インストールの前提条件として、MySQLのソースがconfigureまで通っていることが前提になります。でないと以下のようなエラーが出ます。こちらは、MySQL + Q4M インストール ハマリどころまとめさんのエントリーで--with-mysqlの指定が間違っている時と同じエラーが出ます。これはapacheとphpの関係と同じで先にapacheのconfigureを通しておくという奴ですね。*1ここでは過去エントリーCentOS 5.2 MySQL 5.1.44にSpiderを入れるでMySQL 5.1.44のソースがconfigureまで通っている前提です。 error
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
ファイルに変更があったら再起動してくれるコマンド - TokuLog 改めB日記
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
MacPortsのMySQLにQ4Mをインストールする方法
皆さん、こんばんは。笹亀です。 本日はブログを書くために環境をつくっているときに、間違えてMacPortでインストールしたものを削除してしまいました；； 悲しさとむなしさと戦いながらも本日のブログをお届けさせていただきます。 ※そのため、内容はちょっと少なめになっています。ごめんなさい 今年のPHPカンファレンスでもQ4Mの発表があり、いつか使う日が来るだろうと思い、 個人的にもとても興味があったので実際に使ってみたいくなりました。 Q4M (Queue for MySQL) は MySQL 5.1 のプラガブル・ストレージ・エンジンとして動作するメッセージキューであり、堅牢・高速・柔軟であるよう設計されています。(転載させていただきました 早速インストールをと思ったのですが、上記のこともあり、今回はインストールのみの紹介です。 特にMacPortsでMySQLをインスールしていて、そのM
Q4Mをソースからインストールしてみたメモ - download_takeshi’s diary
mysql5.1もようやくStableになったことですし、うれしいので話題のQ4Mをインストールしてみました。 今回はソースからコンパイルしてみました。 以下、その際のインストールメモです。 今回インストールするのは各々このバージョンです。 * mysql-5.1.30.tar.gz * q4m-0.8.3.tar.gz mysqlのインストール まずは mysql-5.1.30 です。適当にコンパイルしてください。 configreに渡すオプションは用途によって色々代わると思いますが、今回はこんなパラメータでconfigureしました。 $ ./configure \ --prefix=/usr/local/mysql \ --libexecdir=/usr/local/mysql/bin \ --sbindir=/usr/local/mysql/sbin \ --with-charse
バイナリ版Q4Mインストールメモ : blog.nomadscafe.jp
バイナリ版Q4Mインストールメモ バイナリ版のQ4Mをインストールしたときのメモ バージョンは、MySQL-5.1.26とQ4M-0.8.3。OSはFedora8@x86_64 MySQL オフィシャルのrpmを利用します。 MySQLのサイトだと5.1.28になっているので適当なミラーから5.1.26を探してくる。 http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-5.1/ MySQL-client-5.1.26-0.glibc23.x86_64.rpm MySQL-server-5.1.26-0.glibc23.x86_64.rpm MySQL-shared-compat-5.1.26-0.glibc23.x86_64.rpm をダウンロードしてきてインストール Q4M Q4Mのサイトにファイルがあるので落としてくる http://q4
Kazuho@Cybozu Labs: MicroblogCon1 の報告と Q4M 0.8.1 リリースのお知らせ
« Q4M バージョン 0.8 をリリースしました | メイン | Q4M 0.8.3 をリリースしました (含 FreeBSD サポート) » 2008年08月30日 MicroblogCon1 の報告と Q4M 0.8.1 リリースのお知らせ 先日 (8/27 水) 、弊社を会場にして、マイクロブログのサービス開発やそのミドルェアに関するカンファレンス「MicroblogCon1」を開催いたしました。スピーカーの方々、お越しいただいた方々、ありがとうございました (当日の模様は coji さんが撮影して中継、techtalk.jp にて公開してくださっています。 ありがとうございます) 。奥はその中で、Q4M の概論から入門的な話をしたので、興味のある方はスライドをご覧ください。
Kazuho at Work: Q4M Presentation Slides at MySQL Conference
Today at MySQL Conference & Expro 2009, I did a presentation introducing / explaining Q4M. Thank you to people who came to listen. The presentation slides I used can be found on slideshare (slideshare). Tomorrow (Apr 23) from 6:10pm, I will be doing another presentation at Percona Performance Conference, held at the same location, to describe the techniques (mainly MySQL UDFs) used to squeeze maxi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PresenTitlePlaceHolder