q4m-balancer - D-6 [相変わらず根無し]
q4m-balancer 2012年3月29日 11:22 D | ブログ記事のURL | コメント(0) | トラックバック(0) 至極簡単なハックなんだけど、q4m-balancerというスクリプト書いてみた。シナリオとしては、(1) q4mが複数あって、(2)それぞれに繋がってるワーカーの数・処理能力にバランスの不整合があって (3) キューの中身について処理順番等が関係ない、という状況においてq4mに入っているメッセージの数にかたよりが見られている状態をある程度改善するスクリプト。 入っているメッセージ数が最大のキューと最小のキューの差が 最大 ＞ 最小 * 2 だった場合に最大のほうのキューの中身を40%最小のほうに移す、ってだけ。グラフを見れば分かるとおり、右側のほうにグラフの内容がイーブンになっているのが見えると思う。これを定期的に動かす事によって処理能力の高いワーカーのほう
Q4Mを簡単に導入する方法 - MySQL Casual Advent Calendar 2011 - blog.nomadscafe.jp
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
Unbuntu 9.10 Server に MySQL 5.1 と InnoDB Plugin と Q4M をインストール。 - One By One - norizo333's Blog -
MySQLはソースからではなく、aptitudeでdpkg版を入れて、それにInnoDB PluginとQ4Mをインストールする。 MySQLインストール $ sudo aptitude install mysql-server libmysqlclient16-dev 途中でrootパスワードの設定を求められので、入力すると完了。 Ubuntu 9.10 からはMySQL 5.1が標準でインストールされる。リリースノート和訳 libmysqlclient16-devもMySQL関連の諸々をインストールしたりする際に必要なので、インストールしといた方が俄然良い。 インストールされたバージョンは5.1.37。 $ dpkg -l | grep mysql ii libdbd-mysql-perl 4.011-1ubuntu1 A Perl5 database interface to the
レプリケーションとQ4Mを使う - JPerl Advent Calendar 2009
レプリケーションとQ4Mを使う - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ レプリケーションを使う MySQL にはレプリケーション機能があるのはとても知られている事です。 レプリケーションの無い MySQL は、ブラウン管の無いブラウン管テレビくらいの物でしょう。 そして ORM でも切っても切れない物では無いでしょうか。 Data::ObjectDriver でも livedoor のどっかのサービスで自作 Driver 書いて使ってるとか DBIC の世界でも DBIx::Class::Storage::DBI::Replicated なんて物があるようです。 もちろん Data::Model でも対応しています。 Driver::DBI::MasterSlave です。 Driver::D
Building High-Scalable Web Applications Using Q4M and Flare
Loading... Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. Building High-Scalable Web Applications Using Q4M and Flare - Presentation Transcript Q4M Flare Building High-Scalable Web Applications Using Q4M and Flare Fillmoreadvisory,Inc. Yusuke Hata Fillmoreadvisory,Inc. 2009.9.5 Fillmore Advisory About me
初めての Q4M, Test::mysqld を使ったテストの準備 - 日向夏特殊応援部隊
id:kazuhooku さんの指摘 *1 を受けて transaction してた所を修正。AutoCommit をとりあえず 1 にしておきました。 #!/usr/bin/perl use strict; use warnings; use DBI; use Perl6::Say; use SQL::Abstract; use SQL::Abstract::Plugin::InsertMulti; use Test::More; use Test::mysqld; my $m = Test::mysqld->new( my_cnf => +{ 'skip-networking' => '', }, ); my $dbh = DBI->connect('dbi:mysql:dbname=test;mysql_socket=' . $m->base_dir . '/tmp/mysql.so
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more documents from nowelium. Ustreamはこの辺 ref - http://www.ustream.tv/recorded/2107541 いくつか質問があったものは、別途書きます
Kazuho at Work: Q4M Presentation Slides at MySQL Conference
Today at MySQL Conference & Expro 2009, I did a presentation introducing / explaining Q4M. Thank you to people who came to listen. The presentation slides I used can be found on slideshare (slideshare). Tomorrow (Apr 23) from 6:10pm, I will be doing another presentation at Percona Performance Conference, held at the same location, to describe the techniques (mainly MySQL UDFs) used to squeeze maxi
Index of /dist
Name Last modified Size Description Parent Directory - mysql-5.1.55-linux-i..> 02-Mar-2011 15:53 6.4M mysql-5.1.55-linux-x..> 25-Feb-2011 13:41 4.2M mysql-5.1.55-linux-x..> 25-Feb-2011 13:45 4.2M old/ 27-Mar-2013 12:52 - pre/ 14-Sep-2011 17:04 - q4m-0.9.10.tar.gz 21-May-2013 18:39 1.6M q4m-0.9.11.tar.gz 27-Jan-2014 18:23 1.6M q4m-0.9.12.tar.gz 30-Jan-2014 14:07 1.6M q4m-0.9.13.tar.gz 06-Feb-2014 1
[東京] microblog conference #1の動画 - TechTalk.jp
2008年8月27日にサイボウズ・ラボを会場として開催された Microblog conference#1 でのTech Talksを録画した動画をニコニコ動画にアップロードしました。 【ニコニコ動画】Microblog Conference #1 以下、個別の動画へのリンクです。 サービサー講演 【ニコニコ動画】Inside Echo - kazeburo 【ニコニコ動画】Queueueueueue - tokuhirom ミドルウェア講演 【ニコニコ動画】memchached pluggable engine concept - tmaesaka 【ニコニコ動画】Q4M a high perfomance message queue for MySQL - kazuho LT 【ニコニコ動画】クライアントアプリの矜持 - kan 【ニコニコ動画】acotieのドキドキPerlプロ
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
mixi Engineers’ Blog » 期間限定の新機能「エコー」登場
こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます。 http://mixi.jp/guide_echo.pl いくつか抜粋しますと、 あなたの"今"を一言にしてみませんか？誰かに伝えたいこと、ひとりごと等、何でもOK！ 気軽な新コミュニケーション機能です。 たとえば、「今日はいい天気だな〜」という、ひとりごとから、「お腹すいたー！誰かランチにいこうよ！」というメッセージ的な使い方まで、「エコー」の楽しみ方はあなた次第！ マイミクシィ同士で「エコー」を使うとホームにお互いの書きこみが表示されます。 気になった書きこみには、返信することもできちゃいます。あなたがふと書きこんだ一言に、思わぬ返
D-6 [相変わらず根無し] - Mvalveリリース
Mvalveリリース Mvalveという物をリリースしてみました。読み方は・・・「ムバルブ」かな。要はMessage Valveです。多分初めて？の半分以上共作なCPANモジュールです。 MvalveはQ4Mをベースにしたスロットリング機能付きメッセージパイプです。主な機能としては (1) スロットリングの影響を全く受けない「緊急キュー」 (2) 普通メッセージのスロットリング (3) スロットリングされたメッセージのリキュー を簡単なインターフェースで実現します。 まだドキュメントとかなんもないので色々コメントいただけるとありがたいです。ソースコードはcodereposに置いてあります。 カテゴリ 開発 2008年7月 7日 14:57 D | ブログ記事のURL | コメント(1) | トラックバック(0) |
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/08/microblogcon1_q4m_081.php
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/05/road_to_mq_with_q4m.php