mixi Engineers’ Blog » mixi の年末年始対策 2009-2010
61 users
こんにちは。パートナーサービス部の加藤和良です。 2008年末に、mixi の年末年始対策について紹介しました。今回は、ここ数年の年末年始対策の歩みと、今年の対策について紹介したいと思います。実をいうと、設計も実装も自分じゃなかったりするのですが、この... 続きを読む
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
45 users
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more docum... 続きを読む
Queue::Q4Pg::Lite を書いた - 酒日記 はてな支店
19 users
PostgreSQL で簡易に MQ - Mi manca qualche giovedi`? を読んで、こりゃ素晴らしいと思ったので Perl モジュール化しました。simple message queue using PostgreSQL.http://github.com/fujiwara/perl-queue-q4pg-lite/tree/master割と簡易な Message Queue と... 続きを読む
Kazuho at Work: Q4M Presentation Slides at MySQL Conference
42 users
Today at MySQL Conference & Expro 2009, I did a presentation introducing / explaining Q4M. Thank you to people who came to listen. The presentation slides I used can be found on slideshare (slideshare). Tomorrow (Apr 23) from 6:10pm, I will b... 続きを読む
myfinder's blog: Q4Mを使うときにやってはいけない一つのこと
18 users
2009年2月12日 Q4Mを使うときにやってはいけない一つのこと ある日Q4Mを利用したシステムを運用していたところ、プログラマの方から 「Q4Mのテーブルが壊れたっぽいのだけども。。。」 との報告があり、状況を聞いてみた。 どうも、Queueに突っ込んだけども処理... 続きを読む
Moose と Mouse と QueueQ4M(0.00018) - 日々のこと
2 users
私信になりますが、改めてという意味で別記事で。あと、はてなのアカウント持っていないので。 QueueQ4M (0.00018) 動いてます。 Any::Moose - 0.05 Moose - 0.72 Mouse - 0.17 Queue::Q4M - 0.00018 の環境ですっごい動いてます。 本来ならパッチを送りたいと... 続きを読む
mixi Engineers’ Blog » mixiの年末年始対策 日記投稿システムの改善
185 users
朝晩冷えてきましたね。風邪など引いていませんでしょうか。さて、年末が近づいてくるこの時期に弊社のエンジニアが最も気になるのは、お正月。それも来年1月1日を迎えた瞬間です。 1日1日0時に何があるのでしょう？そう、mixiのサービスで最も日記が書き込まれ... 続きを読む
Q4Mをソースからインストールしてみたメモ - ダウンロードたけし（寅年）の日記
37 users
mysql5.1もようやくStableになったことですし、うれしいので話題のQ4Mをインストールしてみました。今回はソースからコンパイルしてみました。以下、その際のインストールメモです。 今回インストールするのは各々このバージョンです。 * mysql-5.1.30.tar.gz *... 続きを読む
LDR で Q4M が採用された件 - id:kazuhookuのメモ置き場
6 users
【ニコニコ動画】京都観光を終えて - malaありがとうございます m(__)m障害が発生するミドルウェアとかあり得ないので、バグを発見された方は遠方でもご一報いただければと思います。RSS データの先読みの排他処理に memcached でロックしてるの見て、それじゃ... 続きを読む
8/27 にマイクロブログカンファレンスをやります - id:kazuhookuのメモ置き場
10 users
8/27 (水) にサイボウズ・ラボでマイクロブログカンファレンス#1 を開催します。マイクロブログのサービスおよびミドルウェア開発者の集いということで、Wassr や Mixi エコーの中の人の話が聞ける予定です。参加希望の方は、Wiki に名前の追記をお願いいたしま... 続きを読む
Q4Mcon1 - Soozy.org
5 users
mixi Engineers’ Blog » 期間限定の新機能「エコー」登場
193 users
こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 ■エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます... 続きを読む
q4mのconditional subscriptionにびびった件 - D-6 [相変わらず根無し]
5 users
q4mのconditional subscriptionにびびった件 Mvalveをリリースして、色々機能改善をする前にベンチマークを書こうと思いました。なのでまずQueue::Q4Mにてベンチマークですよ。 Queue::Q4M 0.00007のmiscディレクトリ内にベンチマークがあります。ってことで、... 続きを読む
D-6 [相変わらず根無し] - Mvalveリリース
11 users
Mvalveリリース Mvalveという物をリリースしてみました。読み方は・・・「ムバルブ」かな。要はMessage Valveです。多分初めて？の半分以上共作なCPANモジュールです。 MvalveはQ4Mをベースにしたスロットリング機能付きメッセージパイプです。主な機能としては... 続きを読む
Kazuho at Work: Q4M - 0.6 release and benchmarks
2 users
Today I have uploaded Q4M (a Queue for MySQL) 0.6, which is basically a performance-improvement from previous releases. Instead of using pread's and a small user-level cache, Q4M (in default configuration) now uses mmap for reads with a reade... 続きを読む
Kazuho@Cybozu Labs: メッセージキュー事始め with Q4M
68 users
« YAPC::Asia 2008 で Pathtraq について話してきました | メイン | MySQL のクエリ最適化における、もうひとつの検証方法 » 2008年05月27日 メッセージキュー事始め with Q4M 今日、奥が開発し Pathtraq でも使っているメッセージキュー Q4M について説明する... 続きを読む
High Availability MySQL: Q4M and the need for XA
6 users
Sunday, May 25, 2008 Q4M and the need for XA Q4M is a new storage engine that supports persistent queues. For a project that claims to have been started in December 2007, the code and features are impressive. But one thing is missing. I want ... 続きを読む
マルチスレッドなら pwrite より mmap+msync のが速い (or Q4M のパフォーマンスの限界値に到達) という話 - id:kazuhookuのメモ置き場
17 users
色々ユーザランドでのロックを使わない形に書き換えても、なかなか速くならなかったのが、pwrite をやめて mmap(PROT_WRITE) 経由での書き込みにしたら、20% 程度あった idle time が 0 になった。ベンチマーク的にはこんな感じ。上が pwrite 経由。下が msync(... 続きを読む
Kazuho at Work: Maximum Peformance of MySQL and Q4M
7 users
I always use to blog my temporary ideas on one of my Japanese blog (id:kazuhooku's memos). When I wrote my thoughts on how to further optimize Q4M, Nishida-san asked me "how fast is the raw performance without client overhead?" Although it se... 続きを読む
Kazuho@Cybozu Labs: Q4M Version 0.4 で高速なクローラを書いてみた
88 users
« Parallel::Prefork - Perl でマルチプロセスなサーバを書く方法 | メイン | Japanize for IE バージョンアップのおしらせ » 2008年04月07日 Q4M Version 0.4 で高速なクローラを書いてみた 本日、MySQL 5.1 のプラガブルストレージエンジンとして動作するメッ... 続きを読む
