mixi の年末年始対策 2009-2010 - mixi engineer blog
こんにちは。パートナーサービス部の加藤和良です。 2008年末に、mixi の年末年始対策について紹介しました。今回は、ここ数年の年末年始対策の歩みと、今年の対策について紹介したいと思います。実をいうと、設計も実装も自分じゃなかったりするのですが、このまま歴史に埋もれていくのも悲しいので、関係各所に取材してみました。 2008年末をふりかえる まずは、2008年末をふりかえってみましょう。 あのころはまだ mixi の機能も少なく、年末年始の負荷は主に日記に集中していました。そこで当時は ID Generator の改善 - mod_perl をあいだにはさんで MySQL への接続本数を減らす 最新情報DBへの書き込みを非同期に - Q4M をつかって負荷を時間軸で分散する という2つを日記に実装したのでした。 しかし、2008年末から2009年のお正月にかけて、mixi はまたも日記に
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more documents from nowelium. Ustreamはこの辺 ref - http://www.ustream.tv/recorded/2107541 いくつか質問があったものは、別途書きます
Queue::Q4Pg::Lite を書いた - 酒日記 はてな支店
PostgreSQL で簡易に MQ - Mi manca qualche giovedi`? を読んで、こりゃ素晴らしいと思ったので Perl モジュール化しました。 simple message queue using PostgreSQL. http://github.com/fujiwara/perl-queue-q4pg-lite/tree/master 割と簡易な Message Queue ということで、Lite って名前に。pg_advisory_lock() を使用してるので、PostgreSQL-8.2 以降でないと動きません。 インターフェースは Queue::Q4M とほとんど同じ……というか、コード自体を半分ぐらい Queue::Q4M から頂いています。 use Queue::Q4Pg::Lite; my $q = Queue::Q4Pg::Lite->conn
Kazuho at Work: Q4M Presentation Slides at MySQL Conference
Today at MySQL Conference & Expro 2009, I did a presentation introducing / explaining Q4M. Thank you to people who came to listen. The presentation slides I used can be found on slideshare (slideshare). Tomorrow (Apr 23) from 6:10pm, I will be doing another presentation at Percona Performance Conference, held at the same location, to describe the techniques (mainly MySQL UDFs) used to squeeze maxi
myfinder's blog: Q4Mを使うときにやってはいけない一つのこと
ある日Q4Mを利用したシステムを運用していたところ、プログラマの方から 「Q4Mのテーブルが壊れたっぽいのだけども。。。」 との報告があり、状況を聞いてみた。 どうも、Queueに突っ込んだけども処理したくないデータがあったという理由で一部の行をDELETEしたとのこと。 で、早速DBを調べてみると、全部queue_waitで取り出したにも関わらず行数が0にならなかったり、 発行しているqueue_endが実行されずにずっとプロセスが残っていたりして大変カオスな状態になっていた。 (insertも止まっていた) その場ではMySQLを強制的に再起動して、tableやschemaをdropして再作成してもらうことでことなきを得た。 が、今日帰ってきてQ4Mのページを見て謎が解決。 Q4Mの「Limitations and Known Issues」に removal of multiple
mixiの年末年始対策 日記投稿システムの改善 - mixi engineer blog
朝晩冷えてきましたね。風邪など引いていませんでしょうか。さて、年末が近づいてくるこの時期に弊社のエンジニアが最も気になるのは、お正月。それも来年1月1日を迎えた瞬間です。 1日1日0時に何があるのでしょう？そう、mixiのサービスで最も日記が書き込まれるタイミングになるのです。個人的に「あけおめことよろアタック」と呼んでいます。今年は日記だけではなく、エコーでもメッセージが飛び交うことでしょう。この時期は携帯電話のキャリアでもさまざまな対策を行っていますが、ミクシィでも年末年始でもユーザの方に快適にサービス提供ができるように努めています 以下は昨年の年末年始の日記投稿数の推移です。青色が12/31から1/1、赤色が1/1から1/2になります 1/1の方が全体的に多いですが、特に年が変わる前後の投稿数は倍近くなっていることがわかります。この時に負荷により日記の投稿がしづらい状態になっていたの
Q4Mをソースからインストールしてみたメモ - download_takeshi’s diary
mysql5.1もようやくStableになったことですし、うれしいので話題のQ4Mをインストールしてみました。 今回はソースからコンパイルしてみました。 以下、その際のインストールメモです。 今回インストールするのは各々このバージョンです。 * mysql-5.1.30.tar.gz * q4m-0.8.3.tar.gz mysqlのインストール まずは mysql-5.1.30 です。適当にコンパイルしてください。 configreに渡すオプションは用途によって色々代わると思いますが、今回はこんなパラメータでconfigureしました。 $ ./configure \ --prefix=/usr/local/mysql \ --libexecdir=/usr/local/mysql/bin \ --sbindir=/usr/local/mysql/sbin \ --with-charse
8/27 にマイクロブログカンファレンスをやります - kazuhoのメモ置き場
8/27 (水) にサイボウズ・ラボでマイクロブログカンファレンス#1 を開催します。 マイクロブログのサービスおよびミドルウェア開発者の集いということで、Wassr や Mixi エコーの中の人の話が聞ける予定です。参加希望の方は、Wiki に名前の追記をお願いいたします。 マイクロブログカンファレンス#1 PS. 自分は Q4M の話をします。
mixi Engineers’ Blog » 期間限定の新機能「エコー」登場
こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます。 http://mixi.jp/guide_echo.pl いくつか抜粋しますと、 あなたの"今"を一言にしてみませんか？誰かに伝えたいこと、ひとりごと等、何でもOK！ 気軽な新コミュニケーション機能です。 たとえば、「今日はいい天気だな〜」という、ひとりごとから、「お腹すいたー！誰かランチにいこうよ！」というメッセージ的な使い方まで、「エコー」の楽しみ方はあなた次第！ マイミクシィ同士で「エコー」を使うとホームにお互いの書きこみが表示されます。 気になった書きこみには、返信することもできちゃいます。あなたがふと書きこんだ一言に、思わぬ返
q4mのconditional subscriptionにびびった件 - D-6 [相変わらず根無し]
q4mのconditional subscriptionにびびった件 Mvalveをリリースして、色々機能改善をする前にベンチマークを書こうと思いました。なのでまずQueue::Q4Mにてベンチマークですよ。 Queue::Q4M 0.00007のmiscディレクトリ内にベンチマークがあります。ってことで、以下の条件でベンチマーク走らせてみました ストレートに1000件入力してから1000件全部conditional無しで抽出する1000件+その約50倍のダミーデータの中から、conditionalにマッチする1000件を全部抽出するという2パターンで実験した結果が以下の通り >> executing default + Start Tue Jul 8 01:54:44 2008 + End Tue Jul 8 01:54:53 2008 + Processed 1000 message
D-6 [相変わらず根無し] - Mvalveリリース
Mvalveリリース Mvalveという物をリリースしてみました。読み方は・・・「ムバルブ」かな。要はMessage Valveです。多分初めて？の半分以上共作なCPANモジュールです。 MvalveはQ4Mをベースにしたスロットリング機能付きメッセージパイプです。主な機能としては (1) スロットリングの影響を全く受けない「緊急キュー」 (2) 普通メッセージのスロットリング (3) スロットリングされたメッセージのリキュー を簡単なインターフェースで実現します。 まだドキュメントとかなんもないので色々コメントいただけるとありがたいです。ソースコードはcodereposに置いてあります。 カテゴリ 開発 2008年7月 7日 14:57 D | ブログ記事のURL | コメント(1) | トラックバック(0) |
Kazuho at Work: Q4M - 0.6 release and benchmarks
Today I have uploaded Q4M (a Queue for MySQL) 0.6, which is basically a performance-improvement from previous releases. Instead of using pread's and a small user-level cache, Q4M (in default configuration) now uses mmap for reads with a reader/writer lock to improve concurrency. I also noticed that it would be possible to consume a queued row in one SQL statement. SELECT * FROM queue_table WHERE q
マルチスレッドなら pwrite より mmap+msync のが速い (or Q4M のパフォーマンスの限界値に到達) という話 - kazuhoのメモ置き場
色々ユーザランドでのロックを使わない形に書き換えても、なかなか速くならなかったのが、pwrite をやめて mmap(PROT_WRITE) 経由での書き込みにしたら、20% 程度あった idle time が 0 になった。 ベンチマーク的にはこんな感じ。上が pwrite 経由。下が msync(MS_ASYNC) 経由の書き込み。どちらも読み込みは mmap。 $ USE_C_CLIENT=1 MESSAGES=400000 CONCURRENCY=40 DBI='dbi:mysql:test;mysql_socket=/tmp/mysql51.sock;user=root' t/05-multireader.t 1..4 ok 1 - check number of messages ok 2 - min value of received message ok 3 - max v
Kazuho at Work: Maximum Peformance of MySQL and Q4M
I always use to blog my temporary ideas on one of my Japanese blog (id:kazuhooku's memos). When I wrote my thoughts on how to further optimize Q4M, Nishida-san asked me "how fast is the raw performance without client overhead?" Although it seems a bit diffcult to answer directly, it is easy to measure the performance of MySQL core and the storage engine interface, and by deducting the overhead, th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://hibinokoto.jp/archives/2009/03/post-304.html
LDR で Q4M が採用された件 - kazuhoのメモ置き場
http://soozy.org/index.cgi?Q4Mcon1
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/05/road_to_mq_with_q4m.php
Q4M and the need for XA
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/04/q4m_crawler.php