STF Distributed Object Storage - Home
Distributed Object Storage Made Easy! Use commodity hardware/software to build your own scalable object storage! Learn more » What is STF? STF is a simple, yet very scalable distribute storage system. STF powers sites like livedoor Blog, loctouch and many more, serving gigabytes after gigabytes of data. On one such system, it's serving 400Mbps of image at peak hours without a hitch. GET STF! STF i
Q4Mを簡単に導入する方法 - MySQL Casual Advent Calendar 2011 - blog.nomadscafe.jp
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
STF Distributed Object Storage - Home
Distributed Object Storage Made Easy! Use commodity hardware/software to build your own scalable object storage! Learn more » What is STF? STF is a simple, yet very scalable distribute storage system. STF powers sites like livedoor Blog, loctouch and many more, serving gigabytes after gigabytes of data. On one such system, it's serving 400Mbps of image at peak hours without a hitch. GET STF! STF i
YAPC Asia 2010 でのスライド公開と補足、あと感想など - 日向夏特殊応援部隊
はい、@941 さんを初めとして、@lestrrat さん、JPA の皆様って僕もですけど、それとボランティアスタッフの皆さん、スピーカーの皆さん、ご来場者の皆さん3日間お疲れ様でした。そして、今年も盛り上がりましたね。 さて、後半だいぶ時間が押して早口になってしまいましたが当日のスライドを公開します。 Inside mobage platformView more presentations from zigorou. さてと特に後半の Q4M を複数台構成にした際の負荷のばらつきですが、INSERT の方は DNSRR とかでやればいいのですが、queue_wait() して実際に何かタスクを実行する際に、処理時間に偏りがある場合、queue_wait() の sleep が無視出来なくなって片側に接続が偏ってしまう現象が何度か起きました。 これを解決するために、ひとつのQ4Mに接続す
q4m を rpm 化する with checkinstall - 日向夏特殊応援部隊
作業メモです。 src.rpm の取得 # cd /usr/src/redhat/SRPMS # wget http://dev.mysql.com/get/Downloads/MySQL-5.1/MySQL-community-5.1.42-0.rhel5.src.rpm/from/http://ftp.iij.ad.jp/pub/db/mysql/ rpmbuild --recompile ビルド時のソースツリーが必要なので recompile # rpmbuild --recompile --define 'community 1' /usr/src/redhat/SRPMS/MySQL-community-5.1.42-0.rhel5.src.rpm checkinstall で rpm 化 make 時に MYSQL_LIBDIR をつけてるのは libmysqlclient.s
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more documents from nowelium. Ustreamはこの辺 ref - http://www.ustream.tv/recorded/2107541 いくつか質問があったものは、別途書きます
Kazuho@Cybozu Labs: MySQL Conference & Expo 2009 に参加してきました
« FreeBSD の ptrace ではサンドボックスを作れないという話 | メイン | ブログ移転のおしらせ » 2009年04月30日 MySQL Conference & Expo 2009 に参加してきました 先週一週間、MySQL Conference & Expo 2009 に参加してきました。ほとんどのキーノートのビデオや一部のセッションの資料は公開されているようなので、それ以外、全体からうけたイメージなどについて、つらつらと。 サービスをスケールアウトする話は、意外と聞かなかったように思います。今回が初参加だったので間違っているのかもしれませんが、単純な「スケールアウトできるよね」という話ではなく、むしろ、アプリケーションデベロッパに負担をかけずにスケールアウト (もしくはスケールアップ) するデータベースを、どのように作るか、というところが盛り上がっていたように思います
mixiの年末年始対策 日記投稿システムの改善 - mixi engineer blog
朝晩冷えてきましたね。風邪など引いていませんでしょうか。さて、年末が近づいてくるこの時期に弊社のエンジニアが最も気になるのは、お正月。それも来年1月1日を迎えた瞬間です。 1日1日0時に何があるのでしょう？そう、mixiのサービスで最も日記が書き込まれるタイミングになるのです。個人的に「あけおめことよろアタック」と呼んでいます。今年は日記だけではなく、エコーでもメッセージが飛び交うことでしょう。この時期は携帯電話のキャリアでもさまざまな対策を行っていますが、ミクシィでも年末年始でもユーザの方に快適にサービス提供ができるように努めています 以下は昨年の年末年始の日記投稿数の推移です。青色が12/31から1/1、赤色が1/1から1/2になります 1/1の方が全体的に多いですが、特に年が変わる前後の投稿数は倍近くなっていることがわかります。この時に負荷により日記の投稿がしづらい状態になっていたの
ハタさんのブログ : Q4MをPHP(PDO)で
Q4Mが無事インストールできたので、PHPから触ってみる。詳細なことは今度書く。とりあえず触りだけでも テーブル定義 drop table if exists hoge_queue; create table hoge_queue( id int not null, name varchar(25) not null ) engine=queue; こんなスクリプトをガンガン回して、監視 $conn = new PDO('mysql:host=localhost; dbname=hogetest', 'user', 'password'); $wait = $conn->prepare('SELECT queue_wait("hoge_queue", 10)'); $abort = $conn->prepare('SELECT queue_abort()'); $e = $conn->pr
[東京] microblog conference #1の動画 - TechTalk.jp
2008年8月27日にサイボウズ・ラボを会場として開催された Microblog conference#1 でのTech Talksを録画した動画をニコニコ動画にアップロードしました。 【ニコニコ動画】Microblog Conference #1 以下、個別の動画へのリンクです。 サービサー講演 【ニコニコ動画】Inside Echo - kazeburo 【ニコニコ動画】Queueueueueue - tokuhirom ミドルウェア講演 【ニコニコ動画】memchached pluggable engine concept - tmaesaka 【ニコニコ動画】Q4M a high perfomance message queue for MySQL - kazuho LT 【ニコニコ動画】クライアントアプリの矜持 - kan 【ニコニコ動画】acotieのドキドキPerlプロ
Kazuho@Cybozu Labs: MicroblogCon1 の報告と Q4M 0.8.1 リリースのお知らせ
« Q4M バージョン 0.8 をリリースしました | メイン | Q4M 0.8.3 をリリースしました (含 FreeBSD サポート) » 2008年08月30日 MicroblogCon1 の報告と Q4M 0.8.1 リリースのお知らせ 先日 (8/27 水) 、弊社を会場にして、マイクロブログのサービス開発やそのミドルェアに関するカンファレンス「MicroblogCon1」を開催いたしました。スピーカーの方々、お越しいただいた方々、ありがとうございました (当日の模様は coji さんが撮影して中継、techtalk.jp にて公開してくださっています。 ありがとうございます) 。奥はその中で、Q4M の概論から入門的な話をしたので、興味のある方はスライドをご覧ください。
mixi Engineers’ Blog » 期間限定の新機能「エコー」登場
こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます。 http://mixi.jp/guide_echo.pl いくつか抜粋しますと、 あなたの"今"を一言にしてみませんか？誰かに伝えたいこと、ひとりごと等、何でもOK！ 気軽な新コミュニケーション機能です。 たとえば、「今日はいい天気だな〜」という、ひとりごとから、「お腹すいたー！誰かランチにいこうよ！」というメッセージ的な使い方まで、「エコー」の楽しみ方はあなた次第！ マイミクシィ同士で「エコー」を使うとホームにお互いの書きこみが表示されます。 気になった書きこみには、返信することもできちゃいます。あなたがふと書きこんだ一言に、思わぬ返
Q4M - a Message Queue for MySQL
Q4M (Queue for MySQL) is a message queue licensed under GPL that works as a pluggable storage engine of MySQL, designed to be robust, fast, flexible. It is already in production quality, and is used by several web services (see Users of Q4M). To start using Q4M, download either a binary or source distribution from the install page, and follow the installation instructions. A small tutorial is also
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Shibuya.pmでしゃべってきました - 最速転職研究会
Kazuho@Cybozu Labs: メッセージキュー事始め with Q4M