#isucon を支えた技術: ベンチマークmaster/agentの構造とnode.jsの話 - たごもりすメモ
支えた技術ってほど大層なものでもないんだけど、なんとなくカッコいいのでシリーズ名にしてみようと思った。 で、表題の件。 #isucon のベンチマークツールは1台のmasterと複数台のagentという構造になっていて、agentはベンチマークツールの負荷を複数台のサーバに分散させるために存在する。各agentは交換可能で、仮にagent用サーバが1台壊れたら、別のagentに負荷を振り向けるよう設定を書き換えるだけでいい。役割としてはだいたいこんな感じ。 master 各チームのスコア表示、およびベンチマークの起動・停止操作の提供、agentへのベンチマーク実行状況の問合せ、agentへのベンチマーク起動・停止指示、ベンチマーク実行結果の受け取りと保存 agent ベンチマーク処理の起動・停止、ベンチマーク実行状況の提供 (すべてJSON RPC) masterとagentは両方とも n
ISUCONに参加してきました | へぼい日記
なんでもありのWebアプリケーション高速化バトル、#isuconに山形組として参加してきました。 結果はみなさんご存知の通り、藤原組さんの圧勝という感じになりました。 自分はというと、DBボトルネックの解消までは藤原組さんとほぼ同じ手法で解決して、4700req/minあたりのbest scoreを出した後には有効なチューニングが行えずにnginx導入の罠にひっかかって200req/minとかになってしまって泣きながらapacheに戻したりしつつ、最後はサイドバーのcacheをmmapにいれる作業をしていたらバグでfailするようになってしまってぎりぎりでDBのボトルネック解消直後にロールバックして、10000req/3minくらいがたしか最終スコアだったと思います。failしたチームを除けば下から数えたほうが早い感じになってかなり悔しい結果でした。 DBボトルネック解消直後にappサーバ
livedoor Techブログ : 自家製 #isucon のつくりかた
こんにちは、ISUCON というイベントのレギュレーションを考えたり環境の準備をやったりコード書いたりしてた tagomoris です。普段はライブドア開発本部のインフラサービス部というところで働いてます。 先日ISUCONは幸いにも大好評のうちに終了したのですが、へとへとになって疲れ切った状態で帰宅し、寝て起きてみると、公開しておいたソースコードをさっそく自分の手元で動かしている人がいました。説明とか何にもなかったのによくそこまで。どういうことなのと思わずにはいられません。 #isucon に参加してきました＆isuconツールを試してみました - As a Futurist... また翌日にはTwitterでも続々と動かしてみた報告が見られ、エンジニアのみなさんのバイタリティには感服するばかりです。 ざいりょう で、せっかくだから本番と同じデータで同じように試せるようにしたいよね、とい
livedoor Techブログ : 写真と動画で振り返る #isucon オフィシャルレポート
こんにちは、ライブドア技術部会の櫛井です。 2011年8月27日(土)に開催された、いい感じにスピードアップコンテスト、略して ISU Contest (Iikanjini Speed Up Contest) #isucon ですが、すでに沢山の方々に イベントのレポートなどをいただいており、ありがとうございます。 このエントリでは写真と動画で #isucon を振り返ってみたいと思います。 場所は新宿エルタワー。割と最近できた会議室で行われました。 当日はこのような案内が出てました。ISUCON！ まずはイベントで最も重要な会場内のネットワーク設営から。 弊社ネットワーク事業部のプロがサクサク作業しておりますが、実は当日になって 当初打ち合わせで聞いていた回線種類と違うことが判明したものの、会社が近いという こともあり無事に乗り切れました。会社近くの会場にして正解でした。 「ISUCON
#isucon で学ぶWebアプリの高速化の話 : As Sloth As Possible
あるいは、お遊びチーム2号は一体何をしていたのかについて。 ISUCONという大変白熱した楽しいお祭を開催するにあたって、その前夜祭的な環境試験のためのチューニング祭が社内の有志数名で行われていて、そのときに色々学んだことをおまけとして書いておきます。 ISUCONて何？ 下記参照。 なんでもありのWebアプリケーション高速化バトル、#isucon 開催のお知らせ 【締め切りました】Webアプリケーション高速化バトル、#isucon 詳細と参加者募集開始 ISUCON に参加してきました #isucon に参加してきました＆isuconツールを試してみました #isucon で優勝してきました isuconに参加してきた＆チーム「いんふらえんじにあー」の戦略など isuconお遊びチーム（事前社内β組）の設定あれこれ #isucon で優勝させてもらってきました #isucon に参加して
isucon終了に寄せて - たごもりすメモ
ISUCon が終わりました。さっき、懇親会を終えて帰宅し、イベントで使用した仮想マシンすべてをシャットダウンしました。 しばらく前、あるきっかけがあったあとで「こんなイベントにすれば楽しいはず！ 少なくとも自分は楽しめそう！ やりたーい！」とTwitterに放流し、その後に社内のIRCでも同じようなことを言った結果「やればいいんじゃない？」的な反応を社内からもらい、何人かの人に協力をお願いしながら進めてたら、いつの間にかすごいイベントになってました。会場の手配もネットワークの手配も名札の手配も飲食の手配もトロフィーや副賞の手配も、すべて自分以外の社員が、こうしたら良いイベントになるはず、とやった結果です。すげー会社で働いてるんだなあ俺、とか今更思いました。 レギュレーションの検討・作成から実際のコード・サーバ環境の作成まで、いっしょにやってた kazeburo さんはもとより、超多忙な同
isuconに参加してきました - メメメモモ
livedoor Techブログ : Webアプリケーション高速化バトル(ISUCON) 会社の人達とチームを組んで参加してきました。 とりあえず自分がやっていたことのみを書きたいと思います。 当日、自分が担当したのはアプリの部分でした。 あらかじめ用意していた独自のジョブキューシステムを組み込んだり、 DBアクセスの部分をHandlerSocket（MySQLのプラグイン）で動くようにしたりしてました。 前日まで、この部分のベンチやらデバッグやらを一生懸命やっていたので、 どんな状況であっても本番で動くようにはしたいなと思っていました。 想定していたよりシンプルなアプリでしたので、無事に動くようにできました。 組み込んだ場所がネックになっているところではなかったため、速度にはあまり影響は出ませんでしたが。 開発は、 １台のアプリサーバにsshでつないで、 emacsをインストールして、
ISUCONのウェブアプリのテンプレートエンジンはXslateでした - Islands in the byte stream (legacy)
livedoor Techブログ : ISUCONやりましたーっ！ 最終結果発表 #isucon ISUCONに[twitter:@xaicron] & [twitter:@myfinder]両名と一緒にチーム「真夏のサイクロンウェーブ」を結成して参加しました。 結果は…memcachedをいじっていたらアプリを壊してしまい最終テストが通らず失格…。しかし限られた時間でウェブアプリのチューニングをするというとても楽しい7時間でした。 内容を振り返ると、id:sfujiwaraさんを始めとした参加者諸氏が指摘するようにアプリ自体はかなり高速で、いじる余地はあまりありませんでした。せめてテンプレートエンジンがTemplate::Toolkitだったら…という淡い期待も抱いていたのですがこれも始めからXslateでもういじる余地がありません。残念。 でも結果的にはXslateのいいプロモーション
にひりずむ::しんぷる - ISUCON に参加して FAIL してきました！
ISUCON に @myfinder と @__gfx__ と共に参加してきました。 一部からは、下馬評でチートチームなどと言われのない誹謗中傷を浴びせかけられていましたが、結果としては、以下のようにあっさりと文字化けして終わったため、ある意味期待を裏切らなくてよかったのかなと思います。 さて、結果は全然伴わなかったわけですが、当日にやろうとした & やったことなんかを適当に箇条書きにしてみます。 とりあえず、public key 巻いて ssh config を設定して環境に入りやすくする 最初にベンチ走らせたときに DB が完全に刺さっていた slow log でクソクエリー発見 直すと速くなるだろうけど、パッと見よくわからなかったので、memcached にキャッシュしちゃえばいいんじゃね戦略でキャッシュする 最初に app サーバーの local に memcached 立てたけど
myfinder's blog: #isuconの結果を反省 または私は如何にして心配するのを止めてパラメタ設定を細かくいじるることに終始したのか
なんでもありのWebアプリケーション高速化バトル、#isucon に参加してきました。 まずはこのような機会を設けていただいたLivedoor並びに技術部会の皆様に感謝申し上げます、良い刺激を受ける事ができ、本当に楽しい一日でした。 さて、藤原組長が圧倒的だったのは誰しもが知るところですが、我々 [真夏のサイクロンウェーブ] はノーバリューでフィニッシュと相成りました。 この結果をバネに次へつなげるためにも、成功したやり方を実際に手を動かして検証することがなにより重要だと考え、このエントリを書いた次第です。 このエントリを書けるのも、id:tagomorisさんがソースコードとベンチツール一式を公開してくれているからです、Livedoorは勉強会のアフターケアまで完璧ですね。 まずはisucon環境を手元につくろう id:riywoさんが手順をあげてくれているので、それにならうのがよいでし
#isucon に参加してやったこと思ったこと - かみぽわーる
ISUCONに@riywoと「チームやすべえ」で参加してきたので、その感想です。 ひと言でいうと、良くも悪くもみんな積み重ねてきたものが結果に出たのではないかなと思います。 最初のボトルネックとして用意されていたクソクエリのチューニングは、二人ともDB寄りのエンジニアということもあって、クエリの意図をつかんだあとの対策はツーカーでいい感じでした。 ボトルネックがアプリに寄ってコア数でスケールする状態になったので、コア数も多く経路的にも有利なrevとdbにもアプリを立てて、そっちに多くのリクエストを振るようにしました。細かいチューニングを省略すると、これだけやっただけで、たしか参加チームの中で最初に50000req/minを超えたと思います。 あとは後半、かなり良いスコアを出すチームがちらほら出てきて、このアーキテクチャだと優勝できないと気づいて、キャッシュしてDBアクセスとレンダリングのコ
#isucon に参加してきました。 - 時計を壊せ
うっかり申し込むのを忘れて、定員に達して出れなくなってたので ぬーん（´・ω・｀）ってなってたんですが、 @walf443さんに誘われたので#isuconに参加してきました！ 人数が多い方が有利だとの事だったけど正直足手まといになった気しかしないのは秘密。 #isucon ってなに？ Iikanji Speed Up CONtest の略でISUCONだそうです。 reverse proxy1台、appサーバー2台、DBサーバー1台の構成のWebアプリを いい感じにスピードアップしてあげるコンテストです。 概要: [ http://blog.livedoor.jp/techblog/archives/66528186.html ] ソースコード等: [ https://github.com/tagomoris/isucon ] WHKチームの行動まとめ *1 gitが無いと俺達はソースの変
ISUCON に参加してきました - do_aki's log
livedoor 主催の、いい感じにスピードアップコンテスト ISUCON (Iikanjini Speed Up CONtest) に参加してきました。 ちょっとふざけた名前（失礼）ながら、中身は本格的で、用意されたプログラムやベンチマークは、過去に実際に起きた問題に似せた形で出題されたそうです。 「チームでの参加を推奨します」とは言われてたのですが、ボッチ力を発揮して一人での参加。 チーム名は「くまさんちーむ」でした。 結果 1分ベンチでは2万強。最終的な結果(3分ベンチ)では 56,151 request というスコアを出せました。 残念ながら、優勝された fujiwara組には遠く及ばないスコアでしたが、記録としては上位に入れましたし、一人でここまで出せたので満足です。 実際にやったのは以下の通り。 DB にテーブルを追加し、アプリケーションのクエリを書き換え やはり、一番のネック
#isucon に行ってきました (team_karakaniチーム) | カラカニのメモ帳
こんにちは。ほぼ1年に1回しか日記を書かないkarakaniです。重い腰がようやく上がり日記を書いてます。 #isucon 行ってました。[[@mutotaiju>https://twitter.com/#!/mutotaiju まとめと反省点 ・地道なボトルネックの調査は重要。 ・時間的な制約がある中で新しいことはやらないほうがいい(最近使い始めたGitを使おうとしたけど無駄に時間使った) ・経験も重要(他のチームのブログ見ててとても参考になりました) やったこと 次のことをしました。 1. アプリケーション(データベースへのアクセス)のパフォーマンスアップ 2. 静的コンテンツの扱い・リバースプロキシの設定 3. キャッシュ戦略(失敗) キャッシュ戦略は中途半端、というかできませんでした。 データベースはデチューニングされているのでは？ という声がありましたが、私たちのチームではほとん
isuconに参加してきました
どうもコンニチワ。 去る2011.8.27に開催された なんでもありのWebアプリケーション高速化バトル、#isucon に、チーム「いんふらえんじにあー」として @matsuu さん、 @ishikawa84g さんと参加してきました。 チーム名は2秒くらい考えてこんなものしか思いつきませんでした。 チーム名を決めなければならないということに気づいたのは、要返信のメールの締切を2日過ぎてからのことでした。相談なしに決めてゴメン。。。 ともあれ結果は2位 3位。1位とは大差！2位とは僅差！すごくすごく楽しかったです。 主催のライブドアさん、ありがとうございました！ さて、今回も結果が出てほっとしました。 今回はチームメイト @matsuu さんがすでに詳細書いてくれているのでそちらを見ていただくと紆余曲折を感じていただけるかと。 →isuconに参加してきた＆チーム「いんふらえんじにあー」
isuconに参加してきた＆チーム「いんふらえんじにあー」の戦略など - このブログはURLが変更になりました
2011/08/27に行われたなんでもありのWebアプリケーション高速化バトル、#isuconにチーム「いんふらえんじにあー」として@netmarkjpさん、@ishikawa84gさんの3人で参加し、運良く 準優勝 3位ぐらいに輝きました*1。 まず今回の参加にあたって事前に考えていたネタを紹介。 プロジェクターを持ち込んでまず映画鑑賞、自分たちのモチベーションを上げる 当日現地に向かう途中でレンタルショップに寄ってソーシャル・ネットワークのDVDを借りようとしたのですが、全て貸出中で断念。 しかしプロジェクタで各サーバのtopを常時表示していたことでとても有意義に活用できました。プロジェクターを持参された@ishikawa84g先生に感謝！ 今後同様のイベントがあった場合、プロジェクタを準備するのは難しいとしても、サブディスプレイや2台目のノートPCがあると便利だと思います。持ち運びを
#isucon に参加してきました
なんでもありのWebアプリケーション高速化バトル、#isucon 開催のお知らせ 参加経緯 後、@hansode さんを含め、@kyanny さんと俺の3人、”チーム情熱会” で参加してきました。 結果は審査用の3分間ベンチマークがこけたので、参考数値の100,604/minが最終でした。 チームでやれたこと mysqlのパラメータ調整(innodb周りとか) mysql問い合わせ結果をmemcachedでキャッシュ リバースプロキシをapacheからnginxに変更 刺身さんがアプリで入れてくれたクエリキャッシュが一番効果あったと思います。 俺はリバースプロキシの変更をやったくらいで、nginxにしてパフォーマンス下がったときはちょっと涙目だったけどベンチツールのhttpのkeep-alive罠を回避出来たのは良かったかな。 DBがボトルネックになってて原因になるクエリがあったのは早い段
#isucon で優勝したチームのメンバーとして参加してた - すぎゃーんメモ
既に多くの参加者の方々がブログに書いておりますが。 #ISUCON に参加しました。 livedoor Techブログ : なんでもありのWebアプリケーション高速化バトル、#isucon 開催のお知らせ livedoor Techブログ : ISUCONやりましたーっ！ 最終結果発表 #isucon 以前参加したチューニンガソンも面白かったし、コレも出たいなーと思って社内で調整してみたころ、ちょうどよく3人集まった、ということで@fujiwaraさんと@songmuさんと一緒に参加しました。結果は優勝！ #isucon で優勝してきました - 酒日記 はてな支店 #isucon ではどんなことを考えながら作業していたか - 酒日記 はてな支店 おそらくはそれさえも平凡な日々: #isucon で優勝させてもらってきました お二人のエントリの通り、fujiwaraさんとsongmuさんでと
isuconお遊びチーム（事前社内β組）の設定あれこれ - hideden.hatenablog.com
ISUCONに行ってきました。社内での事前βテストに参加して問題を知っていたので出場はせず。社内β参加を持ちかけられたときは、正直「めんどくせーなｗ」が素直な感想だったんですが、実際にやってみるとスコアがリアルタイムにわかる＆ちょっとずつ自分のスコアが上がっていくってのは楽しくて、わりと本気でチューニングしてしまいました。 さて、本戦でも14時頃からお遊び用としてサーバー一式が解放されたので、大人げも無くそこで112500req/minをたたき出して参加者のやる気を削いだ（・・と懇親会で言われました。色々すいません！）構成について。 reverse proxy nginx(1.0.5) ngx_http_memcached + ngx_http_ssi_filter + ngx_http_scgi + ngx_http_upstream_keepalive(3rd party plugin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
isucon に参加してきた。 - やったるでぇ