ISUCON3の本戦に参加してきた - @ijin
先月の予選に通過したので、ISUCON3の本戦に参加してきました。 完敗。 お題発表 画像版twitter。投稿する画像の公開レベルをpublic, private, followers onlyに設定できるシステムが1台のVPS（2コア、4GB RAM）で動いている状態。プレスを打った為、大量アクセスがくる18時までに別途用意された4台のサーバを使ってスケールせよという使命を与えられる。 流れ 画像データが1万点・約3GBあったので、まず失敗しても戻れるようにバックアップ取得を開始。それと平行して他のサーバへのsshキー登録したり、hosts書いたり、もろもろ下準備。 デフォルトのperlのスコアは1206.8 言語はrubyと決めていたので、supervisorで立ち上げてみるが起動失敗。よくよく調べてみるとforemanが入ってなくてGemfileに追加してbundle。 この時のス
ext4 vs xfs(sysbench fileio) | Ore no homepage
ちょっとやってみました。まず結論から言うと、今回の検証環境での実験および得られた結果のみから判断すると、ext4とxfsの性能差は特に見られませんでした。IOスケジューラの違いによる性能差は顕著に見られました。デフォのcfqよりはdeadlineやnoopが良いという下馬評(？)の通り、deadline, noopが良かったです。並列数が増えると差が明らかに見えます。ファイルシステムのオプションの差異が見えなかったのはつまらなかったな。noatimeの効果についてしっかり検証した人周囲にあまりいないし(俺も「とりあえず付けとけ」みたいな感じだったし)、もしかしたら大した効果はないのかもしれない(？)。 1. 検証環境 OS:CentOS6.2 ( 2.6.32-220.17.1.el6.x86_64 ) CPU: Intel(R) Xeon(R) CPU E5620 2.40GHz ( H
最近のLinuxで有効になっているI/Oバリア機能と、RDBへの影響 | Unofficial DB2 BLOG
比較的新しいカーネルを採用したLinuxディストリビューションでは、ファイルシステムのI/Oバリア (I/O barrier)機能がデフォルトで有効になっています。例えばRedhat Enterprise Linux (RHEL) 6やSUSE Linux Enterprise Server (SLES) 11等はインストール直後の状態でext4ファイルシステムのI/Oバリアが有効になっているようです。 I/Oバリアは簡単にいうと、「バリア命令」の後で発行されたI/Oは、バリア命令の前に発行されたI/Oの後に必ず実行されるようにする仕組みです。つまりI/Oの順序（物理ディスクに反映される順番）をまもらせる仕組みといえます。 ファイルシステムにI/Oバリア機能が追加されたのは、ファイルシステムが不整合な状態になる可能性を減らすためです。 そもそも、急な電源断でもファイルシステムの不整合が起こ
AWS ELBの社内向け構成ガイドを公開してみる 負荷分散編 – Cross-Zone Routingを踏まえて ｜ DevelopersIO
ども、大瀧です。 最近、お客さまからの問い合わせからElastic Load Balancing(ELB)の負荷分散について調べ社内資料としてまとめる機会がありました。せっかくなので、ブログ記事として公開してみます。内容は随時アップデートしますので、ツッコミ・ご指摘があればぜひお願いします！ 負荷分散の仕組み ELBは、クライアントのリクエストを受け付けEC2インスタンスにトラフィックを転送するために、2種類の負荷分散を組み合わせて動作します。 スケーラビリティと冗長性のために、ELBはロードバランサの機能を提供するノードを複数動作させるはたらきがあり、クライアントから複数のノードへアクセスを分散させるためにDNSラウンドロビン、ノードからEC2インスタンスへのトラフィック転送を分散させるためにLeast Connsという手法を用いています。 DNSラウンドロビン DNSラウンドロビンはそ
ギアとか滑車が満載のレゴセットが超いい
はい、みなさんこんにちは。「今月の物欲」のコーナーです。今回ご紹介するのはコレ、「Lego Crazy Action Contraptions」！ ギアや滑車などのメカニズム部品満載、動く機械が作れるレゴのセットです。 インターネットユーザー。電子工作でオリジナルの処刑器具を作ったり、辺境の国の変わった音楽を集めたりしています。「技術力の低い人限定ロボコン（通称：ヘボコン）」主催者。1980年岐阜県生まれ。 本『雑に作る ―電子工作で好きなものを作る近道集』（共著）がオライリーから出ました！ 前の記事：電動ドリルでスパゲッティを食べると便利 ＞ 個人サイト nomoonwalk 「レゴ？あの子供が遊ぶやつでしょ？」 という人も多いと思うけど、それと同じくらい 「レゴ？あの子供が遊んだり、マニアが大量の部品を使って巨大な世界遺産を作ったりするやつでしょ？」 という人も多いのではないだろうか。
ISUCON3の本戦に参加してきた
ISUCON3の予選を何とか通過し、 本戦へと参戦してきました。 大会中の方針とか考えたこととかメモ。 お題 Tw○tter–likeな画像投稿サービス ユーザをフォローできる フォローしたユーザが画像を投稿すると、タイムラインに画像が流れる 公開範囲を全員に公開・フォロワーのみに公開・自分だけに公開から選べる タイムラインはロングポーリングを使ってリアルタイム反映 JSON-APIが用意されていて、Javascriptから叩く 使用できるサーバは5台 画像を扱うお題と聞いて、会場がざわめきました。 MySQLのクエリを見てみる 開始直後、鍵を用意したり、gitのレポジトリを立てたりなんだりした後、 一回目の計測。 topコマンドで走っているプロセスを見ていると、大量のconvertが！！ プロセス名とお題から考えるに、こいつら確実にImage Magickだ・・・。 CPUのほとんどが画
#isucon 負けました - wtatsuruの技術方面のブログ
isucon に Third Party Cookies として id:onishi さん、 id:motemen さんと参加してきました*1。よく言えば7位、完走した中では最下位、惨敗でした。変更はけっこうrevertしてしまったので初期スコアとあまり変わりません。。 ISUCON公式Blog やったのはこんなかんじでした。他の2人がアプリ中心なので自分はインフラ側の視点から、という立場でした（今思うと区切ってしまったのがよくなかった） アカウント・互いのログイン・hosts そういうの整える nginx に入れ替えて ltsv ログ、mysql の slow.log、logrotate まわり整える ログと時間の割合の分析を見てアーキテクチャの目標をなんとなく思い浮かべる。とりあえず1台で帯域飽和するかどうかまで見てみる mysql 自体はチューニング要らないのでスキーマだけちょろっと
#isucon で白目剥いて帰ってきました - 詩と創作・思索のひろば
11/9 に LINE 株式会社 渋谷ヒカリエオフィスで開催された ISUCON 本戦に Third Party Cookies として、id:onishi, id:wtatsuru と参加してきました。結果は第三回 ISUCON 本選結果 : ISUCON公式Blogにある通りで、点数的にはひどい結果となり、全員意気消沈、土曜の夜はブーヤでオケカラでもしましょうと決めていたのでパセラに行ったものの誰も歌いはじめず即座に反省会が始まるとい体たらくで、賞金100万円をあてにしていた帰りの交通費が捻出できず仕方なくカードを使って帰りました。 予選のあとの反省会で、流れや計測ツールの準備はしておこうということで三人合意をしていて、「エンドポイントごとの応答時間の統計を取る」「定期的に手を止めて相談する」「デプロイまわりを早めに整える」といった点についてはおおかた予定どおりに進んでいたのですが、肝
#isucon 3 本戦に参加してきた - soh335 memo
途中で出たスコアは 7000 ぐらい。最終的には fail でスコアは 0 でした。 予選は三人でしたが、本戦は @hisaichi5518 が北海道に旅に出たので、 @kenjiskywalker と二人でした。 ヒカリエの line にも初めて入りました。広くて綺麗でいいですね。 #isucon ところで、北海道と言えば鬼伝説ビール！ 序盤 ( 11 ~ 13 ) 全体を把握するのにまず結構時間がかかりました。あとそれを二人でちゃんと共有出来なかったのがよくなかったかなぁと思います。見ただけでやる事多いなぁと焦ってしまった。 とりあえず全台に入れたり、nginx に入れ替えてもらったり。 git でレポジトリ管理出来るようにしたり、 deploy で撒いてもらえるようにしたり。 中盤 ( 14 ~ 17 ) お互い別のことを。 僕は、画像返す専門のサーバが必用かなと思って作ろうとしてた
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
ISUCON3 で惨敗してきました : DSAS開発者の部屋
KLab からは 「ぜかまし」 が ISUCON 3 の本戦に参加していました。 メンバーは私 (@methane) と、 @tenntenn, @hasi_t です。 結果は順位なし (計測時に fail が多かった) と、惨敗というかそれ以前の問題です。 結果は散々だったものの、設問は非常に完成度が高く、とても楽しめました。 作問してくださった面白法人KAYAC様、主催してくださったLINE株式会社様、 環境と懇親会を提供してくださったデータホテル株式会社様、ありがとうございました。 特に問題作成に関わられた方、本当にお疲れ様でした。 それでは、どうしてこんな結果になったか、当日の様子を振り返ってみます。 10:00 会場着 3人とも開場時間前後には到着して、ホワイトボードがある会議室を抑えました。 (とはいえ、ホワイトボードは同じ会議室の人にも見えてしまうので、結局使いませんでした。
ISUCON3出題の裏側 - KAYAC engineers' blog
acidlemonです。今日はもうなんだかいろんなところに記事を書かなきゃならなくててんてこまいとなっております。 さて、最初に告知です。 毎週カヤック技術部では金曜日の夜に技術部勉強会を行っています。今週末はISUCON3の優勝チームのtagomorisさんとkazeburoさんをゲストにお迎えして、出題担当のfujiwaraとともに今回のISUCONを振り返ってもらい、せっかくだから外部の人をバンバンよんで酒のみながらLTとかもしてもらっちゃおう! みたいな感じになっています。 追記(2011/11/11 20:15): kazeburoさんのスケジュールも確認取れましたので追記しました ということで、ISUCON3反省会というイベントを立てましたので参加希望の方はこちらから参加表明をおねがいします。費用はカヤック持ちで参加無料となっておりますので好きなだけビール飲んでいってください!
ISUCON3 予選のAMIでスコア74000点以上を出す方法 #isucon - heboi blog
https://github.com/nihen/isucon3_yosen_yamagatagumi 上記のisucon3.psgi/nginx.confでworkload=3で Result: SUCCESS RawScore: 74385.9 Fails: 0 Score: 74385.9 がでています。 予選実施時とくらべたポイントは workload指定（ちなみに予選通過amiもworkload指定すると5万超えしてました) isucon_sessionクッキーを持っていない場合のみproxy_cache アプリケーションは余計なキャッシュの妨げとなるクッキーを吐かない これぐらいです。
MySQLの大きなテーブルでのパフォーマンスを改善する10の方法 | Yakst
MySQLコミュニティマネージャのMorgan Tocker氏による、テーブルサイズが大きくなるにつれてINSERTのパフォーマンスが落ちてきてしまうことを防ぐ様々な方法についてのまとめ。 今日は、パフォーマンス問題を引き起こす原因になる、サイズの大きいテーブルのパフォーマンスを改善することについて書いてみようと思う。このアドバイスのうちのいくつかは、たくさんのテーブルをまとめて大きくなっているデータベースにも適用できるが、大抵の場合、独立した大きなテーブルというのは特に問題になりやすいものだ。 一般的に知られていると思われるのは、テーブルを変更する時のスピードは、そのサイズが大きくなるにつれて遅くなることだ。以下の図は、一般的なB+ツリーインデックスのパフォーマンスを時系列で見たものだ。 このグラフは、MySQL@Facebookの記事から拝借したものだ。これは、insert buffe
ISUCON3 を開催しました - 酒日記 はてな支店
参加者の皆様、共催で運営となった LINE, DataHotel, カヤック各社の皆様、本当にありがとうございました。いくつかトラブルがあったものの、本選もなんとか無事に終えることができました。 まずは優勝した LINE 選抜チームの皆様、おめでとうございます！なかなか初期スコアから上がってこないので内心ものすごく心配していましたが、ポイントを見極めて作業が終わったところで一気にスコアを上げてきたのは感服しました。 本選終了から48時間経過したいまでも頭の疲労が回復しきっていない感じで、整理できていないので思うままにつらつら書きます。 以下長文になってしまうので最初に告知です。 ISUCON3反省会 というイベントを 11/15(金) に行います。ISUCON参加者でなくてもどなたでも無料でプレミアムモルツ飲み放題ですので、日時が迫っていますが是非お越しください。 出題内容について お題は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アメリカが開発する、水陸空対応の「変身型」無人機（動画）
3.3.2. ラッパーモード — mroonga v3.07 documentation
Shipped Amon2 6.00 - tokuhirom's blog
How Percona tested Percona Server 5.6: A world premiere in advanced testing
http://www.zusaar.com/event/1737003
サーバーとアプリを高速化、さばけるアクセス数を競う「ISUCON 3」レポート 今年の優勝は、LINE選抜チーム「チーム生ハム原木」