スケールアウトからスケールアップへの回帰:Kenn's Clairvoyance
これを書こうと思ったキッカケは、奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」っていう、最近モヤモヤと感じていたことをうまく説明してくれてる記事をみたこと。 年始からちょくちょくサーバの運用環境を物色しながら考えていたことと見事にシンクロした。だいたいの要旨はTwitterのほうでも書いたのだけれど。 ムーアの法則でどんどん向上する技術にくらべ、人間のキャパシティは変化しない定数項として考えていい。だとすれば、そうやって向上する性能を、人間の労力を削減する方向で使えてはじめて、「技術が競争優位性を生む」といえるだけの破壊的な価値がでてくるということになる。 では、現在の技術トレンドを活用することで減らせる「人間の労力」とは何か。 それは、過去10年あまりで定着した、これまでの（そして今なお）Webアプリケーションの定番構成である、「ロードバランサ、ア
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
DB マガジン掲載記事ウェブ公開 - DeNA 技師のメモ
僕が DB マガジン 2007 年 1 月号 に寄稿した『DeNA の「モバオク」に学ぶ Web-DB システム開発/運用術』という特集記事の全文が PDF でダウンロード できるようになった *1。DeNA ケータイサービス開発・運用のノウハウを惜しげもなく公開しているので、ぜひご覧ください。ちなみに「モバゲータウン」も、このモバオクと同じアーキテクチャで構築されている。以下、冒頭の部分を紹介:「モバオク」(http://mbok.jp/)は、株式会社モバオクが運営するケータイ向けオークションサービスである。携帯電話が 1 つあればいつでもどこでも「すきまの時間」を使って出品/入札できるという手軽さが特徴で、2006 年 9 月末時点の有料会員 (月額 315 円) 数は 72 万人、出品数は 231 万品、ページビューは 1 日あたり 6000 ~ 7000 万と、ケータイサービスの世
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more documents from nowelium. Ustreamはこの辺 ref - http://www.ustream.tv/recorded/2107541 いくつか質問があったものは、別途書きます
シングルマスタ／マルチスレーブ構成に興味がない理由 - kazuhoのメモ置き場
システム全体で必要な書き込みパフォーマンスが、RDBMSノード１基の IOPS の W% の場合、シングルマスタ+スレーブn台構成のシステム全体のパフォーマンスは、 書き込みパフォーマンス: W 読み込みパフォーマンス: R=(1-w)*(n+1) になる。この n=R/(1-w)-1 って w が増加するとスレーブ増設のメリットが加速度的に失われていく点がイヤ。 例えば、システム全体で要求される書き込みパフォーマンスが W=0.3 で、読み込みパフォーマンスが 3 ならば、シングルマスタ／マルチスレーブ構成で必要なノード数は5台。マルチマスタ構成を採った場合でも理想値は4台なので、そう遜色があるわけではない。 しかし、仮に必要なパフォーマンスが２倍 (W=0.6, R=6) になると、必要ノード数はマルチマスタ構成での8台に対し、シングルマスタ／マルチスレーブ構成では16台と、一気にコス
真にスケーラブルなWebアプリケーションを作るには?という話題で盛り上がった件 - Tous Les Jours 攻防記
先週末は上京してRubyKaigiに参加してきました。 運よくLT枠をいただくことができたので、タイトルのようなテーマで（結構紆余曲折があって、当初の想定から逸れてしまった...）プレゼンさせてもらうことができました。 話の流れとしては、 「WebアプリケーションのボトルネックはRDB」 ↓ 「RDBってAmazonEC2みたいなHaaSではスケールしないよね。」 ↓ 「本当に（アプリのコードをそのままで）スケールさせようと思ったら、AmazonSimpleDBのようなクラウドDBを使うしかない」 ↓ 「SimpleDBはMySQLより一桁以上遅いから、単純にRDBをSimpleDBに置き換えると、えらいことになる」 ↓ 「SimpleDBへのアクセスを極力少なくするため、リクエストはMemcachedとかでキャッシュしまくる必要があるね」 ↓ 「このあたりを今Lang-8で実験している。
ベンダー任せで基盤が崩壊 改良を重ね2年がかりで刷新
ネット広告大手のサイバーエージェントは今年5月、ブログサービス「Ameba（アメブロ）」のシステム基盤を全面刷新した。従来の基盤は拡張性や可用性に乏しく、安定稼働さえ危ぶまれたためである。委託ベンダーの技術力不足と、それを許してしまった社内体制が原因だった。サービスを止めず、むしろ拡充しながら2年強をかけて段階的に構成を変えてきた。 「2年前に大失敗したからこそ、今のシステムがある」。この7月に達成した50億ページビュー（PV）について新規開発局の佐藤真人CTO（最高技術責任者）は、こう言い切る。 50億PVは1年前の3.5倍、2年前と比べると10倍超に相当する。会員数も8月には350万人を超えた（図1）。芸能人やスポーツ選手といった著名人のブログを集める戦略が奏功した結果だ。この4月には俳優 上地雄輔氏のブログが1日の閲覧ユニークユーザー数23万755人を記録し、「世界一多くの人に見られ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.itarchitect.jp/issue/-/117069-6.html
http://d.hatena.ne.jp/software_design/20090918
agilecatcloud.com
http://atnd.org/events/1484
Amazon.co.jp: Scalaスケーラブルプログラミング[コンセプト&コーディング] (Programming in Scala): Martin Odersky (著), Lex Spoon、Bill Venners (著), 羽生田栄一 (監修), 羽生田栄一 (読み手), 長尾高弘 (翻訳): 本![Amazon.co.jp: Scalaスケーラブルプログラミング[コンセプト&コーディング] (Programming in Scala): Martin Odersky (著), Lex Spoon、Bill Venners (著), 羽生田栄一 (監修), 羽生田栄一 (読み手), 長尾高弘 (翻訳): 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/cccb519e0d41714762f71e6c6c88d027b80e6b93/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F41nFY0KbnfL._SL500_.jpg)
https://www.itarchitect.jp/issue/-/151930.html