KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
Real World Web: Performance & Scalability | PDF | Load Balancing (Computing) | Http Cookie
This document summarizes a presentation about performance and scalability for real world web applications. The presentation discusses thinking horizontally and scaling out applications across multiple servers rather than vertically scaling single servers. It emphasizes keeping applications stateless and avoiding storing state on individual application servers. Effective use of caching, such as cac
Philip Greenspun’s Weblog
Readers may recall that I love reengineered systems, e.g., Build downdraft paint booths for K-12 schools? In Florida, people are using heat pump water heaters that also serve to cool the garage. From miserable cold/damp England, a different idea: a computer server whose waste heat is used for domestic hot water. This is covered in a recent MIT Technology Review magazine article: “This is where I p
PHP at Yahoo!を読む - Sooey
PHP at Yahoo!を読む イタリアで開催されたPHPDay 2007にてYahoo! EuropeのFederico Feroldi氏が行なった「PHP at Yahoo!」のプレゼン資料が、氏のブログで公開されました。 Yahoo!が社内でどのようにPHPを使用しているのかということはこれまでにもRasmus Lerdorf氏のプレゼンなどで明らかにされてきましたので、「PHPのビルド時にはモジュールはほとんど組み込まない」とか「ビジネスロジックをエクステンションとして実装する」といったことは皆さんご存知だと思います。今回も前半はそんな感じの内容ですが、途中で実装よりの具体的な話題になってきたと思ったら、Yahoo!が利用しているテンプレートエンジン r3がオープンソース化したと書かれていてビックリ。しかもsymfonyのビュー層にも組み込んで使っているとか。 他にもDrupal
なんとなく◎
ZFS が実装された Solaris 10 6/06 ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!! ってことで，めでたしめでたし． とはいえ，現状では ZFS 領域から直接ブートってのはできなくて（ ZFS Mountroot ってのはありますが，それも現状では UFS 領域が必要）， またインストーラも ZFS 領域を作成したりもできず，/usr 等の OS の主要領域を ZFS にするのもちょっと面倒なようです． これらの点も今後解決されるのかな，とは思いますが， 今のところ無難に逝くなら / や /usr など OS の主要領域は UFS 使って， それ以外の部分で個別に ZFS 領域を作るのが良さそうです． もっとも，個人的には Express (Nevada) で / だけは UFS にしてますが， /usr, /var, /opt, /export/home なんかを ZF
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
L4スイッチはDSR構成にすべし - sanonosa システム管理コラム集
大規模サイトではL4スイッチをDSR(Direct Server Return)構成で組むことはもはや常識です。しかし国内には大規模サイトが少ないためかDSR構成についての情報が不足しているのが現状です。L4スイッチを扱っているベンダーさんもDSR構成でネットワークを構築したという例をほとんど聞かないとのことです。そこで今回はDSR構成の紹介とメリット＆デメリットをご紹介します。 【一般的な構成とDSR構成の違い】 一般的な構成ではスイッチとサーバの間にL4スイッチを挟み込む構成を取ります。それに対してDSR構成ではスイッチに直接L4スイッチを接続します。 これを踏まえてパケットの流れを見てみましょう。一般的な構成では行きのパケットがL4スイッチを流れサーバに到達し、帰りのパケットもL4スイッチを流れていきます。それに対してDSR構成では行きのパケットはL4スイッチを通りますが、帰りのパケ
Varnish HTTP Cache — Varnish HTTP Cache
Varnish HTTP Cache¶ I’m new here, please explain this Varnish thing What is happening¶ 2024-02-06 - SLASH/ 1.0.0-rc1¶ Celebrating the 18th anniversary of Varnish-Cache and the first anniversary of the SLASH/ storage engines today, your Open-Source Varnish-Cache friends from UPLEX have just tagged the first version 1.0.0 candidate of our extension with storage engines (stevedores) and storage route
あのPHK作HTTP高速化ソフトウェア"Varnish 1.0" | エンタープライズ | マイコミジャーナル
Varnishプロジェクトは20日(ノルウェー時間)、HTTP経由での通信を高速化するソフトウェア「Varnish 1.0」をリリースした。POSIX互換のOS全般で動作するよう設計されているが、現時点ではFreeBSD 6.1-STABLEと7.0-CURRENT、およびLinux(Ubuntu Dapper)での動作が確認されている。 Varnishは、HTTP経由でリクエストされたファイルをキャッシュしておき、次回の通信に使用することで高速化を図る、サーバサイドの高速化技術。対応するプロトコルはHTTP/1.0と1.1、コンパイル時にオプションを指定することにより、ICPとHTCPにも対応可能。サービスを停止せずに設定を変更できる、ランタイムコンフィグレーションもサポート。マルチコア/プロセッサや64ビットCPUを搭載したマシンなど、高速なI/Oスループットを持つハードウェア上で動作
naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
こんなに簡単！ Linuxでロードバランサ (2) : DSAS開発者の部屋
前回までで、 複数のWebサーバにロードバランスする というところまではできました。 これでリアルサーバへ負荷分散することができたのですが、冗長性がありませんでした。つまり、リアルサーバがダウンしても、ロードバランサはそれを認識できず、ダウンしているリアルサーバなのにパケットを送ってしまっていました。 このとき、クライアントから見ると、たまにサーバから応答がないように見えてしまいます。 というわけで今回は冗長化のお話、 リアルサーバのヘルスチェック を紹介したいと思います。 今回はkeepalivedを使います。 おおざっぱにいうと、keepalivedは2つの機能を提供します。 1. ヘルスチェック機構と連携したIPVSでのリアルサーバの管理 (--check) 前回ipvsadmコマンドを使って行ったような、バーチャルIPアドレス (VIP) やリアルサーバの管理を設定ファイルに記述す
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
Hash Balancing with mod_proxy_core - lighty's life
mod_proxy and mod_proxy_core support 3 balancers to spread the load over multiple backends. One of them is Hash balancing which is very good for balancing the load of caching proxies like Squid. If you compare the performance of Hash-Balancing to the classic round-robin balancing you should see a increase of the performance as the backends can use their caches a lot better. With RR each backend ha
みなさんさようなら ---1台で同時50万接続のWebサーバーが登場 - 最速配信研究会(@yamaz)
「もう負荷分散は必要ない」---1台で同時50万接続のWebサーバーが登場 http://itpro.nikkeibp.co.jp/article/NEWS/20060707/242757/ ここまで徹底した製品が出るとはある意味いい時代といえる. こんな製品が出てしまったからにはこんな場末のBlogで 配信技術についてグダグダ話す必要もないだろう. 短い間でしたがみなさんどうもでした. ということには当然ならない.たいていのサービスはこれ1台で全部 まかなえるだろう.ただその代償としてロバストネス(堅牢性)を失う可能性があるからだ. 今までサーバ30台でまかなっていたのがこの製品1台に置き換わったとしよう. そうするとこの1台が落ちたとき＝サービス停止となる.これはうまくないだろう. 「じゃあ2台買えばいいじゃん.」 という意見もあるだろう.そうすると1台落ちたときにもう1台にかかる負荷
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Operational Efficiency Hacks Web20 Expo2009
http://www.denkitv.net/~pbox/mt/2005/08/keepalivedlinux.html
PRE-RELEASE: lighttpd-1.4.12-20060724-0947.tar.gz - lighty's life
19. Squid Realservers (poor man's L7 switch)
Ult Ramon Key.org