livedoor Techブログ : ウェブサービスのサーバ増設の基本（1台構成から仮想化まで）
お疲れ様です、スエヒロです。 先日発売されました、弊社技術陣が執筆した「4Gbpsを超えるWebサービス構築術」、お手に取って頂けたでしょうか？ ウェブサービスの負荷対策、分散技術など、実用的な話が盛りだくさんの本書ですが、本日は実際に稼働しているサービスのサーバスケールアウト方法を、弊社サービス「livedoor ニュース」を例にしてご紹介したいとおもいます。 0. 問題点の把握 2003年オープンしました「livedoor ニュース」ですが、当時はアクセス数、データ量も少なかったため、サーバ1台で運用していました。 静的な画像やcss、javascriptへのリクエストを処理するapache（80ポート）と、動的コンテンツへのリクエストを処理するmodperl組み込みのapache（8080ポート）を切り分け、mod_rewriteでリバースプロキシし、リクエストをながしています。リバ
今後のロード・バランサはサーバー数を動的に変える
今後のロード・バランサはサーバー数を動的に変える 米Coyote Point Systems President Michael C.Hayes氏 負荷分散装置（ロード・バランサ）として必要な機能をシンプルに追求することで低価格化を図るベンダーが，米Coyote Point Systemsである。PCサーバーとFreeBSDベースのアプライアンスを開発/出荷している。負荷分散本来の目的とは異なる機能を削ぎ落としつつ，VMware仮想サーバーに対する負荷分散機能など，負荷分散の価値を高める各種の機能拡張に取り組んでいる。2009年2月2日には，ハードウエアを一新した新シリーズ「Equalizer GXシリーズ」を出荷。ITproでは，同社Presidentに，負荷分散装置の動向や需要について聞いた。 負荷分散装置市場での米Coyote Point Systemsの位置付けは。 ミッドレンジの
I, newbie » 自分ならシリーズ: はてなの障害
「きょうもはてなのサービスにつながらない」そうで。この記事を書いている最中も部分的にダメ。障害情報が比較的充実しているので、思考実験。はてなのサービスは間接的にしか使っていないのであまり関係ないのですが、システム管理者の性みたいなもんです。 「障害・メンテナンス情報 - はてな」と「メンテナンス・障害情報 - livedoor」を比較すると(額面どおり取れば)一目瞭然ですね。可用性という点で、あの事件の時も感心したけどlivedoorの中の人はすごい。企業の規模が違うかもしれんけど。過去の経験から言うと、これだけユーザに見える形での障害があるということは、裏ではもっと深刻な問題が起きているのは間違いない。 で、何が起きているのか想像してみると、 障害情報を見る限り、だいたい高負荷が原因 緊急対応は、障害発生からおおむね1時間以内で完了している 対策がサーバの再起動もしくはサーバの追加 水平
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
DSAS開発者の部屋:パソコン1台ではじめるロードバランサ体験
昨日書いたの通り，記事を寄稿したWEB+DB PRESS Vol.37が，今日発売になりました．それを記念して(?)，記事の内容が簡単に実験できるパッケージを公開します． これは，VMWareを使って，だれでも直ぐにロードバランサの実験を始められるパッケージになっています．何台もマシンを集めたり，Linux をインストールする必要は一切ありません．無償配布されているVMWare Playerがあれば，いつでもどこでも実験ができます． もちろん，このブログで去年の夏に公開した4つのエントリ こんなに簡単！ Linuxでロードバランサ (1) こんなに簡単！ Linuxでロードバランサ (2) こんなに簡単！ Linuxでロードバランサ (3) 高トラフィックに対応できるLinuxロードバランサを目指して〜LVSをNATからDSRへ の実験もできます． ダウンロードはこちらからどうぞ(75MB
YappoLogs: 用途別にapacheのプロセスを分離して最適化
用途別にapacheのプロセスを分離して最適化 Yappoの本番環境って凄く手抜きしてて、一つのhttpd.confにstaticとmod_perlとcgiとphpな環境がごちゃ混ぜになってるんですよね。 問題ないように見えるようで実はmod_perlなアプリってメモリ食いまくりだから(数十MB)、性的なコンテンツを沢山のhttpdプロセスで処理するって事が出来ないのね。 まぁそんなケースは滅多にないけど。 mod_perlは8個くらい上がってれば十分で、その分メモリに余裕を作って他の事やろうとすると、静的なコンテンツの為のhttpdが足りなくなる。 みたいなジレンマがあって、いいかげんapacheの分離作業をやりました。 分離された物にフロントのapacheがprxoyする感じで。 昔のhttpdな構成をまとめると +-----------------------------------
naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
「もう負荷分散は必要ない」---1台で同時50万接続のWebサーバーが登場
イーツリーズ・ジャパンは，専用LSIを用いたハードウエア処理によって，高さ1.5Uのきょう体1台で50万接続まで可能なWebサーバー専用装置「freeocean」を，2006年7月中旬に出荷する。狙いは「負荷分散装置と複数のWebサーバーを組み合わせたシステム全体を1台で置き換える」（イーツリーズ・ジャパン）こと。価格は機能をWebサーバーに限定し同時接続3万2768コネクションまで可能なエントリ機種が400万円（税別），キャッシュ機能を備えた機種が600万円（税別）。販売目標は今期300台。 freeoceanは，HTTP，TCP/IP，イーサネットなどWebサーバーの機能に必要な最低限のプロトコルをFPGA（Field Programmable Gate Array）で実現したWebサーバー専用装置である。ハードウエアによるHTTPサーバー機能に加え，Perl言語処理系やServlet
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
