naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
「Googleユーザーはみんな使ってる」Webアプリケーションを高速化するアプライアンス
ネットワンシステムズ株式会社は、米NetScalerの「アプリケーションデリバリーシステム」と呼ばれるアプライアンス「NetScalar 9000シリーズ（以下、NetScalar 9000）」の国内独占販売権を取得し、同製品の販売を開始すると7月19日に発表した。ネットワークやサーバーといったインフラを増強せずともアプリケーション処理を効率化することで、レスポンスを高速化し、かつセキュリティを高めることができるという。ネットワンシステムズ ソリューション開発本部 市場開発部 部長の柳下幹生氏にその仕組みなどを聞いた。 ■ アプリケーションのパフォーマンスを平均で5倍高速化 同社によると、アプリケーションデリバリーシステムとは、TCPやHTTPなどの処理の最適化や、アプリケーションレベル（レイヤー7）での負荷分散、さらにDDoSなどの攻撃をフィルタリングすることでサーバーの負荷を低減し、本
[ThinkIT] 第1回：Inside Hatena Bookmark (1/2)
筆者が勤務する株式会社はてなが提供するある一つのインターネットサービスを題材に、LAMP（Linux＋Apache＋MySQL＋Perl）でのアプリケーション開発や、負荷分散について述べるという発表でした。はてなで提供しているサービスには、はてなブックマーク以外にもはてなダイアリー（注2）のような月間何億PV（Page View）もある大きなサービスもあります。はてなブックマークはそれらに比較すると小さい、中規模なシステムです。 システム運用について発表するにあたって、億単位のPVをさばく巨大なサービスについて述べるよりも、ある程度現実的な規模のものについて解説する方が、みなさんの参考になるかなと思い、このテーマを選択しました。 本稿ではYAPC::Asiaでの発表の中からいくつかのトピックを選んで、Perlを使ったシステムの運用や負荷分散のコツなどを中心に解説したいと思います。 なお、発
DSAS開発者の部屋:サーバ管理者向け無精のすすめ 〜ちょっと便利なツールの紹介〜
弊社のLinuxサーバ、ネットワークインフラのDSASの特徴のひとつに、100台近くある全てのサーバの内容が(数個の役割設定ファイルを除いて)同期されているという点があります。 これにより、 スケーラビリティ 予備機をサービス投入するだけで済むので、テレビCMなど突発的な高アクセス時にも迅速な対応が可能です。 増強が容易 サーバをラックマウントしたら適当なサーバからまるまんまコピーすればクラスタに参加可能です。まとまった台数の増強をする際に、いちいちCD-ROMからOSをインストールしていると日が暮れちゃいます。 役割の変更が容易 ディスクの内容が同じなので、もし、メールサーバが故障しても、適当なWebサーバの役割設定ファイルを変更して再起動するだけでメールサーバに早変わりできます。 メンテナンスが容易 ディスク上のファイルを更新した場合は、rsyncなどで全サーバに同期コピーすれば更新完
はてなブックマークの裏側その後 - naoyaのはてなダイアリー
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはてなのサーバー運用概論みたいは話が主なところです。 http://www.thinkit.co.jp/free/article/0610/1/1/ http://www.thinkit.co.jp/free/article/0610/1/2/ せっかくなので現状報告も含めて少し補足をしてみようかなと思います。 現在の数字 記事の中での数字は6月のもので ユーザー：45,000人 ブックマーク数：535万件 ページビュー：5,000万/月 サーバー：17台 となってますが、現在 10 月の方はというと ユーザー: 60,000
はてなのサーバ台数は2chの5倍 : ひろゆき＠オープンSNS 2chのサーバって60台ぐらい
【教えてくん】コミュニティーなのです。 なんかニュースとかあったらここに書こうかと思ってますよ。とりあえず、おいらのブログ はてなのサーバ台数は2chの5倍 はてなCTO伊藤氏が欲しいインフラ技術者・スキル編／Ｔｅｃｈ総研 東京に進出した時点でサーバは50台あったが、冗長性の確保ができず、よく落ちた。今でこそそれが300台に増え、安定性は増したというものの、世の中の社会インフラを支えているような企業のサーバ環境に比べたら、まだ全然チャチなもの。 う～ん、2chのサーバって60台ぐらいだと思うのですが、 5倍の量のサーバを何に使ってるのだろう。。。 ２ちゃんねる/BBSPINK 稼動中のサーバ一覧 http://mumumu.mu/serverlist.html 世帯内のパソコンによるインターネット利用状況 （2006年10月2日(月) ～ 2006年10月8日(日)） http://www
人力検索はてな - サーバなどの機器が大量に増え、命名に困っています。 サーバやネットワークの管理者にお尋ねします。 サーバやハブ、ルータなどの名前はどのように付けていますか？
サーバなどの機器が大量に増え、命名に困っています。 サーバやネットワークの管理者にお尋ねします。 サーバやハブ、ルータなどの名前はどのように付けていますか？ 機器名や役割などをそのまま名前にしている場合もありますが、今回は惑星の名前や星座の名前など、バリエーションが豊富で今後機器が増えても安心な「シリーズもの」を教えてください。 ＜回答として欲しいもの＞ ・どんな名前のシリーズか ・その一覧が出来るだけ多く掲載されているサイトのURL（カナだけではなく英語の綴りも記載されているサイト） ※２つとも必須です ＜除外＞ 以下のものはすでに調査済みですので今回は除外します。 ・惑星 ・衛星 ・１２星座やその他の星座 （自宅でLANを組んでいる方や、何かいい案を思いついた人でも回答OKです）
mixiの画像サーバー :: ぼくはまちちゃん！
http://img-p1.mixi.jp/ HTTP/1.0 404 Not Found Date: Tue, 25 Jul 2006 18:10:36 GMT Server: e-trees.Japan freeocean (e7-3.0) Content-Length: 262 Content-Type: text/html; charset=iso-8859-1 Age: 119 X-Cache: HIT from vagar.mixi.jp Connection: keep-alive X-Tcbaddr: 600027df http://img-p2.mixi.jp/ HTTP/1.1 404 Not Found Content-Type: text/html Content-Length: 345 Date: Tue, 25 Jul 2006 18:12:04 GMT Ser
「もう負荷分散は必要ない」---1台で同時50万接続のWebサーバーが登場
イーツリーズ・ジャパンは，専用LSIを用いたハードウエア処理によって，高さ1.5Uのきょう体1台で50万接続まで可能なWebサーバー専用装置「freeocean」を，2006年7月中旬に出荷する。狙いは「負荷分散装置と複数のWebサーバーを組み合わせたシステム全体を1台で置き換える」（イーツリーズ・ジャパン）こと。価格は機能をWebサーバーに限定し同時接続3万2768コネクションまで可能なエントリ機種が400万円（税別），キャッシュ機能を備えた機種が600万円（税別）。販売目標は今期300台。 freeoceanは，HTTP，TCP/IP，イーサネットなどWebサーバーの機能に必要な最低限のプロトコルをFPGA（Field Programmable Gate Array）で実現したWebサーバー専用装置である。ハードウエアによるHTTPサーバー機能に加え，Perl言語処理系やServlet
I, newbie » サーバのテストって自動化してますか
設定を変えるたびに、意図した動作をするかどうか確認するのはよくある作業ですが、つまんない作業だし、手作業である限りほんとにテストをパスしたかは作業者に依存してしまう。Webアプリの世界ではそこそこ自動化されているようだけど、サーバ管理一般となると、あまり普及していないように見える。実際、自分も新しいサーバを作るたびに、手作業であれやこれや各種の確認作業をやっていた。でも、いいかげん21世紀なのだから自動化でしょ、とテストのスクリプトによる自動化をちょっと前から考えていた。 特定用途に特化したサーバの面倒だけなら、expectあたりでhackすればいいのかもしれない。けど、やりたいのはもっとgenericで、開発->テスト->本番環境で常にテストを実行できて、変更履歴も残せて、作業者の変更は上級作業者の承認を経ない限り本番環境に反映できないようなプロセス。stagingとauditはcfen
愛の死体安置所 - Content ステップバイステップでApache + PHP をセキュアに
lovemorgue.org This domain is registered for one of our customers. If this is your domain name, please visit this page to see how to register it as DNS zone into your account. Note: If you already have registered the DNS zone for your domain name, please wait for DNS propagation. Your web site will be displayed soon. It may take few minutes.
sshで指定したコマンドしか実行できない公開鍵を作る - 技術メモ帳
自動バックアップ処理をさせたいが シェル権限を与えたくないときとかに使える技。 やり方は簡単で $HOME/.ssh/authorized_keys の "コマンドを制限したい公開鍵" の行の先頭に 実行させたいコマンドを記述すればよい。 そのときのフォーマットはだいたい以下のようになる。 command="実行させたいコマンド",sshのオプションをカンマ区切りで書く command=hoge というのを付け足すことによって その公開鍵でアクセスがあったときに 指定したコマンドを実行させることができる。 たとえば、uptime を実行させたいときは、 以下のようにすればよい。 command="uptime",no-pty,no-port-forwarding,no-X11-forwarding,no-agent-forwarding ssh-rsa AAAABbBFERTWER....
GIGAZINE最大の挑戦、LoadAverage「86」から「3」へ
というわけで、再び負荷を下げる方法を模索した、戦いの記録。 1.MySQLの設定を変更して高速化 2.Zend Optimizer 3の導入 3.ionCube PHP Acceleratorの導入 4.テンプレートの見直しでクエリーを減らす 5.robots.txtでクロールする間隔を制御する 6.MySQLの設定を負荷を低くする設定に変更 7.キャッシュを有効化する 前回解説した「GIGAZINEのLoadAverageを「27」から「2」へ下げた方法」から約3週間後、6月20日（火）の夜、気がつくと負荷の15分平均は「25」をコンスタントに吐き出すようになり、さらに訪問者は急増、ついに6月28日（水）12時45分、負荷対策の効果がほとんど出ないまま、LoadAverage15分平均は「86」に…。 何か対策が根本的に間違っているのだろうか？それとも、もうGIGAZINEサーバのハード
cyano: 30万個ぐらいの静的ファイルを配信するサーバーの選び方
naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 弊社の画像配信サーバーには、平均10kbぐらい（たぶん）の画像が30万個ぐらいあって、それをDell PowerEdge 1750+lighttpdを使って配信してます。 以前は搭載メモリ1GBのサーバーを使っていたのですが、その時のvmstatがこのような感じ。 procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu---- r b sw
内部向け DNS サーバの構築 - Linux で自宅サーバ [ Home Server Technical. ]
DNS サーバとして有名な BIND を使用して、LAN 内部向けの DNS サーバを構築します。 LAN 内部向けの設定ですので、外部（インターネット側）からのアクセスは一切関係ありません。 LAN 内に サーバ以外のパソコン（以下、クライアント）がある場合、クライアントから自分のドメインでアクセスした場合、 ルータの設定画面が表示されます。これは簡単に言うと、LAN 内の名前解決が出来ていないからです。 クライアント毎に hosts ファイルを設定しても良いのですが、クライアントが複数台ある場合、その設定を行うのも面倒ですよね。 そこで、LAN 内部の名前解決を一括管理する DNS サーバを構築します。 このページでの実現させる事を以下に示します。 LAN 内からのみこの DNS サーバを使用可能 LAN 内からドメイン名でアクセスする様にする hosts ファイルには極力記述しない
DNS HOWTO
Nicolai Langfeldt (dns-howto(at)langfeldt.net), Jamie Norrish 他Version 9.0, 2001-12-20 中野武雄 nakano(at)apm.seikei.ac.jpv9.0j1, 2002-02-03 短時間で DNS 管理者になる方法。 1. 前書き 1.1 法的なこと 1.2 謝辞とヘルプ募集 1.3 献辞 1.4 最新版 2. はじめに 2.1 他のネームサーバの実装 3. 名前解決とキャッシュを行うネームサーバ 3.1 named を起動する 3.2 レゾルバ 3.3 おめでとう 4. フォワード (forwarding) 5. 単純なドメイン 5.1 でもまず最初に退屈な理論 5.2 自分のドメインを作る 5.3 逆引きゾーン 5.4 気をつけてほしいこと 5.5 なぜ逆引きが動作しないのか 5.6 スレーブ
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
画像配信の負荷分散も比較的簡単？（その4） - 最速配信研究会(@yamaz)
http://d.hatena.ne.jp/yamaz/20060509の続き. 初めての方は画像配信の負荷分散も比較的簡単？（その1）からどうぞ. Googleはimages.google.com 1つで1,187,630,000(11.8億!)の画像を保持している(ように見える).1つの画像が10KBだったとしても12.5TBの画像を保持していることになる. GoogleがこんなことができてるのはGoogleFileSystemがあるからだ. http://labs.google.com/papers/gfs.html GoogleFileSystemは簡単に言うとデータバックアップ機能つきの分散NFSのようなものだ. GoogleFileSystemに関しては上記URLのPDFに詳しいので,そちらを参照してほしいが,基本的な考え方は今まで負荷分散の考え方となんら変ることはない.つまり
画像配信の負荷分散も比較的簡単？（その2） - 最速配信研究会(@yamaz)
http://d.hatena.ne.jp/yamaz/20060426 の続き.待ち行列理論に従うと遅延のないサービスを行うためには サーバの単位時間のリクエスト処理能力 > ユーザの単位時間のリクエスト数 という非常に単純なことを行えばいいことになる.「なにをあたりまえのことを...」と思われるかもしれないがもうちょっと付き合っていただきたい. ところでたいていのBlogや画像サービスのサービスURLはこうなってる. http://ホスト名/<ユーザ名>/ http://ホスト名/id?ユーザ名 http://ホスト名/ディレクトリ名/コンテンツ名 例で言うと下記のような感じだ. http://d.hatena.ne.jp/yamaz/ http://mixi.jp/show_friend.pl?id=128497 http://i.yimg.jp/images/search/head
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux Square全記事インデックス