PlackをProxyサーバーに使う意義 - とほほのN88-BASIC日記
ircで聞いたときはうまく説明できなかった＆tokuhiromさん、Yappoさん、kazuhoさんに直接教えてもらったのでまとめとくなり。 Proxyサーバーを作ることになった。 こんな感じのやつ。 で、これの問題として対抗のサーバーの応答速度が遅い場合があってそこにProxyサーバーが引きずられる点がある。つまりクライアントからの毎コネクションが比較的長くなりがちなサーバーをいかに効率よく組むかという課題がある。 最初は勘違いして他のサーバーへの問い合わせの間に他のことをして全体の応答速度を速くする、つまり非同期化によるメリットを模索していたんだけど、1回の応答で他サーバーへの問い合わせがたくさんあるようなクローラーみたいなことをする場合はメリットがあるけど、基本的に1回の応答で他サーバーへの問い合わせは1回だし、コンテンツを持ってくる以外にも処理はあるけど、処理時間の多くはこの1回の
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた : 404 Blog Not Found
2010年01月12日21:00 カテゴリTips tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた 体調が悪くてあまり難しいことを考えられない時には、こういう単純作業にもってこい。というわけで、 Ubuntu 9.10 とドライブドアで、型落ちの MacBook Pro 2,2 を 8TB RAID-5 Serverに仕立てたので備忘録。 理由 2TBのHDDが15kで売ってたらいつの魔に買っていたので。 ここではなりゆき上お古の MacBook Pro 2,2 を使っているが、port multiplier 対応の e-SATA 付きの Ubuntu BOX ならなんでも使えるはず。 材料 センチュリー ドライブドア SATAボックス5BAY EX35ES5 日立GST Deskstar 7K2000 (2TB/SATA3G/7200rp
Plack::Server::Standalone系を使ってウェブアプリケーション開発と運用が楽になる話 - JPerl Advent Calendar 2009
Plack::Server::Standalone 系を使ってウェブアプリケーション開発と運用が楽になる話 - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ 既存の環境に対する不満 Perl のウェブアプリケーションを構築するにあたっては、リバースプロキシと mod_perl を組み合わせるか、あるいは FastCGI (ExternalServer) を利用するのが一般的だと思います。しかし、どちらをとっても、環境を構築して設定するのが難しいというのが個人的な不満でした (mod_redirect を設定したり mod_fastcgi にパッチをあててインストールしたり startup.pl を書いたり...)。自分が Plack の開発 (主に Server::Standalone と Server
gitレポジトリをhttpで公開する
Original Setting up a git repository which can be pushed into and pulled from over HTTP(S). まだ試しちゃい無いんですが、gitレポジトリをhttpで公開したくなった場合にどうすればいいのかについて。 何が必要か Apache ウェブサーバをもっていること Apache の設定ファイルを編集できること 設定ファイルは /etc/httpd にあるか、 Apache のドキュメントを参照してください。 Debianの場合: /etc/apache2 下にあるファイルを編集できる必要がある。 Apache を再起動できること 'apachectl --graceful' とするかもしれません。 もし、そうしない場合、 Apache を停止して、再起動してください。 注意してください、これによりあなたのサー
vsftpd インストール | CentOS » ひくら.net
* vsftpd インストール | CentOS Posted on 6 月 22nd, 2008 by ひくら。. Filed under CentOS, vsftpd. vsftpd インストール proftpdのインストール方法から設定まで記載しとうと思ったけど 今回はCentOSに標準で入っているvsftpdを記載します。 ■インストールされているか確認 ▼RPMコマンド # rpm -qa | grep vsftpd ————————————————————————– vsftpd-2.0.5-10.el5 ————————————————————————– ▼YUMコマンド # yum list vsftpd インストールされていれば[installed]と表示される。 ※新しいバージョンが出ていれば、[updates]と表示されるかな ——————————
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
naoyaのはてなダイアリー - YouTube の負荷
なんつったって動画ですよ。 ブログとかmixi日記のようなテキストレベルのコンテンツに比べて、はるかにサーバーにかかる負荷は高いはずです。 YouTube と mixi を比較して "負荷" の話をしていて、「動画配信だから負荷が高い」と断定していますが、これは何を"負荷"とするかにもよるかなと思います。 "負荷" というと CPU load や I/O などリソースの消費っぷりを指す言葉というイメージがありますが。(一般的には違うものでしょうか?) そういう意味での負荷で言ったら、「YouTube = 動画 / mixi = テキストだから YouTube の方が負荷が高い」という断定はやや微妙です。負荷の種類が違うのです。 YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信に
【メモ】サーバ負荷計測まとめ（結局、sysstatインストールした）
cronを使ったログの記録にも自動的に対応してくれる。 ちなみにOSはCentOS 5、インストールされたsysstatは7.0.3だった。バージョンの違いは気になる（最新版からすると相当古い？）けど、別に動けばいいから気にしないことにする。実際問題なく動いた。 計測の対象にする値の設定 とりあえずサーバの健康状態を把握するのに必要だと思われる数値は以下の4つ、ということにしてみる。 Load Average CPU使用率 iowait メモリ使用率 計測の対象にする値について Load Averageはざっくり言うとCPUとディスクI/Oの合算なのでボトルネックの把握にはならないけども、ざっくり負荷が掛かってるか否かを判断する時には役立つ…よね？（不安）ここでid:naoyaさんが書かれているとおり、マルチコアでの正常値の算出のためにはある程度負荷が掛かっていることが重要（低負荷だとCP
「load average」によるCPU負荷の確認
Solaris 8でメールサーバを構築しています。以前、サーバの応答が遅くなった際、CPU負荷を確認しようと思いましたが、Solaris 8にはtopコマンド*がありませんでした。そこで、uptimeコマンドを使用したのですが、出力の「load average」の単位が分かりません。非常に応答が悪い状態でも、「1」や「2」という値なので、CPU使用率ではないようです。この単位を教えてください。 run queueとwait queue 「load average」は、run queueに入っているジョブ*の数を表しています。run queueとはCPUに割り当てられたジョブが入れられる待ち行列のことで、CPU数が1つのときに「2」と表示された場合、CPUは2つのジョブを実行しています。この平均値が「load average」であり、左から1分、5分、15分間のrun queueにあるジョブ
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
apache2.0のMPM ( Multi Processing Module ) とは - end0tknr's kipple - web写経開発
はじめに Multi Processing Moduleという名称からも分かるように、mpmとはapacheの並列処理を行うmoduleです。 apacheのmpmには、マルチプロセスのpreforkと、マルチスレッドのworker(※)がありますが、今回はこれらについてまとめてみます。 ※正しくはworkerではマルチスレッドに加えマルチプロセスも使用しています 尚、mpmの詳細な解説は次のurlをご覧下さい。 http://httpd.apache.org/docs/2.0/ja/mpm.html プロセスとスレッドの違いから、preforkとworkerを理解 mpmを紹介する前に、プロセスとスレッドを理解する必要があると思います。 まず、プロセスはプログラム実行時に固有のメモリ空間を持ち、独立性の高い実行単位である為、起動やプロセス切替の時間を必要とします。これに対して、スレッドは
お名前.comのVPSサーバを使うまで - UNIX的なアレ
安くて手軽に使えるVPSサーバないかなーと探していたら、見つけましたよ。お名前.comのVPSサーバです。 初期費用は5250円かかりますが、月額2940円でグローバルIPアドレスもらえてroot権限つきなら悪くないですね。 ざっくりとしたスペックは下記の通り。この価格ではなかなかのスペックだと思います。 OS CentOS 5.3 仮想化ソフトウェア Virtuozzo ディスク容量 50GB メモリ(最大) 1GB 詳細は下記から。 VPS｜ドメイン取るならお名前.com というわけでさっそく申し込みました。しかしながら、yumが使えない状態になっているのでいろいろとセットアップしました。 ちょこっとそのセットアップ手順をメモがてら載せておきたいと思います。 ファイアーウォールの設定 標準では、sshで使用される22番ポートは閉じられています。まずはセキュリティの設定からポートを解放し
第九研究室だより:キタコレ！自作サーバ時代
2009年10月02日 キタコレ！自作サーバ時代 去る9月25日に第二回ライブドアテクニカルセミナを開催しました。セミナー内容と詳細はこちらで↓ 第ニ回 ライブドア テクニカルセミナー・ログ それぞれの発表はとても興味深く、そして面白いものだったのですが、特にpixiv上園さんの発表にあったボードコンピュータは圧巻でした。 マザーボードをそのまま剥き出しのままでラックにマウントされている様子の写真です。 pixivさんのマシンルーム (c) pixiv ラックといっても、19インチのサーバマウント用ラックではなく、普通の業務用(オフィス用)ラック、つまり、棚です。このラックにマザーボードをそのまま乗せると、基盤裏の配線部分がショートする恐れがあるため、最初、枕木の上に載せていたそうですが、基盤上の部品の自重でボードが撓んでしまうので、最終的にはベニア板を敷く事にしたそうです。 pixivさ
オライリー・ジャパン『Make』にはてな自社サーバー開発記掲載＆id:marqsのサーバ開発こぼれ話 - はてな広報ブログ
オライリー・ジャパンから出版されているMake: Technology on Your Time Volume 08という自作/DIY系の季刊誌に、インフラ担当のid:marqsがはてな自社開発サーバーの記事を書きました。 今日は、本誌では書ききれなかったはてなサーバー開発のこぼれ話をご紹介します。 自社サーバー開発までの道のり はじめまして、はてなでエンジニアとして働いているid:marqsです。 2008年5月にはてなに入社して以来、東京オフィスにあるインフラチームに所属しています。インフラチームの中でも、データベースのメンテナンスや、ログ解析、ハードウェアの購買/投入プランニングなどを主に担当しています。 はてなでは、今年5月に新たにサーバーを開発したのですが、実は初期から自作サーバーでサービスを運用していました。旧自作サーバーはid:jkondoが京都の板金工場に依頼して作ったサー
Webサーバから始めよう
Webサーバから始めよう：いまさら聞けない!? Web系開発者のためのサーバ知識（1）（1/2 ページ） プログラマの弱点（？） ある程度の規模の開発プロジェクトでは、上流工程と下流工程、開発担当とサーバ担当、さらに開発担当のなかでもバックエンドのロジック担当とフロント周りの担当など、分業体制で進めていくのが一般的です。 ここまできっちりと分業されていない場合でも、コーディングはプログラマが行い、本番向けのサーバ構築などは詳しい人に任せてしまうといったことは多々あります。 こういった分業体制はもちろん理に適ったことなのですが、開発者が常にプログラマに徹してしまっていると、どうしてもサーバ知識が不足しがちになります。アプリケーションを動作させるために必要な最低限の環境を自分のPC上に整えたら、あとはひたすらコーディングの日々といったことの繰り返しになるので、なかなかサーバ知識が深まりません。
lsyncdをつかって簡単にファイル同期を - UNIX的なアレ
lsyncdというツールをご存じでしょうか？これを導入することで、リモートのホストとディレクトリ単位で同期をすることができます。 先日のエントリーでも紹介していますが、実は設定や導入がすごく簡単です。した設定でリモート間でファイルの同期をとれるのはやはり便利ですよね。 さて、今回はlsyncdの簡単な導入方法を紹介したいと思います。 lsyncdの仕組み lsyncdはlinux kernel2.6.13で導入された、inotifyというAPIをつかって動作しています。 inotifyはファイルシステムのイベントを取得することができるAPIで、ファイルの作成や削除などをそれぞれイベントとして取得をすることができます。 この仕組みと、rsyncを組み合わせてファイルの同期を行うことを実現しています。 lsyncdのインストール まず、以下のページからsourceをダウンロードしてください。
検証！安定しているのはどっち？
Apacheとlighttpdの安定性はどのくらい？ 「第2回：性能検証！早いのはどっち？（http://www.thinkit.co.jp/article/119/2/）」は、Apacheとlighttpdのパフォーマンス面について、2種類のベンチマークツールを利用して、どちらのWebサーバーが速いのか検証を実施しました。その結果、リクエストの処理量でlighttpdがApacheを下回ることは無く、パフォーマンス面ではApacheと比較してlighttpdの方が優れている結果となりました。 しかしシステムとして多少パフォーマンスが良くても、安定したサービスが提供できなければ実際に運用するのは厳しいでしょう。そこで、今回はApacheとlighttpdの安定性について取り上げ、どのくらい安定して稼働することができるかを検証していきます。 何をもってして安定していると評価するか Webサー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
低価格サービスを実現する、さくらインターネットの「自前」戦略 