NFS + Apache(httpd) でプロセスがロック(STAT = D) - 開発者日記
2008/9/30 2:50 PM | ユキズ 未分類 やっと解決しました。 ご迷惑をおかけしてます。くるまろブログってたまに停止したりしてるんですけど・・・それが解決したと思います。 えーっと、同じ問題にぶち当たった人のために残しときますね。解決法。 ま、あまりこんなことやる人いない(手抜きでめんどくさがりな開発者はやる）と思うけど、 ・ApacheのDocumentRootにNFSマウントしたディレクトリを指定している このときにhttpdプロセスが大量に残ってしまって、最後はスワップを使い切ってフリーズしちゃうという恐ろしい現象です。 言っときますが、このくるまろブログはロードバランサというやつの後ろに、２つのアプリケーションサーバーがいてまして、それぞれ4CPUのメモリ2GB乗ってるんですが、1秒間に数十リクエストまでは耐えられるやろうと思っていたら、たったの１０リクエストぐ
Apache, Cache-Control, 304, 大型サイトで静的ファイルを無駄なく配信 | バレで昼寝
以前にも書きましたが私は某ポータルサイトのシスアド、兼プログラマをしています。月々１億から３億ページビューを裁いていますが、システムの一番大きなコストはトラフィックです。 100MBit専有とまでなると月４０万は軽く行きます。そこでとにかくページビューをあげながらもトラフィックを減らそうと日々努力しています。この記事の目的はハウジングサービスからアマゾンのクラウドフロントに移行した成功例（または失敗例）について書いていきます。 まず、第一回は既存のシステム（静的ファイル用のサーバ）について簡単に説明します。長年、経験を積みながら行った設定です。あくまでも、サーバのスペック、サイトの用途によっても違ってきます。 OS： Gentoo HTTP Server： 最近lighttpdからまたApacheへ ※lighttpdはものすごくライトウェイトだが、バグの対応が遅い、ガンバレMade
mod_proxyのProxyPassReverseの意味がようやく理解できた - うまいぼうぶろぐ
気がする！ なぜProxyPassReverseにbalancer://~~ を設定できないのか *1 なぜProxyPassReverseにajp://~~ を設定できないのか なぜbackendがhttpとajpの場合で、ProxyPassReverseに設定するURLが異なるのか などなど。今まではmod_proxyする機会がほとんどなく適当にお茶を濁していたので、世間の人から相当遅れているとは思いますが、せっかくなので自分用まとめ。思いついたことをつらつらとメモっているからかなり冗長ですが。 追記 20100907 http://ftp.riken.jp/net/apache//httpd/CHANGES_2.2 apache 2.2.12 から、balancer:// のURLにもProxyPassReverseが使えるようにmod_proxyがパワーアップしていました。 *)
メンテナンス中画面を出す正しい作法と.htaccessの書き方 | Web担当者Forum
今回は、Webサイトやサービスをメンテナンス中にする場合に、どのURLにアクセスしても「メインテナンス中です」の画面を出す正しいやり方を、人間にも検索エンジンにも適切にする作法を主眼に解説します。 この週末の土曜深夜～日曜早朝にかけて、データセンターの設備メインテナンスのため、Web担を含むインプレスグループのほとんどのWebサイトが、どのURLにアクセスしても「メンテ中です」という表示になっていました。 なのですが、その実装がちょっと気になったので、「正しいメンテナンス画面の出し方」を説明してみます。 ※2010-01-16 Retry-Afterを指定するHeaderの指定を修正しました（コメント参照） ※2009-06-17 RewriteCondから [NC] 条件を削除しました（コメント参照） ※2009-06-16 Retry-Afterの記述をGMTに変更しました（コメント参
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する : blog.nomadscafe.jp
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能も高く、またConsitent Hashingも使えますし、バイナリプロトコルもばっちりです。 図にするとこんな感じ。revserse proxyのcacheがmemcachedになるので、cache効率が上がり、またApplicationサーバからも同じmemcachedが参照できるのでcacheを変更したりできるかもしれません。 導入 mod_libmemcached_cacheはgithubから入手できます http://github.com/a
mod_xsend_file で画像配信サーバーの負荷軽減 : 管理人@Yoski
合宿で青い人に mod_xsendfile を教えてもらって「あわせて読みたい」に入れてみたら結構いい感じなのでメモ。 ■mod_xsendfile とは PHPなどのスクリプトから静的なファイル（画像ファイルなど）を送信するときに使う便利な apache モジュール。 ■仕組み header("X-Sendfile: （画像ファイルパス）"); と出力すれば、X SendFile がローカルから画像ファイルを引っ張ってきて、Last-Modified などのヘッダ情報をつけて後の処理をしてくれる。 つまり、スクリプトを使っていながら簡単に静的なファイルを送信しているように見せることができる。 （※セキュリティ設定に関係なく、任意のパスを指定できるところがミソ） ■「あわせて読みたい」では これまで、Location: ヘッダをつかってリダイレクトして画像を表示させていた。 この方式の欠点
Apache(Linux)に、Windowsドメイン認証を利用して、シングルサインオンを実現する詳細手順 - 元RX-7乗りの適当な日々
Linuxで稼動させているApacheにて認証が必要なWebサービスに、Windowsドメイン(Active Directory)の認証情報を使って、シングルサインオンを実現させるまでの手順を備忘録として残しておきます。 今回、ブラウザは、IEとFirefoxにて動作確認を行いました。 Windowsドメインログオンをしているクライアントから、上記2種類のブラウザを使うと、NTLM認証※を利用しているWebサービスには、認証済みのドメインログオンの情報を利用することができ、ユーザ名やパスワードを入力する必要の無いシングルサインオン環境が実現できます。 ※NTLM認証（NT LAN Manager authentication）とは - IT用語辞典 e-Words 前提 今回利用した構成は以下のような感じ。 Webサーバ CentOS 5 Apache 2.2 + mod_auth_ntl
[PDF] Apache-Tomcatと冗長なUTF-8表現 (CVE-2008-2938検証レポート) - NTTコミュニケーションズ株式会社 ITマネジメントサービス事業部 セキュリティオペレーションセンタ
Apache-Tomcat と冗長な UTF-8 表現 (CVE-2008-2938 検証レポート) N T T コ ミ ュ ニ ケ ー シ ョ ン ズ株式会社 IT マネジメントサービス事業部 セキュリティオペレーションセンタ 2008 年 9 月 25 日 Ver. 1.0 SR-20080110 1. 2. 3. 調査概要 .............................................................................................................................. 3 UTF-8 とは ..........................................................................................
mod_rewriteでのreverse proxyとRedirect動作 — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
Apacheやlighttpdへのアクセス状況をリアルタイムで確認できる「ApacheTop」を使ってみた - 元RX-7乗りの適当な日々
ApacheなどのWebサーバを運用していると、たまにリアルタイムで今現在の利用状況や負荷などがどうなっているかを確認したくなるときがあります。 そこで、UNIX/Linuxの"top"ライクに、Apacheの使用状況を確認することができるのが「ApacheTop」と呼ばれるツールです。 インストール インストールはパッケージ管理されているものを使うので簡単です。 $ sudo apt-get install apachetopUbuntuやDebianなど、APTを使っているなら↑のような感じ。 $ sudo yum install apachetopFedoraなど、YUMを使っているなら↑のような感じです。 早速使ってみる 使い方は、"-f"オプションでApacheのログファイルを指定して使います。 $ apachetop -f /var/log/apache2/access_log
' + title + ' - ' + basename(imgurl) + '(' + w + 'x' + h +')
Hasta man~ana Si,dios quiere.会社でもぶち当たった問題なんですがwebサーバーとして通常使用されている’Apache’では再起動を繰り返すと以下のログが出力され、起動スクリプト上は起動している様に見えるがプロセスが一切無い状況になる。もちろんコンテンツも表示されない。 ・出力されるログ [emerg] (28)No space left on device: Couldn’t create accept lock Google先生で検索するとやはり同様の症状にて悩まされている人が居るようだ。 上記のログや参考にした[URL]から、Apacheではlockするのにセマフォを利用し使用後になぜかunlockをしない事が原因なのではないかと推測してます。 解決策としては、サーバー自体再起動してセマフォをクリアさせるか、ipcrm コマンドを利用してApacheが利用
Overview — Phusion Passenger™ (a.k.a. mod_rails / mod_rack)
Supercharge Your Web App Passenger has a myriad of features that are invaluable to today’s web apps and microservice APIs. You get these benefits (and more) by simply installing Passenger with Nginx or Apache. Learn how. Optimization Passenger was built with high performance and efficiency in mind. With Passenger’s zero-copy architecture, turbocaching and support for multiple concurrency models, y
mod_perlで親プロセスとのCopy on Writeな共有メモリを増やす方法。 - hideden.hatenablog.com
大量にアクセスがあってMaxClientを大きく設定したい場合、Apacheの1プロセスあたりのメモリを少なくするのが重要。当然アプリ側で大きなライブラリを読み込まずに画像の変換はGearmandにタスクとして投げたりとかの工夫するのも有効だが、fork元になるApacheの親プロセスと子プロセス間でできる限りCopy on Writeな共有メモリを増やすのも有効。 その辺の詳しい仕組み等の話はnaoyaさんがd:id:naoya:20080212:1202830671でしてるのでそこを参考に。linuxカーネルまわりの仕組みって楽しいよね。会社の案件ではFreeBSDサーバーも結構あるんだけどFreeBSDではどうなるのかは知らない。 で、社内にXenなテストサーバーがあるのでまっさらな環境で色々実験してみた。・・・過程を全部書こうとしたら長くなったので省略。地味にpsしたり/proc/
特定のサブディレクトリに別のBASIC認証をかける - Do You PHP はてブロ
BASIC認証のかかっているディレクトリがあり、そのサブディレクトリに別のBASIC認証をかけたい場合があったのでメモ。 たとえば、http://example.com/hoge/ にすでにBASIC認証がかけられているが、http://example.com/hoge/fuga/ に別のBASIC認証「だけ」をかけたい、といった場合です。 簡単に考えると、ディレクティブやディレクティブを2つ並べればうまくいきそうなもんですが、両方の認証がかかってしまいます。 そこで、ディレクティブとディレクティブの両方を使うと期待通りに動作しました。具体的な設定例は次の通り。 <Location ~ "^/hoge/fuga"> AuthType Basic AuthUserFile /path/to/.htpasswd.fuga AuthName "Enter password for fuga" R
【PHP TIPS】 70. mod_rewriteでの/問題：ITpro
mod_rewriteを使う場合、URLに「%2F」が含まれるとApacheの設定によっては思い通りに動作しない可能性があります。 mod_rewriteについては第15回のメーリングリストを参照していただくとして、まずは以下のようなURLを考えてみましょう。 http://example.com/search/keyword%2Fkeyword ここでは、以下のようなルールで変換を行うとします。 RewriteEngine On RewriteRule \/search\/(.+)$ /search.php?q=$1 [L] また、search.phpはmod_rewriteの動作確認用に、以下のような簡単なコードを使用するとします。 <?php echo $_GET['q']; ?> 先ほどのURLにアクセスした場合、search.phpを呼び出して「keyword%2Fkeyword
livedoor Techブログ : nowaのサーバ構成
こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「livedoor Blog」、「フレパ」といった大規模なサービスがありますので、そちらの開発・運用で問題になった点などを参考にしつつ開発を進めています。具体的にはアクセスによる負荷への対策、データベースの分散化、画像のストレージング、冗長性、スケーラビリティといった点になります。 - ポータル(nowa.jp)、CMS(cms.nowa.jp) のサーバ構成 ポータルページ(nowa.jp)とCMSページ(cms.nowa.jp)は、静的なファイルのリクエストを捌く+動的なコンテンツへのリクエストをプロキシするフロントサーバ
【真夏の夜のミステリー】Tomcatを殺したのは誰だ？ (1/3) - ＠IT
【真夏の夜のミステリー】Tomcatを殺したのは誰だ？：現場から学ぶWebアプリ開発のトラブルハック（6）（1/3 ページ） 本連載は、現場でのエンジニアの経験から得られた、APサーバをベースとしたWebアプリ開発における注意点やノウハウについて解説するハック集である。現在起きているトラブルの解決や、今後の開発の参考として大いに活用していただきたい。（編集部） 【第1章】Tomcatが無応答!? トラフィックの多い大規模サイトでは、その負荷のためにさまざまな問題が発生する。それらの問題を回避するには、性能を考慮して作られたアプリケーションや、ノウハウに基づいたミドルウェアのチューニングが必要となる。 TomcatはServletコンテナとしての長い歴史を持ち、多くの採用実績を持つオープンソースのアプリケーションサーバ（以下、APサーバ）だ。大規模なサイトで採用される事例も出てきており、To
負荷分散講習会 Apache編 | feedforce Engineers' blog
ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散？ 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな？ 機能ごとにホストを分割 ウェブサーバとDBサーバの分割（基本過ぎるが一応これも負荷分散）
リバースプロキシを導入する際はmod_rpaf
僕の自宅サーバには２つの Apache がインストールされていて、用途により使い分けています。 * Apache 1.3系 + mod_perl → Amazon Search / Google Similar といった高速性を求めるサービス * Apache 2.0系 → その他の静的コンテンツや 通常用途の CGI 等の動的コンテンツ なぜ使い分けるかというと、mod_perl はメモリー喰いなので、静的画像のためにプロセスがもったいない訳です。本当に必要なリクエストにのみ mod_perl をかませば良いですから。 （参考ページ：リバースプロキシ Pound を導入しました。 : NDO::Weblog） で、２つの Apache を透過的に見せてあげるために、リバースプロキシの Pound を使っています。負荷分散も実装できて優れものですが、欠点が一つ。 リクエストをリバースプロキ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
