GIGAZINE最大の挑戦、LoadAverage「86」から「3」へ
というわけで、再び負荷を下げる方法を模索した、戦いの記録。 1.MySQLの設定を変更して高速化 2.Zend Optimizer 3の導入 3.ionCube PHP Acceleratorの導入 4.テンプレートの見直しでクエリーを減らす 5.robots.txtでクロールする間隔を制御する 6.MySQLの設定を負荷を低くする設定に変更 7.キャッシュを有効化する 前回解説した「GIGAZINEのLoadAverageを「27」から「2」へ下げた方法」から約3週間後、6月20日（火）の夜、気がつくと負荷の15分平均は「25」をコンスタントに吐き出すようになり、さらに訪問者は急増、ついに6月28日（水）12時45分、負荷対策の効果がほとんど出ないまま、LoadAverage15分平均は「86」に…。 何か対策が根本的に間違っているのだろうか？それとも、もうGIGAZINEサーバのハード
負荷対策概論 - Y-110's Wiki
最新文章 2018-12-26 17:10▪ 致敬英雄，致敬不朽的精魂 2018-12-26 17:10▪ 四十年来闵行人的文化生活史一幕幕回放 2018-12-26 17:10▪ “笔尖上的童画”——欢图学员作品成果展将在东方网文化活动... 2018-12-26 17:10▪ “金色热线”12月27日将迎来年终特别节目 2018-12-26 17:10▪ 北京市发布持续低温蓝色预警信号 2018-12-26 17:10▪ 北京市网信办推进自媒体账号专项治理关闭11万个 2018-12-26 17:10▪ 有创意的崇明“橘农”让梦想和情怀扎根农场 2018-12-26 17:10▪ 突发！上海地铁3、4号线晚高峰运行延误系人员进入线路 2018-12-26 17:10▪ 中国经济总量将达90万亿关键时刻传递重要信息 2018-12-26 17:10▪ 海底捞："吃出卫生巾"系人为当事顾客
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
.htaccess設定を自動作成「.htaccess generator」 - ネタフル
Automatic .htaccess generatorというエントリーより。 The .htaccess file generator web site lets you enter specifications into a web form, automatically creating your .htaccess file based on your specifications. Lifehackerで、フォームを埋めるだけで自動的に.htaccessファイルが生成される「.htaccess generator」が紹介されていました。 よく分からない人には全く意味不明な.htaccessですが、これを使えば多少は問題解決するでしょうか。
Flickr開発者が語るネットサービスの高速化方法
Web2.0としてくくられるタイプの各種ネットサービス、いわゆるウェブアプリは以前とは比較にならないほど動的生成されるものが多く、結果としてものすごい負荷をシステムにかけるわけです。 というわけで、海外におけるデジカメ画像共有サービスの代表的なものである「Flickr」の開発者がJavaScriptを高速化する手法について解説しています。 Vitamin Features >> Serving JavaScript Fast 手順を分割して簡単にしてみたり、キャッシュを使ったり、転送量を圧縮して帯域を節約したりいろいろあるようです。なお、GIGAZINEはキャッシュシステムを採用して有効活用することで負荷を現在、当初の12分の1に抑えています。 また、こっちはリバースプロキシによる高速化手法。 ViSolve.com - Squid Support Service Apacheのモジュール
mizzy.org : mod_rpaf よりも mod_extract_forwarded
mod_rpaf よりも mod_extract_forwarded Posted by Gosuke Miyashita Wed, 17 May 2006 00:54:26 GMT リバースプロキシな環境では mod_rpaf 使ったりすることが多いと思いますが、バックエンドの apache でアクセス制限かける場合には、mod_extract_forwarded を使ったほうが良いよ、というお話。 バックエンドの apache 2.0 + mod_rpaf な環境で .htaccess によるアクセス制限をかけようとしても、接続元の IP アドレスではなく、pound の IP アドレスで制限がかかってしまう、という現象に悩まされました。で、ソースを眺めてみると mod_rpaf は ap_hook_post_read_request で実行されているのに対し、mod_access は
GIGAZINE - Apacheを「Ultra Monkey」で高可用性ロードバランスクラスタ化
ロードバランス、いわゆる負荷分散について。商用クラスタソフトウェアを使わずにオープンソースソフト群である「Ultra Monkey」というのを使ってなんとかしよう、というお話いろいろ。 How To Set Up A Loadbalanced High-Availability Apache Cluster | HowtoForge - Linux Howtos and Tutorials Apacheのノード2つ、ロードバランサーのノード2つを組み合わせて負荷分散を行うという仕組みです。 Ultra Monkey: http://www.ultramonkey.org/ Ultra Monkey:（日本語版） http://ultramonkey.jp/ SourceForge.jp: Project Info - Ultra Monkey http://sourceforge.jp/p
Apacheのセキュリティ設定例
■ Apacheのセキュリティ対策 Apacheをインストールしたままの状態及びhttpd.confを設定例で行っただけでは不十分です。 c:\usr\apache\htdocs\manual c:\usr\apache\icons \manualと\icons、２つのフォルダがアクセスを許したままになっています。ここは対策をしなければなりません。少し面倒ですが、ちょっと変わった対処法を紹介します。 図は、ブラウザでhttp://localhost/manual/とhttp://localhost/iconsへアクセスを行った時の例です。 ■ \iconsフォルダへのアクセス対策 c:\usr\apache\confフォルダのhttpd.confリストより、次の580〜587行の定義を見つけてください。そして、584行目のNoneをAllと書換えて下さい。 580：
cyano: 30万個ぐらいの静的ファイルを配信するサーバーの選び方
naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 弊社の画像配信サーバーには、平均10kbぐらい（たぶん）の画像が30万個ぐらいあって、それをDell PowerEdge 1750+lighttpdを使って配信してます。 以前は搭載メモリ1GBのサーバーを使っていたのですが、その時のvmstatがこのような感じ。 procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu---- r b sw
いきなりWebサイトの管理をしろといわれても…… ― ＠IT
いきなりナウでヤングなWebサイトの管理をしろといわれても…… ～Webサーバアクセスログ調査編～：ツールを使ってネットワーク管理（7）（1/9 ページ） Webをナウでヤングにして、世間の注目を集めたい？ 律子さんの会社には一応Webサイトがあるのですが、ほとんど更新されることもなく、いったい誰が更新しているのかすら分からないほど存在感がありません。律子さんもまめにOSやサーバをアップデートしたりはしているのですが、ページ自体についてはあまり考えたこともありません。 ある日のこと、急に社長が思い立ったのか、会議の席で「わが社のホームページもナウでヤングなものにして、世間の注目を集めたいのだ」といい出したらしく、サイトをリニューアルすることになったようです。 そして会議に出ていた部長から呼び出されます。 部長 「律子君、君も聞いていると思うがホームページをリニューアルしようかということにな
Apache 2.2でWebサイトをパフォーマンスアップ！（1/3） ― ＠IT
■ドキュメントキャッシュ機能の見直し メモリキャッシュやディスクキャッシュなど、HTTPコンテンツの動的キャッシュ機能が強化されました。開発バージョン時よりも安定性が向上し、Apache 2.2では実用的なレベルになっています。キャッシュ機能を用いることで、一般的にHTTPサービスの応答性を向上させることができます。 また、Apacheをリバースプロキシサーバとして利用する場合もキャッシュ機能を利用可能です。 ■プロキシ機能によるロードバランシングの実現 プロキシでロードバランス機能を実現するmod_proxy_balancerモジュールが追加されました。HTTPやFTPサービスはもちろん、Apache Tomcatなどのサーブレットコンテナとの通信で使われるAJP13プロトコルのロードバランス機能も提供します。 バランシングの制御は、「リクエスト回数」と「トラフィック量」の2つのアルゴリ
接続数／帯域制限で無法なダウンローダを撃退（1/4） ― ＠IT
画像の直リンクやコンテンツの一括ダウンロードなど、サーバに負荷を掛ける迷惑行為は後を絶たない。今回は、これらへの対処法を紹介する。（編集部） 本連載を締めくくるに当たり、今回はこれまでに紹介し切れなかった運用術や特殊な設定を取り上げます。 Refererを使った画像ファイルへの直リンク禁止 URLさえ指定すれば、他サイト上の画像ファイルをあたかも自サイトのコンテンツであるかのように表示させることができます。こうした行為は著作権上の問題を内包するほか、画像などのファイルを転送するための負荷を他サイトのために負担させられることになります。Webサイト運営者として、こうした行為を禁止したいと思うのは当然のことでしょう。 Webブラウザは、コンテンツのリクエスト情報中に参照元URLを埋め込むことができます。具体的には、HTTPリクエスト中のRefererヘッダを利用します。この仕組みを利用して、W
apacheのログから帯域幅を得るスクリプト:calc bandwidth:phpspot開発日誌
calc bandwidth calc bandwidth を使えば次のような出力をapacheのログから計算して出力できる。 Yesterday's bandwidth: 2131.6 KBytes Today's bandwidth so far: 43327.4 KBytes Change in bandwidth: 1932.7% Time covered in today's log: 72247 seconds, (83.6% of day) Estimated change in bandwidth (by midnight): 2311.3%使い方は、ダウンロード後、スクリプト上部のapacheのログのパスを書き換えてコマンドライン等で実行するだけ。
Tips for Developing Apache 2.0.x modules
[ はじめに | 排他処理 | 共有メモリ | ファイル入出力 | 書式指定 | リクエストの処理 | C++ | デバッグ | 参考文献 ] はじめに このページでは，私が Apache 2.x 向けのモジュール開発の過程で得た Tips について紹介しています． 排他処理 他のプロセス及びスレッドに対して排他処理を行うには apr_global_lock_t が，他のスレッドに対して排他処理を行うには apr_thread_mutex_t や apr_thread_rwlock_t が利用できます． apr_global_mutex_t の使い方 基本的には，次の手順で使用します． post_config ステージ apr_global_mutex_create を使って apr_global_mutex_t を生成． 必要に応じて unixd_set_global_mutex_per
IISのログを楽々解析するWeblog ConvertとApacheLog Viewerのノウハウ
IISのログを楽々解析するWeblog ConvertとApacheLog Viewerのノウハウ スポンサード リンク このブログの昨年度人気記事アクセスランキングの公開を行いましたが、この解析作業は今年は困難を極めました。例年通りなら昨年中に公開する予定でした。これは、IISのW3拡張形式で日付別ファイルという、少し特殊なフォーマットで、分量が12ギガバイトもあったため、解析するソフトウェアや手法がわからなかったのが原因でした。 エンジニアの友人に相談すると、「Perlでごにょごにょすると簡単ですよ」という回答をもらえるのですが、確かにそりゃそうなのですが、簡単にやりたかったわけで、そのごにょごにょが、日曜プログラマの私には結構なコストなのです。 そこで新年になってから「はてな人力検索」に質問してみました。 http://webmaster.hatena.ne.jp/113642744
ValgrindでApacheモジュールのメモリバグを見つけよう - ひげぽん OSとか作っちゃうかMona-
mod_uploaderの作者さんがまとめている開発Tips(http://acapulco.dyndns.org/mod_uploader/module_dev.htm)にあったデバッグ方法を試してみました。 Valgrind http://valgrind.org/ Valgrindはメモリ周りのバグや、スレッド系のバグを自動的に検出してくれるツールです。 インストールは ./configure make make install で完了です。 a.out(-gオプションでコンパイルしてください)のメモリ周りのチェックを行う場合は valgrind --leak-check=yes a.out とやると、こんな結果が出力されてメモリリークしている場所がずばり表示されます。 ==19182== 40 bytes in 1 blocks are definitely lost in los
HTTP リクエストの処理完了までの所要時間をログに記録する
Landscape トップページ | < 前の日 2005-12-27 2005-12-28 次の日 2005-12-29 > Landscape - エンジニアのメモ 2005-12-28 HTTP リクエストの処理完了までの所要時間をログに記録する 当サイト内を Google 検索できます * HTTP リクエストの処理完了までの所要時間をログに記録するこの記事の直リンクURL: Permlink | この記事が属するカテゴリ: [IIS] [Apache] [http] http リクエストの処理にかかった時間をロギングする方法のメモ。 集計や分析、パフォーマンス劣化の監視などで活用するため、http サーバ側でリクエストを処理したあとレスポンスを返すまでどれだけ時間がかかったかを記録したい。 所要時間などの値は http サーバ上で動くアプリケーション側でロギングする仕組みを作るの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.gem.hi-ho.ne.jp/webcluster/
自信を持ってApacheを操るために
えと日誌 Mongrel: WEBrickよりだいぶ早いhttpd