Apache, Cache-Control, 304, 大型サイトで静的ファイルを無駄なく配信 | バレで昼寝
以前にも書きましたが私は某ポータルサイトのシスアド、兼プログラマをしています。月々１億から３億ページビューを裁いていますが、システムの一番大きなコストはトラフィックです。 100MBit専有とまでなると月４０万は軽く行きます。そこでとにかくページビューをあげながらもトラフィックを減らそうと日々努力しています。この記事の目的はハウジングサービスからアマゾンのクラウドフロントに移行した成功例（または失敗例）について書いていきます。 まず、第一回は既存のシステム（静的ファイル用のサーバ）について簡単に説明します。長年、経験を積みながら行った設定です。あくまでも、サーバのスペック、サイトの用途によっても違ってきます。 OS： Gentoo HTTP Server： 最近lighttpdからまたApacheへ ※lighttpdはものすごくライトウェイトだが、バグの対応が遅い、ガンバレMade
ApacheのアクセスログをMessagePack形式で出力するためのモジュールを作りました : DSAS開発者の部屋
Apacheモジュールのログ出力、こんどはMessagePack版を作成しました。続いてはこちらをご紹介します。 Apacheのアクセスログを使い、ユーザアクセスの集計やパターン解析などというのは一般にどこでもやられていることだと思います。通常のアクセスログはテキストファイルなので、集計を行うためにスクリプト上で扱える変数・オブジェクト化が必要になりますね。1行ごとの各ログ項目を取り出すのに正規表現を使ったり、cutやawkなどを使い空白で分割するなど、色々工夫されていることと思います。 今回、MessagePack版のアクセスログ出力をやってみようと思い立ったのは、アクセスログをあらかじめ構造化済みの状態で保存しておければ、読み込みの際の解析する手間を省くことで解析処理の高速化が期待できるのではないか、そう考えたためです。MessagePackであれば、PythonやRubyはじめ様々な
linuxで httpd が使ってるメモリ総量を調べる話 - kazuhoのメモ置き場
Perl等のLLでウェブアプリケーションサーバを書いていると、普通はマルチプロセスモデル (apache なら prefork とか) で運用することになると思う。で、それらがどれだけメモリを使っているか、っていうのはチューニングにおいて重要になってきたりする (んじゃないかと思う) けど、そもそもメモリの総使用量をどうやって測定するのか。 20:20追記: PSSを使ってワンライナーで測定するのが簡単 (コメント欄参照)。kosakiさんありがとうございます。 $ sudo perl -le 'for my $p (@ARGV) { open my $fh, "< /proc/$p/smaps" or die $!; map { /^Pss:\s*(\d+)/i and $s += $1 } <$fh> } print $s' `pgrep plackup` 914325以下は初回投稿時
ロードアベレージが1000を超えた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 12月17日の未明にftp.jaist.ac.jpのロードアベレージが1000を超えました。気がついたときには峠を過ぎていて、15分平均がちょうど1000くらいで、1分平均は120くらいまで下がっていました。忙しい間はMRTGがsnmpdからロードアベレージを正しく取れていなかったため、残念ながら証拠が残りませんでした。UltraSPARC T1は32スレッド同時に処理出来るので、1000といってもシングルコア・シングルスレッドのCPUの31くらいですけどね。 12月16日の朝にFirefox 3.5.6がリリースされました。翌午前1時くらいにアメリカのからのアクセ
mod_evasive を導入してみる – MOMENTS
Ping一括配信サービス Pingoo! にPing を送ると、お返しに鬼のような連続アクセスがあるので困る。サービス自体は便利なのになあ。 ということで、Nuclear Elephant: mod_evasive をApache に組み込んで、連続アクセスを遮断するようにして対応してみる。 インストール Apache 2 でDSO が有効になっているならば、apxs を利用すれば簡単。Vine 3.2 では以下の手順でインストールできました。 $ wget http://www.zdziarski.com/projects/mod_evasive/mod_evasive_1.10.1.tar.gz $ gtar xvzf mod_evasive_1.10.1.tar.gz $ cd mod_evasive_1.10.1.tar.gz $ cd mod_evasive $ sudo /us
worker MPMの設定(後編)
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 前回の話で何がいけなかったのかというとMaxSpareThreadsが小さすぎたのです。MaxSpareThreadsはクライアント数の変動幅より十分大きくないと、プロセスの終了と起動の頻度が高くなり、結果として終了待ちプロセスの数が増えてしまいます。 MaxSpareThreadsをMaxClientsに合わせてしてしまえば、MaxSpareThreadsが理由でプロセスが終了することはなくなります。しかし、不要なプロセスを起動したままにするのも気持ちが悪いので、できることなら適切に終了させたいものです。 ではいくつぐらいにするといいのでしょうか？ このメールには
worker MPMの設定(前編)
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. ftp.jaist.ac.jpではHTTPサーバとしてApache HTTP Server (以降Apacheと略記)を使っています。lighttpdじゃないんですかって？ えぇ、違います。SourceForge.netのミラーネットワークに参加するためには、Apacheのmod_rewriteを前提にした複雑なURL書き換え規則を受け入れる必要があるので、Apacheでないとだめなんです。 バージョンはまだ2.0系を使っています。本当は、atomic operationがちゃんと使われている2.2系を使いたいのですが、直ったことになっているこのバグがまだ直っていな
Apache を daemontools で管理する - kazuhoのメモ置き場
自作のサーバプログラムに、いちいち setuid とか setsid とかログローテート機能とか実装するのめんどくさいわけで。だから daemontools を使って管理してるわけですが、だったら、いっそ全部のデーモンを daemontools で一括管理したい。 ちょうど、reverse proxy をセットアップする機会があったので、apache を daemontools で管理する方法を備忘録をかねてメモ。 % cat /service/httpd/run #!/bin/sh APACHE_ROOT=/usr/local/apache-2.2.14 exec 2>&1 exec pgrphack $APACHE_ROOT/bin/httpd -DNO_DETACH -DFOREGROUND -c "ErrorLog /dev/fd/1" -c "Include /var/httpd
Javaで軽快に使える「軽量フレームワーク」特集 低い学習コストを重視した「Apache Click」 （1）
はじめに 「軽量フレームワーク」と呼ばれるソフトウェアは、その「軽量」という言葉から、つい動作速度やプログラムサイズなどに目が向いてしまいがちです。しかし、「軽い」は物理的なことだけを示すわけではありません。 「手軽に使えるフレームワーク」を考えるとき、その最大の魅力はファイルサイズや動作速度よりも学習にかかるコストではないでしょうか。とにかく短期間で習得し使えるようになる、それこそが、今のフレームワークに何よりも求められるものかもしれません。 今回取り上げる「Apache Click」は、何より「低い学習コスト」を重視して開発されているフレームワークなのです。 対象読者 Javaで手ごろなフレームワークを探している技術者 最近のフレームワークをごくざっと理解しておきたい方 Web開発の手法がどうも気に入らない、と常々考えているJavaプログラマ Apache Clickとは？ 「Apac
Rapid Network Application Development with Apache MINA
The document is a presentation about the Apache MINA framework. It summarizes that Apache MINA is a Java open-source network application framework that allows developers to easily build scalable, stable, and manageable network applications using any protocol. It provides core components like IoSession for connections, IoBuffer for message handling, IoHandlers for business logic, and IoFilters for
Apache Tika – Apache Tika
Apache Tika - a content analysis toolkit The Apache Tika™ toolkit detects and extracts metadata and text from over a thousand different file types (such as PPT, XLS, and PDF). All of these file types can be parsed through a single interface, making Tika useful for search engine indexing, content analysis, translation, and much more. You can find the latest release on the download page. Please see
KeepAliveTimeoutは2秒
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日行われた第二回 ライブドア テクニカルセミナーをustreamで見ました。pixivの中の人の話が聞けて面白かったです(資料と動画はこちら)。 そのときに出てきたのが、Apache HTTP ServerでKeepAliveTimeoutを2秒に設定しているという話です。MPMもpreforkでもworkerでもなくeventで運用しているとのことでした。eventならKeepAliveTimeoutを伸ばしてもいい気がするのですが、「安全のため」2秒にしているそうです。ちなみにftp.jaist.ac.jpのKeepAliveTimeoutも2秒です。 HTT
APR を利用したプログラムの autotools 化 - daily dayflower
APR を利用したプログラムを書いていて，それを配布したい。 MODULE.JP - Apache Portable Runtimeをあなたのプロジェクトに取り込む という素晴らしいテキストがあるんだけど，これはソースディストリビューションに APR library を同梱する前提でかかれています。さいわいにして，最近の Linux ディストリビューションでは Apache をインストールすると APR library が共有ライブラリとしてインストールされますし，開発者向け APR library パッケージも用意されています。なので，システムにインストールされている APR library を利用する前提でやってみようと思いました。 と思ったら， APR とか CFL とか - odz buffer というリソースがありました。かなり参考にしつつ，一挙手一投足で書いてみます。 なお，こ
Traffic Server Podling Status Page - Apache Incubator
This page tracks the project status, incubator-wise. For more general project status, look on the project website. The Traffic Server project graduated on 2010-04-21 Traffic Server fills the need for a fast, extensible and scalable HTTP 1.1 proxy and cache. We have a production proven piece of software that can deliver HTTP traffic at high rates, and can scale well on modern SMP hardware. We have
Traffic Server is finally here | Ogre.com
Finally! We pushed the Traffic Server code to Apache SVN today! This is definitely a momentous occasion, this has been in the works for ages, and it took a lot of work and patience to happen. You wonder, why did we bother? Well, you are right, there's plenty of proxy server alternatives out there, Squid, Varnish, NginX and so on. But, we think we have a platform we can build something on that will
เริ่มเล่นและชนะทันทีกับ PG Wallet Slot สุดยอดเกมสล็อต
ทำความรู้จักกับเกมสล็อตออนไลน์ที่ทำให้คุณตื่นเต้นและได้รับชื่อเสียงมากที่สุดในขณะนี้ – PG Wallet Slot บนเว็บไซต์ PG Wallet คุณจะได้พบกับประสบการณ์การเล่นเกมส์ที่ไม่เหมือนใคร ด้วยความคล่องตัวและความสนุกที่ไม่มีที่สิ้นสุด กับเพียงแค่ไม่กี่คลิกเท่านั้นคุณสามารถเข้าร่วมการผจญภัยในโลกของเกมส์สล็อตที่น่าตื่นเต้นและมีความสนุกสนานอย่างไม่มีที่สิ้นสุด กับผู้ให้บริการ PG Wallet Slot คุณจะได้สัมผัสกับความสนุ
mod_reproxy for Apache and lighttpd
typester's mod_reproxy at master - GitHub Kazuho made mod_reproxy for Apache2 and typester made one for lighttpd. They add a support for X-Reproxy-URL header, which is used in perlbal often in combination with mogilefs, so your web app can internally redirect static files to other static web server after the authentication etc. is done. It's more flexible than X-Sendfile since the file doesn't rea
MODULE.JP - Apache2.0のログに独自フォーマットを追加する
Apache 2.0系のモジュールには本体に手を入れずに「モジュールのモジュール」によって機能を拡張できるものがあります。mod_log_configモジュールに独自フォーマットを追加する方法。 モジュールのモジュール Apache 2.0のモジュールは独自にフックポイントなどを追加することで、「モジュールのモジュール」を書くことができます。Apache本体をモジュールによって拡張するように、モジュール自体を別のモジュールによって拡張することができるわけです。今回はオプション関数によって独自のフォーマットを追加できるmod_log_configモジュールに焦点を当てて、その利用方法を見てみます。 mod_log_configの拡張方法 mod_log_configモジュールはLogFormatディレクティブで使用するフォーマットを追加するap_register_log_handler関数を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
106077’s gists
PageScopeResolver (Click Extras API - v2.3.0)