nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com
仕事で画像キャッシュサーバーを構築した時のメモ。大規模事例の設定例が検索してもあまり見つからなかったので同じような境遇の誰かの参考になれば。 ピーク時のトラフィックは数Gbps 画像総容量は数十TB バックエンドのstorageが複数種類 規模とアクセス量とアクセスされる画像の種類が多いので、squidでdisk cacheを使用するとCOSS等を使用してもdiskIOで詰まる為、全てon memory cache。cache容量を確保する為に必然的にcacheサーバーの台数も数十台。 1. squidをsibling構成で並列に並べる cache_peer 10.0.1.1 sibling 80 3130 no-query no-digest proxy-only cache_peer 10.0.1.2 sibling 80 3130 no-query no-digest proxy-o
眠る開発屋blog » Blog Archive » mod_proxy_balancerに独自振り分けロジックを追加できる気がする
もしもこの世から「残業」が完全になくなったら ３年ぐらい前に読んだ本を思い出した。 １９８０−９０年代の話ですが、残業について、 「時間外・休日労働の弾力的運用が我が国の労使慣行の下で雇用維持の機能をはたしている」（１９８５年労働基準法研究会報告）とか、「我が国の労働慣行の実情に合うような上限設定が可能かどうか定かでない」（１９９２年同報告）と、雇用維持の為のコストとして恒常的な長時間労働を是認する考え方が主流でした。 需要の低下に応じて、生産水準を下げなくてはならなくなっても、バッファがあるから解雇せずに大丈夫でしょ、という。。。 まぁ、 ところが、その後、労働法政策が内部労働市場の雇用維持から外部労働市場における移動促進に徐々にシフトしていったにもかかわらず、この長時間労働哲学には疑問が呈されないまま２１世紀に至っているのです。 と著者は問題視しているわけだけど。 話変わって、最近友人
mod_proxy - Apache HTTP サーバ
このモジュールは Apache のプロキシ/ゲートウェイ機能を実装しています。 AJP13 (Apache JServe Protocol version 1.3), FTP, CONNECT (SSL 用), HTTP/0.9, HTTP/1.0, HTTP/1.1 のプロキシ機能を実装しています。これらのプロトコルやその他のプロトコル用の プロキシ機能を持った、他のモジュールに接続するようにも設定できます。 Apache のプロキシ機能は mod_proxy の他に、 いくつかのモジュールに分割されています: mod_proxy_http, mod_proxy_ftp, mod_proxy_ajp, mod_proxy_balancer, mod_proxy_connect です。ですから、 特定のプロキシの機能を使いたい場合は、mod_proxy と 該当するモジュールをサーバに (
Kazuho@Cybozu Labs: Apache で X-Reproxy-URL ヘッダを使えるようにするモジュール mod_reproxy を書いた
ウェブアプリケーションにおいて、認証がかかっている画像や大きなファイルを配信する場合には、Perlbal 等でサポートされている X-Reproxy-URL ヘッダが有効なことが知られていて、その理由としては、 (メモリを大食いする) アプリケーションサーバのプロセスを転送終了まで占有しない HTTP ベースの分散ファイルシステムとリバースプロキシが直接交信するので、ネットワーク負荷が低い といった点が挙げられます。「でも、Apache は X-Reproxy-URL ヘッダをサポートしてないんだよねー」という話が、先日の YAPC::Asia 2009 においても話題になっていました[要出典]。回避策としては、ワンタイムURLのような手法もあるのですが、セキュリティな懸念もあります。 なんとかしたいなと思っていたのですが、気が向いたので、Apache に X-Reproxy-URL ヘッ
lighttpd の X-Sendfile を使えるApacheモジュール - spiritlooseのはてなダイアリー
http://celebnamer.celebworld.ws/stuff/mod_xsendfile/ mod_xsendfile っていう名前でリリースされている。 早速使ってみたけど、動作は問題ないみたい。 XSendFileAllowAbove ディレクティブを有効にしておけば、どのディレクトリのファイルも返せる。 ファイルが読み込めなかったり、存在しなかったりすると404が返る。 これは結構つかえるなぁ。 あとは Parlbal の X-Reproxy-File X-REPROXY-URL がほしいなぁ。 このモジュールは Apache2 の output filter を利用しているので、同じように実装するのであれば X-Sendfile ヘッダのパスを apr_file_open しているところを、もう一度リクエストを投げる形に変えればすぐ作れるはず。 時間があるときに実装し
[メモ] AmazonS3とEC2を使う時にはX-REPROXY-URL
S3+EC2を使っていると、S3に保存したムービーや画像と言った大きなデータを、クライアントに返したい場合があります。 そのときにリバースプロキシを使う方法もあるけど、権限やユーザによって振り分けたい場合などは、単純なリバースプロキシではうまくいきません。 Rails側でNet::HTTPなどを使ってS3からデータを取ってくる方法もあるのですが、それだとパフォーマンスが悪すぎです。 負荷分散することを考えると、これはApacheモジュールか、リバースプロキシ側でやって欲しい作業です。自分で書こうと思ったけど、調べてみたらやっぱり同じようなのがありました。 リバースプロキシなどの中には、X-REPROXY-URLというヘッダをサポートしているものがあり、これを戻すとリバースプロキシが代わりにこのURLにアクセスしてデータを返してくれます。 Perlbalが始めにサポートしたらしいですが、li
livedoor Techブログ : ウェブサービスのサーバ増設の基本（1台構成から仮想化まで）
お疲れ様です、スエヒロです。 先日発売されました、弊社技術陣が執筆した「4Gbpsを超えるWebサービス構築術」、お手に取って頂けたでしょうか？ ウェブサービスの負荷対策、分散技術など、実用的な話が盛りだくさんの本書ですが、本日は実際に稼働しているサービスのサーバスケールアウト方法を、弊社サービス「livedoor ニュース」を例にしてご紹介したいとおもいます。 0. 問題点の把握 2003年オープンしました「livedoor ニュース」ですが、当時はアクセス数、データ量も少なかったため、サーバ1台で運用していました。 静的な画像やcss、javascriptへのリクエストを処理するapache（80ポート）と、動的コンテンツへのリクエストを処理するmodperl組み込みのapache（8080ポート）を切り分け、mod_rewriteでリバースプロキシし、リクエストをながしています。リバ
PerlbalでMogileFSを更に高速化、効率化する - builder by ZDNet Japan
MogileFSのさらなる高速化、効率化 前回「MogileFSで構築する高速スケーラブルな分散ファイルシステム」では、moonlinxで活用しているMogileFSについて説明しました。今回はMogileFSの更なる高速化、効率化を追求してみましょう。 MogileFS活用のために、まずは問題点を把握 素のMogileFSをそのまま利用した場合、ファイルにアクセスするために、クライアントが毎回trackersへ問い合わせをすることになります。これは、trackersはデータベースに全ての情報を格納しているので、毎回データベースを参照することを意味しています。 moonlinxでは、作品メディアファイルのサムネイルも含めてMogileFSに保存しています。そのため、サムネイルが多い画面では1つの画面を表示するために、数十回ほどMogileFSへアクセスすることになります。 trackers
Perlbal::Plugin::ConfLoaderをつくってみた - Hatena::Diary::Neko::kak 500 Internal Server Error
追記：Perlbal::Plugin::Includeでなんの問題もなく可能なのでした Perlbalでは/etc/perlbal/perlbal.confに Perlbalの設定をもりもり書くわけですが、 相当数のサービスを１台のPerlbalで管理していると、 １つの設定ファイルがかなり大きくなってしまって 管理しずらいとです。 そこで、PerlbalをながめていたらPerlbal::Plugin::Includeというのがあって、 そらあるわなぁと思い使ってみたところ、問題なく動きました。 ただ、Includeさせるファイルをサイト毎に管理しようとすると 例えば nekokak.intra/perlbal.conf # ...nop CREATE SERVICE http_server SET listen = 0.0.0.0:80 SET role = selector SET p
「ロードバランシング」の意味や使い方 わかりやすく解説 Weblio辞書
(ロードバランシング から転送) 出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/03/27 16:24 UTC 版) サーバロードバランシング（英語: Server Load balancing）は、コンピュータネットワークにおける技法の一種である。クライアントとサーバの間にロードバランサ（負荷分散装置）を設置し、複数のサーバが分散処理を行う。利用者の多いWebアプリケーションやネットワークゲームの運営などに適しており、サーバ１台では処理しきれない場合に、この技法を利用することで効率よくサーバの数を増やすことができる。また、故障や保守によりサーバが停止した際にも、サービスを続行させることができる。
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
Varnish - Trac
Welcome to the Varnish project Varnish is a state-of-the-art, high-performance HTTP accelerator. It uses the advanced features in Linux 2.6, FreeBSD 6/7 and Solaris 10 to achieve its high performance. Some of the features include A modern design VCL - a very flexible configuration language Load balancing with health checking of backends Partial support for ESI (the sensible part of ESI) URL rewr
HAProxy - The Reliable, High Perf. TCP/HTTP Load Balancer
Quick News Dec, 5th, 2023 : HAProxy 2.9.0 release This release has received a lot of small changes that are difficult to summarize. Most of them were aimed at improving performance and resource usage in general (zero-copy forwarding, QUIC's smaller footprint for closed connections, improved scalability), others focusing on better integration with other components (support for the AWS-LC crypto lib
woremacx.com - https://woremacx.com/
Windows 10 の入ったディスクのバックアップが clonezilla で外形的にできることがわかった Posted on Jun 27, 2020 Windows10 が載ってるディスクに破壊的な変更加える前にバックアップしたくて、SystemRescueCd で clonezilla 使ってディスクまるごとイメージ化した(内部的には partimage が使われてる?)。 でこれ、レストアしたら起動する状態まで持っていけるんかな? すんごく不安だ。。。 — woremacx (@woremacx) June 15, 2020 systemrescuecd に同梱されている clonezilla を使ってまるまる取った Windows 10 のバックアップが戻せるか不安で仕方なかったので、VirtualBox に戻せるか試した。 そもそもなぜ clonezilla を試したかったの
mod_rpaf のかわりに mod_extract_forwarded なるものがあるらしい - daily dayflower
今作っているウェブアプリでは -+(A) Apache 2.2 + mod_proxy (画像等のスタティックコンテンツ向け) +(B) Apache 2.2 + mod_perl (アプリサイド)という環境を同一ホストで動かしています。 ただ，このようにリバースプロキシを導入すると，(B) のログファイルではアクセスもとがすべて 127.0.0.1 になってしまいますし，アクセスされる IP によってアプリ上で制限を掛けたい場合，X-Forwarded-For ヘッダを自分でみて判断しなくてはいけなくなってしまい，面倒です。 このようなときに楽に対処できるのが mod_rpaf です（参考: リバースプロキシを導入する際はmod_rpaf - drk7jp）。このモジュールを使うと，Apache の Connection レコードの内容を改変してくれるので，ログには大元のアドレスが記録さ
AfterMarket.pl :: domena openinfo.co.uk
Domena openinfo.co.uk została zarejestrowana w serwisie AfterMarket.pl. Zainteresowany tą domeną? Jeśli chcesz skontaktować się z abonentem domeny openinfo.co.uk, naciśnij poniższy przycisk aby wysłać wiadomość: Kontakt z abonentem domeny » Czym jest AfterMarket.pl? To: Jeden z największych rejestratorów domen w Polsce. Dla naszych 100000 klientów utrzymujemy ponad 300000 domen. — Zarejestruj swoj
mod_rpaf for Apache
reverse proxy add forward module for Apache (mod_rpaf) rpaf is for backend Apache servers what mod_proxy_add_forward is for frontend Apache servers. It does excactly the opposite of mod_proxy_add_forward written by Ask Bjørn Hansen. It will also work with mod_proxy in Apache starting with release 1.3.25 and mod_proxy that is distributed with Apache2 from version 2.0.36. It changes the remote addre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「squidの設定とプロクシをはじくWEBサイトについて」（1） Linux Square － ＠IT
php-users / Mailing List Archive » 2009 » 3月 » 13
nginx＋varnish＋plone（CacheFu）のクイックスタートまとめ — nagosui.org