nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com
仕事で画像キャッシュサーバーを構築した時のメモ。大規模事例の設定例が検索してもあまり見つからなかったので同じような境遇の誰かの参考になれば。 ピーク時のトラフィックは数Gbps 画像総容量は数十TB バックエンドのstorageが複数種類 規模とアクセス量とアクセスされる画像の種類が多いので、squidでdisk cacheを使用するとCOSS等を使用してもdiskIOで詰まる為、全てon memory cache。cache容量を確保する為に必然的にcacheサーバーの台数も数十台。 1. squidをsibling構成で並列に並べる cache_peer 10.0.1.1 sibling 80 3130 no-query no-digest proxy-only cache_peer 10.0.1.2 sibling 80 3130 no-query no-digest proxy-o
Squidのチョイ規模でかめで参考になりそうなconfとコメント (名無しさん＠おなかいっぱい)
#squidの動作させるユーザ・グループ cache_effective_user squid cache_effective_group nogroup #squidはcache_memの約3倍のメモリを使います cache_mem 64 MB #diskdはsquidと別スレッドでディスクに書込みします。複数cpuに最適値。最初の100は使用ディスク容量(MB単位) cache_dir diskd /var/cache/squid 100 16 256 #半接続で落ちたクライアントをすぐに切る half_closed_clients off #再起動/終了時の待ち時間 shutdown_lifetime 3 seconds #メモリに読み込むキャッシュオブジェクトの最大容量 maximum_object_size_in_memory 5 MB #ステータスページのパスワードを
Scribd での Squid によるキャッシング方法 | Carpe Diem
Alexey Kovyrin’s Blog に Scribd での Squid によるキャッシング方法が紹介されていました。 かなり興味深い記事だったので、日本語で要約としてまとめておきます。このエントリでは、ハードウェア設定、ソフトウェア設定、キャッシングクラスター設定、の3つの章から説明されています。 ハードウェア設定 次のようなハードウェア仕様のサーバを使っています。 CPU: Xeon 5418 x 1(CPU 使用率平均は 1% 以下なので安い CPU を使っているとのことです) RAM: 8GB Disk: SAS 15000回転 x 4 で、JBOD(RAID 未使用、すべての RAID のタイプを試してみたが、I/O パフォーマンスを改善する助けになるものはなかった) 高回転型のディスクを使っていて、JBOD にしているところが興味深いです。CPU の負荷グラフも公開されて
定番Webプロキシ「Squid 3.0」が正式にリリース | エンタープライズ | マイコミジャーナル
Squidプロジェクトは、Webプロキシサーバの最新安定版「Squid 3.0.STABLE1」をリリースした。各種UNIX系OSに対応したソースコードは、オープンソースソフトウェアライセンスGNU GPLv2のもと公開される。 今回のリリースは、2006年7月に公開されたv2.6系を引き継ぐメジャーバージョンアップ版という位置付け。ソースコードが全面的にC++で書き換えられたほか、コンテンツに付加価値を与えるHTTPベースのプロトコル「Internet Content Adaptation Protocol (ICAP)」、Webページを部分的にキャッシュする技術「Edge Side Includes (ESI)」のサポートなど、v2.6系と比較して多くの新機能が追加されている。
squid2.6のCOSSの話(その２) - 最速配信研究会(@yamaz)
squid2.6のCOSSの話の続き COSSのパフォーマンスのよさに関して「俺だまされてない?」というモヤモヤ感が高かったんだけど,あちこちの方々と議論した結果これが正解だろうという結論に行き着いた. ありがとう！＞あちこちの方 友人との会話. yamaz: おっすおっす。いる？ xxxxx: お久しぶりです! yamaz: squid2.6のCOSSって知ってる? xxxxx: 初耳です。＜COSS yamaz: http://blog.nomadscafe.jp/archives/000705.html yamaz: http://wiki.squid-cache.org/SquidFaq/CyclicObjectStorageSystem yamaz: このあたりの話なんだけど、 yamaz: なぜコレが速いかっていう見解って持ってる? xxxxx : 3年ぐらい前、apacheを
Kazuho@Cybozu Labs: キャッシュの上手な使い方
« C-0.05 | メイン | cygwin + mod_perl » 2006年02月08日 キャッシュの上手な使い方 キャッシュといっても、ウェブブラウザやウェブプロキシのキャッシュのことです。 ・Internet Explorer のキャッシュの動作 Internet Explorer は、同一ウィンドウ内で複数回同じウェブページを読み込む場合、２回目以降はキャッシュのデータを使用します (デフォルト設定の場合、 Last-Modified または Expires ヘッダがついている場合のみ)。 つまり、同じウィンドウの中で、 ページA を読み、次にページB を読み、そしてページA を再び読み込むようなケースでは、２回目にページ A を表示する際にはキャッシュのデータが使用され、ウェブサーバへの再問い合わせは行われません。 また、 Last-Modified ヘッダと Expire
ネットワークエンジニアのノート Squidから特定のキャッシュのみを削除する方法
ホームページを更新して、ブラウザから確認したところ以前と変わってない。。 ってことはありませんか？ この原因として考えられる要素のひとつとしてプロキシのキャッシュが上げられます。 そこで、今回はSquidから特定のキャッシュのみを削除する方法を紹介します。 手順は以下の通りです。 １.以下の記述をsquid.confに記述します。 ----ここから---- acl PURGE method PURGE acl localhost src 127.0.0.1 http_access allow PURGE localhost http_access deny PURGE ----ここまで---- ２.以下のコマンドを実行して設定ファイルを再読み込みします。 # /usr/local/squid/sbin/squid -k reconfigure ３.以下のコマンドを実行して特定のキャッシュを
[ThinkIT] 第6回：HTTPキャッシュと出力キャッシュ (1/2)
Webシステムの高性能化では、スケールアウト可能な設計を行い利用可能なキャッシュをできる限り活用することが重要です。Webシステム構築で意識しながら利用しなければならないキャッシュは表1の通りです。
Squid と Zopeの連携
2005/10/29 更新 Zopeを稼動させている場合に、フロントに Apache を立てているという話は聞きますが、Squid を立てているという話はあまり聞きません。 Zopeだけを使う（ CGI 等のために Apache を必要としない ）場合は、Apache よりも Squidのほうが良いと思うのでメモを書いてみました。 Squidとは クライアントからの Web (FTP) リクエストを受け、実際のサーバーへ中継するサービスを行うのがプロキシ（代理）サーバー Squid の役割です。 Squid を立てることにより ファイヤーウォールで隔てられた組織内からインターネット上のサイトへのアクセスを可能にする 同一ページへのアクセスは Web サーバーにアクセスせずに、キャッシュしたページをクライアントに返すことにより、レスポンスタイムと帯域を節約する のようなメリットがあります。
SquidによるReverse Proxyの構築
Squid2.6STABLE8以降は、"http_port" の "accel" オプションでリバースプロキシ（アクセラレータ）を指定するようになった。 Squid-2.5以前のアクセラレータモードの動作はまったく異なるため、引き続き使用する場合は2.6以降にアップグレードすることを強くお勧めします。 このページでは、リバースプロキシ（Reverse Proxy）を使った、Webサーバのパフォーマンス改善について示します。 このページは次のような章立てになっています。 １章ではリバースプロキシの概要、２章では普通のリバースプロキシと透過モードでのリバースプロキシの比較、３章ではリバースプロキシでのキャッシュの働き、４章ではSquidをリバースプロキシとして機能させる設定 １章、リバースプロキシの概要 ２章、普通のリバースプロキシと透過モードでのリバースプロキシの比較 ３章、リバースプロキシ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.9203.net/~takech/blog/linux.php?itemid=2481
Squidのfiledescriptor増加 : blog.nomadscafe.jp
naoya.dyndns.org is offline