An analysis of Facebook photo caching
Every day people upload more than 350 million photos to Facebook (as of Dec 2012) and view many more in their News Feeds and on their friends’ Timelines. Facebook stores these photos on Haystack machines that are optimized to store photos. But there is also a deep and distributed photo-serving stack with many layers of caches that delivers photos to people so they can view them. We recently publis
nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com
仕事で画像キャッシュサーバーを構築した時のメモ。大規模事例の設定例が検索してもあまり見つからなかったので同じような境遇の誰かの参考になれば。 ピーク時のトラフィックは数Gbps 画像総容量は数十TB バックエンドのstorageが複数種類 規模とアクセス量とアクセスされる画像の種類が多いので、squidでdisk cacheを使用するとCOSS等を使用してもdiskIOで詰まる為、全てon memory cache。cache容量を確保する為に必然的にcacheサーバーの台数も数十台。 1. squidをsibling構成で並列に並べる cache_peer 10.0.1.1 sibling 80 3130 no-query no-digest proxy-only cache_peer 10.0.1.2 sibling 80 3130 no-query no-digest proxy-o
Cache Assertions
Caching an expensive computation is a great way to improving performance, but when it goes wrong the bugs can be very subtle. It's vital to be sure sure that the cached result is, for all intents and purposes, the same as what the computation would have produced. A technique I often employ is using a thunk to defer the computation: $cache_helper->get_value( $key, sub { ... produce the expensive re
What to Look For in a HTTP Proxy/Cache
Hi, I’m Mark Nottingham. I write about the Web, protocol design, HTTP, Internet governance, and more. This is a personal blog, it does not represent anyone else. Find out more. Comments? Let's talk on Mastodon. @mnot@techpolicy.social other HTTP Caching posts The State of Browser Caching, Revisited Thursday, 16 March 2017 RFC5861: HTTP Stale Controls Thursday, 6 May 2010 Expires vs. max-age Tuesda
Two HTTP Caching Extensions
Hi, I’m Mark Nottingham. I write about the Web, protocol design, HTTP, Internet governance, and more. This is a personal blog, it does not represent anyone else. Find out more. Comments? Let's talk on Mastodon. @mnot@techpolicy.social other HTTP Caching posts The State of Browser Caching, Revisited Thursday, 16 March 2017 RFC5861: HTTP Stale Controls Thursday, 6 May 2010 Expires vs. max-age Tuesda
ブラウザキャッシュの挙動を見てみる - 日向夏特殊応援部隊
改めて勉強したかったので、こんなテストしてみました。 Apacheの設定とテスト内容 <VirtualHost *:80> ServerAdmin zigorou@localhost DocumentRoot /home/zigorou/www/cache ServerName cachetest.art-code.org ExpiresDefault "access plus 5 minutes" Alias /test1 /home/zigorou/www/cache/test Alias /test2 /home/zigorou/www/cache/test Alias /test3 /home/zigorou/www/cache/test <Location /test1> FileETag None ExpiresActive Off </Location> <Location
mt-search.cgiをmod_cacheで超高速化する!! - Ogawa::Memoranda
Posted by: Hirotaka Ogawa @ February 12, 2007 03:45 AM | かなり前からApache 2.2.xを使っているのですが、mod_cache/mod_disk_cacheなんていうモジュールが存在することに全然気がついていませんでした。このモジュールはサーバサイドでコンテンツキャッシングを実現するもので、CGIなどを使って生成される動的なコンテンツのレンダリング結果の再利用を可能にします(静的なコンテンツもキャッシュできますが、応答時間が問題になることはありませんし、一般的にはクライアントサイドでキャッシングされます)。キャッシュするコンテンツは時間制約の強くないものである必要があります。例えば、コメンティングシステムなどではユーザが行った操作をコンテンツに即座に反映する必要があるために適していませんが、検索システムやCMSのように対象とな
ウノウラボ Unoh Labs: データキャッシュを利用したウェブサーバの高速化
こんにちは satoです Aapcheでproxyサーバを利用している場合、頻繁にアクセスされて、なおかつ 更新の少ないデータ、（フォト蔵や mixiでいう マイピクチャーなど） は proxyサーバにキャッシュするとレスポンスが良くなります。 mod_proxy_balancerと mod_disk_cache を利用して、proxyサーバに データをキャッシュする手順を紹介します <VirtualHost * *:443> ServerName example.com ProxyPass /img ! # cssやイメージファイルは proxyしないでローカル参照 ProxyPass /css ! <Proxy balancer://web> AddOutputFilterByType DEFLATE text/html text/css application/x-j
CGI 出力キャッシュ - なんとなく◎
CGI 等で生成される動的コンテンツには，個別のリクエストごとに異なるレスポンスを 返さなければならないものもあれば，ある程度の時間内であればどのリクエストに 対しても同じレスポンスを返すものもあるでしょう．後者であれば，レスポンスを mod_mem_cache でキャッシュすることにより毎回 CGI 等を実行せずに済むので， かなり効果的にサーバの負荷軽減を実現することができます． # mod_mem_cache は Apache 2.0 ではまだ "experimental" という扱いですが， Apache 2.1 / 2.2 ではかなり改良されています． httpd.conf での設定は，例えば以下のような感じで．動的コンテンツでは Content-Length ヘッダを出力しないことが多いですから，MCacheMaxObjectSize の指定に際しては併せて MCacheMax
Apache 2.2でWebサイトをパフォーマンスアップ！（2/3） － ＠IT
Apache 2.2でWebサイトをパフォーマンスアップ！ － 最新Apacheの機能と設定方法教えます － 鶴長 鎮一（book@tsurunaga.jp） 2006/3/14 強化されたドキュメントキャッシュ機能を使う ドキュメントキャッシュ機能を導入すると、Apacheの応答性を向上させることができます。 従来のApache 2.0でも、mod_file_cacheモジュールを使用することで通常コンテンツのレスポンスを向上させることができました。ただし、mod_file_cacheの仕組みはApacheの起動時にファイルをメモリに読み込ませるというもので、コンテンツに変更があった場合は再起動が必要になるなど、動的なキャッシングには対応していませんでした。 Apache 2.2では、RFC 2616に準拠したHTTPコンテンツキャッシュが可能になりました。Cache-Controlヘッ
Catalyst::Plugin::PageCache
This distribution is up for adoption! If you're interested then please contact the PAUSE module admins via email. NAME Catalyst::Plugin::PageCache - Cache the output of entire pages SYNOPSIS use Catalyst; MyApp->setup( qw/Cache::FileCache PageCache/ ); __PACKAGE__->config( 'Plugin::PageCache' => { expires => 300, set_http_headers => 1, auto_cache => [ '/view/.*', '/list', ], debug => 1, # Optional
[ThinkIT] 第6回：HTTPキャッシュと出力キャッシュ (2/2)
WebアプリケーションからHTTPキャッシュを制御するには、キャッシュ制御を行うHTTPヘッダを出力します。Apacheの場合、expiresモジュールを利用して、ディレクトリ、ファイル種別単位で有効期限を設定できます（リスト7）。 リスト7：有効期限を設定するhttpd.confの例 LoadModule expires_module modules/mod_expires.so ExpiresActive On ExpiresByType text/html "access plus 1 minutes" ExpiresByType image/gif "access plus 1 month" ExpiresByType image/jpeg "access plus 1 month" PHPの場合は、header関数で出力します。HTTPセッションを利用している場合は、sessio
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://labs.cybozu.co.jp/blog/kazuho/archives/2007/09/cache_and_thundering_herd.php
https://www.railsenvy.com/2007/2/28/rails-caching-tutorial