キャッシュシステムのオリジンサーバアクセスの効率化と Apache Traffic Server
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部プラットフォーム開発本部配信プラットフォーム部の大久保諒です。 過去に何度か紹介している通り、ヤフーでは静的コンテンツのキャッシュを行うためにオープンソースの HTTP プロキシサーバである Apache Traffic Server (以下 ATS) を用いて行っています。 Yahoo! JAPAN における HTTP/2 への取り組み ヤフーの画像配信システム（CDN）の紹介 さて、 ATS のような HTTP キャッシュを行うサーバにおいて、短時間である一つのオブジェクトに対する大量の HTTP リクエストが来た際に使用できるキャッシュがない場合、オリジンサーバの負荷が増大する問題が存在します。
とある CMS を使ったサイトに Varnish を導入した話
Shin x blog Advent Calendar 2013 の 6 日目です。 とあるサイトに、Varnish をリバースプロキシとして導入して、半年が経過しました。 導入した経緯やその効果など書いてみたいと思います。 Varnish とは Varnish は、HTTP アクセラレータです。Web サーバのリバースプロキシとして動作し、キャッシュを生かして高いパフォーマンスを発揮するのが特徴です。また、VCL という独自の設定言語を持ち、これにより状況に応じた設定を柔軟に行うことができます。 導入の経緯 このサイトでは LAMP 構成の CMS を利用しており、インフラには AWS を利用しています。基本、閲覧が中心なのですが、イベント時に多数のアクセスがあります。S3 や CloudFront も検討したのですが、コンテンツを数分おきに更新する必要があるので今回は採用しませんでした
米Yahoo!、社内で使われているWebプロキシキャッシュ「Traffic Server」をオープンソース化 | gihyo.jp
濃縮還元オレンジニュース 米Yahoo!、社内で使われているWebプロキシキャッシュ「Traffic Server」をオープンソース化 2009年11月4日、米Yahoo!はWebプロキシキャッシュ「Traffic Server」をオープンソースとして公開しました。プロキシキャッシュとは、よくアクセスされるコンテンツをキャッシュして高負荷なHTTPトラフィックを効率良くさばくための技術です。ほかに有名なものでは「Squid」があります。 Traffic ServerはC++で書かれており、コード量は数十万行にも及びます。またマルチスレッドで動作し、一般的なクアッドコアマシンで秒間リクエスト数が3万を超えるなど、非常に高速に動作します。実績も申し分 なく、米Yahoo!のトップページやメール、スポーツ、ニュースなど多くのサービスで使われています。 元をたどると、2002年に米Yahoo!によ
キャッシュサーバ運用技術 Internet Week ‘99 Tutorial @Yokohama 12/16/99 鍋島 公章 NTT 情報流通プラットフォーム研究所
1 (C) nabe@slab.ntt.co.jp Internet Week '99 Tutorial (12/16/99) 1 Internet Week ‘99 Tutorial @Yokohama 12/16/99 NTT nabe@slab.ntt.co.jp (C) nabe@slab.ntt.co.jp Internet Week '99 Tutorial (12/16/99) 2 • • • 2 (C) nabe@slab.ntt.co.jp Internet Week '99 Tutorial (12/16/99) 3 Part 1 (C) nabe@slab.ntt.co.jp Internet Week '99 Tutorial (12/16/99) 4 • – – • Cache WWW Cache WWW LAN WAN LAN WAN 3 (C) nabe@sl
squidでこんなエラーが大量 - 気まぐれSE日記
OS:TruboLinux 10 Server squidはrpm で入ってる奴 TurboLinuxでsquidが走るサーバを何個か用意して、兄弟キャッシュを有効にしたとたん、 squidが重たくなったしまい、しばらく接続不能な状態に陥ってしまった。 原因はなんだろっか？ってことでログを見てみたら、squidのcache.logにこんなのがズラズラ出ていた。 WARNING! Your cache is running out of filedescriptors ... ようは、接続数が多すぎ？でファイルのデスクリプタが足らんということらしい。 調べてみると、squidが使用できるファイルデスクリプタは、 デフォルト値だと、1024ということで、そりゃすぐ無くなるわなぁってところです。 解決方法 ulimit -HSn xxxxxで増やしてやった状態でrpm作る squidの起動スクリ
Kazuho@Cybozu Labs: キャッシュの上手な使い方
« C-0.05 | メイン | cygwin + mod_perl » 2006年02月08日 キャッシュの上手な使い方 キャッシュといっても、ウェブブラウザやウェブプロキシのキャッシュのことです。 ・Internet Explorer のキャッシュの動作 Internet Explorer は、同一ウィンドウ内で複数回同じウェブページを読み込む場合、２回目以降はキャッシュのデータを使用します (デフォルト設定の場合、 Last-Modified または Expires ヘッダがついている場合のみ)。 つまり、同じウィンドウの中で、 ページA を読み、次にページB を読み、そしてページA を再び読み込むようなケースでは、２回目にページ A を表示する際にはキャッシュのデータが使用され、ウェブサーバへの再問い合わせは行われません。 また、 Last-Modified ヘッダと Expire
APIとの通信効率をよくする実装例(2) 簡易キャッシュ
こうして見ると、仮に5分程度ライムラグがあってもさほど影響が無いものが多い、つまり毎度APIに問い合わせるのが無駄とも言えないでしょうか。（毎度通信すべきはなのは、上の表では「高」の部分のみ）。 そこで、APIから取ってきたデータ（XML）を少しの時間だけとっておくのはどうでしょう？（リアルタイム性が高いものや検索結果については毎度通信し、それ以外のものはキープしておき再利用）アクセスしてきたAさん、Bさん、Cさん・・・誰が見ても同じ内容ならなおさらみんなでシェアできれば、通信の数もそれにかかる時間も減るはずです。 このように一定時間データを溜めて再利用するシステムや行為を、キャッシュ(cache ※1)といいます。 どんな言語でも、こんな流れのロジックが書ければ実現できるでしょう。 if ( とっておいたXMLが賞味期限切れ ) { 捨てる; } if ( とっておいたXMLがある )
もう少しだけmod_cacheを深追いしてみる - Ogawa::Memoranda
Posted by: Hirotaka Ogawa @ February 16, 2007 05:42 PM | 前のエントリーで書いた方法だとブラウザによってはページをリロードするたびに待たされることになります。 mt-search.cgiをmod_cacheで超高速化する!! - Ogawa::Memoranda なんでかな？と思ったので、動的コンテンツ(この場合はURLにクエリ文字列を含む動的コンテンツ)へのリクエストに対する、(mod_cacheで実現された)サーバーサイドキャッシュの振る舞いをもう少し深追いしてみました。 サーバーサイドキャッシュがない場合 サーバーサイドキャッシュがない場合には、すべての動的コンテンツへのリクエストごとにレンダリングを行い、そのデータがレスポンスとして返されます。 動的コンテンツで、Last-Modified, ETagヘッダを含むレスポンスを行
ブラウザキャッシュでパフォーマンス向上
キャッシュ制御の方法 サーバサイドからキャッシュを制御するには、以下の2つの方法がある。 HTTPヘッダによる制御 METAタグによる制御 まずは、これらがどのようなものか、軽くおさらいしておく。 ■HTTPヘッダによる制御 HTTPプロトコルでは、HTTPヘッダにさまざまな情報を格納することができる。そのうちいくつかの情報は、キャッシュ制御のためのヘッダである。リクエスト（クライアント→サーバ）用のものと、レスポンス（サーバ→クライアント）用、リクエスト／レスポンス共通のものが存在する。 ■リクエスト用 If-Modified-Since 日時を指定する。指定した日時より新しいコンテンツの場合のみデータを返却するようにサーバに指示する。ローカルキャッシュの最新確認に使用される If-None-Match 指定したエンティティタグに一致しない場合のみコンテンツを返却するようにサーバに指示す
DBA Tips(分析・チューニング) - オラクル・Oracleをマスターするための基本と仕組み
分析・チューニング関連 チューニング( キャッシュヒット率、隠し初期化パラメータ、 DML とトランザクション数) キャッシュヒット率の取得 ライブラリ・キャッシュ SELECT ROUND(100 * SUM(PINHITS) / SUM(PINS), 2) "LIBRARY HIT RATE(%)" FROM V$LIBRARYCACHE ; ディクショナリ・キャッシュ SELECT ROUND(100 * SUM(GETS-GETMISSES) / SUM(GETS), 2) "DICTIONARY HIT RATE(%)" FROM V$ROWCACHE ; 関連 初期化パラメータ SHARED_POOL_SIZE (共有プール) データベースバッファ・キャッシュ SELECT ROUND(100- 100 * SUM(DECODE(NAME,'physical reads',VA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
