はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
Nginxの名前解決についてまとめ - ktrysmt's blog
September 30, 2017 Nginxの名前解決にはいくつか特徴があり，把握しておかないとまれにトラブルに見舞われることがある（あった）のでまとめました。 Microservicesが市民権を得てきた昨今，特にAWSのELB等をInternalなロードバランサとして使うことも当たり前になり，ハマるひとも多かったのではないでしょうか。私も漏れなくハマりまして，以前遭遇した時はNginxのバグではないかと疑っていたのですが，よく調べたらどうもこの辺りの挙動は仕様のようです。 以下具体的に述べます。 1. Nginxは通常，起動時に行った名前解決の結果を保持し続ける まずこの仕様を知っていないとトラブルのときに確実に慌てると思われます…。 この仕様は公式Blogで説明されています。 https://www.nginx.com/blog/dns-service-discovery-ngi
Macのハードディスクの空き容量を開放する - Qiita
# 1000M以上のファイルを抽出 $ sudo du -x -m -d 5 / | awk '$1 >= 1000{print}' メモリ関連 ハイバネーション機能 スリープ時にバッテリーがなくなってもデータは保存してるから安心してね機能。 /private/var/vm/sleepimageに、スリープから復帰する際や、バッテリー駆動時に終了してしまった際などに、バックアップとしてRAM（メモリー）上に保管されているデータをいったんハードディスクに退避するために保存してある。 消して問題なし。
CloudFront のキャッシュ時間に関する問題をトラブルシューティングする
Amazon CloudFront ディストリビューションがオブジェクトをキャッシュする時間を指定しようと考えて、オリジンに Cache-Control または Expires ヘッダーを追加しました。しかし、CloudFront が指定した時間においてオブジェクトのキャッシュを実行しない、またはCloudFront がキャッシュを一切行わないことがあります。 解決策 Cache-Control または Expires ヘッダーに設定したディレクティブが互いに競合していないことを確認します。Expires ヘッダーの代わりに Cache-Control max-age ディレクティブを使用することをお勧めします。両方に値を指定した場合、CloudFront は Cache-Control max-age に設定した値のみを使用します。 CloudFront ディストリビューションに設定した
[AWS] Amazon CloudFrontのキャッシュ無効化(TTL設定) | DevelopersIO
こんぬづは、昨日飲みの席でインターン時代の先輩から「ドープ」というスラングを教えてもらいました田中です。 "Awesome"とかと同じ感じで「スゲェ」とか「最高」とかの意味らしいです。イケてないのは「ノー ドープ」と言う用法らしいです。 今日はCloudFrontのキャッシュ無効化設定の方法を紹介します。 TTL設定とは まずTTLというのはTime to liveの省略で、生存期間を示す言葉です。 今回はCloudFrontのキャッシュのTTLなので、CloudFrontのエッジサーバーにキャッシュが保存される期間の設定の話になります。 キャッシュの無効化方法 オリジンサーバーのCache-Controlを設定する 今回の例はEC2上のnode.js/expressで設定。 レスポンスヘッダのCache-Controlにno-cacheか、max-ageを0に設定します。 // inde
![[AWS] Amazon CloudFrontのキャッシュ無効化(TTL設定) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
WordPressキャッシュプラグインを選ぶために知っておくべきこと – Capital P – WordPressメディア
WordPressはPHPアプリケーションであるため、キャッシュプラグインがよく利用される。多くのキャッシュプラグインは「高速化」という言葉と一緒に紹介されることが多いため、それならば試してみようと思うことが多いが、実は高度な技術であるため、ある程度の知識が必要とされる。この記事では前提知識を含めた上で、いくつかのおすすめプラグインを紹介しよう。 そもそもキャッシュとは？ キャッシュとはコンピューターシステムの専門用語で、「ある領域から他の領域に情報を伝送する際にその中間で作用し遅延を隠蔽するシステム」のことだ。図示すると、このようになる。 情報転送の中間に位置していい感じにするのがキャッシュである 「情報の伝送」だと少し具体性にかけるので、PHP（スクリプト）とMySQL（データベース）を例にしよう。 キャッシュがオンでヒットした場合、データベースにはアクセスしない キャッシュとは、そも
キャッシュ制御に関する私的まとめ | SD MILIEU
はじめに Googleのドキュメント読めばわかる。 HTTP キャッシュ Web Google Developers キャッシュに関して覚えるべきヘッダー キャッシュデータ使用に関するヘッダー Cache-Control Expires キャッシュされたデータとサーバーのデータの同一性判断に関するヘッダー ETag Last-Modified 上記の４つ。 キャッシュデータ使用に関するヘッダー Cache-ControlとExpiresはキャッシュデータ使用に関するヘッダー。 Cache-ControlはHTTP/1.1の仕様として定義されたもので、Expiresはそれ以前の古い仕様。 現行ブラウザでもExpiresは動作するが、Cache-Controlの方が優先される。 Cache-Control ヘッダーは Cache-Control: max-age=1200 だとか Cache-
A beginner's guide to using the application cache | Articles | web.dev
A beginner's guide to using the application cache Stay organized with collections Save and categorize content based on your preferences. Introduction It's becoming increasingly important for web-based applications to be accessible offline. Yes, all browsers can cache pages and resources for long periods if told to do so, but the browser can kick individual items out of the cache at any point to ma
HTML5のApplicaiton Cacheについて使ってみたまとめ - Qiita
「オフラインでもWebアプリって使えないの？」というお話があり、 HTML5のApplication Cacheが咄嗟に思いつきはしたものの、触ったこともなかったので、 調べながらちょっと試してみた。 はじめに Offline Web Application仕様 W3C： http://www.w3.org/TR/html5/browsers.html#offline セキュリティ問題 ちょっと調べれば出てくる話ですが、主にキャッシュポイズニングの問題について挙げられています。 その議論については、この中ではあげませんので、他所を参照してください。 簡単なサンプルで動作確認する HTMLファイル <!DOCTYPE html> <html manifest="manifest.appcache"> <body> <script type="text/javascript"> var app
S3バケットに含まれる全オブジェクトのCache-Controlを書き換える、一撃で！ | DevelopersIO
はじめに CloudFrontとS3オリジンを組み合わせたWebサイトを構築した場合、キャッシュ時間(TTL)を制御する際には、S3オリジンに配置されたオブジェクトのMetaDataにCache-ControlやExpiresを設定する必要があります。詳しくは都元の以下の記事を参照して下さい。 CloudFrontのキャッシュ時間(TTL)はどの程度なのか ただし、AWS管理コンソールでは、S3のオブジェクトを複数選択して一気にMetaDataを書き換えることは出来ません。ちまちまとGUIで操作するのは大変面倒臭い。 なので、これを一撃で書き換えるスクリプトをAWS SDK for Rubyを使って作りました。 やってみる スクリプトの内容はこんな感じです。 # Must be carried out in advance: # export AWS_ACCESS_KEY_ID='YOUR
ブラウザのキャッシュコントロールを正しく理解する - Qiita [キータ]
①ブラウザに一切、キャッシュさせたくない場合 サーバからクライアントへのHTTP応答ヘッダ → Cache-Control "no-cache" アクセス毎に内容が変わったり、サーバにアクセスしてもらわないと困るようなコンコンテンツの場合です。 スクリプト言語等で生成する動的コンテンツは、このようにした方が安全です。 例えば対象コンテンツが画像である場合、ブラウザで同じ画像のURLが含まれたHTMLを開いた場合は、 もちろんローカルにキャッシュがないので、サーバへ問い合わせを行う 条件つきリクエスト（If-Modified-Since、If-None-Match）もサーバへ送ってこない ②ブラウザにキャッシュさせるけど、変更ないか都度確認するようにしたい サーバからクライアントへのHTTP応答ヘッダ → Cache-Control "max-age=0" → Expires "Mon, 2
![ブラウザのキャッシュコントロールを正しく理解する - Qiita [キータ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/79212cc1e051d78866885f62625ed2b2a50ff100/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgzJTk2JUUzJTgzJUE5JUUzJTgyJUE2JUUzJTgyJUI2JUUzJTgxJUFFJUUzJTgyJUFEJUUzJTgzJUEzJUUzJTgzJTgzJUUzJTgyJUI3JUUzJTgzJUE1JUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTg4JUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgyJTkyJUU2JUFEJUEzJUUzJTgxJTk3JUUzJTgxJThGJUU3JTkwJTg2JUU4JUE3JUEzJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0wNTM1MDQ4ZGFlYmU5YjhkY2YzNzAwNTVhN2U3NjRkNA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBoa3VzdSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDQ2MDhlM2MxY2U1Y2E4MzU0YTFiOWMzNmI0MGNkZWE%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44KG44KB44G_%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D5490d94f8e002d57ebe35c99ee9fd84c)
Amazon S3の利用料節約を考えてみる ~apache(mod_proxy,mod_cache設定編）
Amazon S3の利用料節約を考えてみる ~apache(mod_proxy,mod_cache設定編） Amazon S3の利用料節約を考えてみる（の結果） の続きの話しです。前回、構成については説明しましたが、具体的にapacheでどうやっているの？については触れていなかったので、今回apacheの設定に絞って説明したいと思います。 こんな構成 haproxy の話しは今回のリバースプロキシにはとりあえずあまり関係のない話しなので割愛しますね apache のインストール apache 最新版をyum でインストールする にまとめました。これを参考にと言いたいところですが、単にこれでインストールしましたと言いたかっただけなので無視してもらって結構です /etc/init.d/httpd.conf の編集 インストールが無事完了しましたら、httpd.confの編集をします 以下の箇所
HTTPヘッダチューニング Etag・Last-Modified | REDBOX Labo
今回は既にCDNを利用している方も、利用していない方も今すぐ出来るHTTPヘッダチューニングをご紹介します HTTPヘッダのお話では、レスポンスヘッダやリクエストヘッダの中に何があり、どういう役割なのか簡単にまとめてみましたが、非常に多くのデータがWEBのやりとりで利用されていることが分かったと思います。 CDN利用時に利用者側が出来るチューニングは、オリジンサーバー側のApacheやNginxなどでどのようなHTTPレスポンスヘッダを付与するのか、しないのかということを決めるヘッダチューニングです。 Last-ModifiedヘッダはレスポンスヘッダのひとつでApacheやNginxなどのWEBサーバー側で適切な設定をすることによって、ブラウザ側にコンテンツの最終更新時刻を送信することができます。 ブラウザ側は、このコンテンツの最終更新時刻を覚えておき次回リクエストした際にリクエストヘッ
IPA ISEC セキュア・プログラミング講座：Webアプリケーション編 第5章 暴露対策：プロキシキャッシュ対策
第5章 暴露対策 プロキシキャッシュ対策 プロキシキャッシュへのコンテンツ残留 ブラウザとWebサーバの間には、いくつかのキャッシュメカニズムが働いていることが多い。 プロキシサーバのキャッシュ──企業等LANを運用している多くの組織体ではLANからインターネットアクセスを行う際プロキシサーバを経由して行うことが多い キャッシュサーバ─インターネットプロバイダの中には、会員のWebアクセスを円滑にする目的でキャッシュサーバを運用しているところがある これらのキャッシュメカニズムは、ブラウザからのリクエストによって得られたコンテンツをキャッシュに保持しておき、同じURLのリクエストが生じたとき、本来のWebサーバにコンテンツを取りに行かず、キャッシュの内容をブラウザに渡すものである。 このようにキャッシュは、円滑なインターネットの利用に寄与してくれる。 しかし、コンテンツによっては、ただひと
CloudFrontのキャッシュ時間(TTL)はどの程度なのか | DevelopersIO
よく訓練されたアップル信者、都元です。 CloudFrontはContents Delivary Network、所謂CDNですが、ざっくりと言ってしまえば、要するにキャッシュ機能を持ったHTTPリバースプロキシです。CloudFrontでは、元々のコンテンツ提供をするサーバのことをオリジンと呼びます。 CloudFrontでは、オリジンから提供されるコンテンツを、エッジサーバと呼ばれる世界各地に点在するコンテンツ配信専用のサーバ上にキャッシュすることによって、高い転送速度パフォーマンスを発揮しています。しかし、キャッシュというのはオリジン上のコンテンツの更新があった時に、内容が乖離してしまうという問題があります。 通常、CloudFrontは静的コンテンツ *1の配信に利用します。しかし、静的なコンテンツではあるのですが、定期的にファイルの差替えを行う、という可能性が無いわけではありませ
pgpool-II 3.2 の新機能 (1) 概要 — Let's Postgres
はじめに 2012 年 8 月にリリースされた pgpool-II 3.2 では、 DBへの検索リクエストを実効的に高速化するオンメモリクエリキャッシュ、 可用性を高めるウォッチドッグ機能などが搭載され、より PostgreSQL を高速、安全に利用できるようになりました。 本記事では、まず pgpool-II 3.2 の概要を説明します。オンメモリクエリキャッシュとウォッチドッグに関しては、 別ページで詳細に解説します。 pgpool-IIとは pgpool-II についてまだあまりご存知のない方のために、pgpool-II とは何かという事を簡単にご紹介します。 すでに pgpool-II についてよくご存じの方は、次の章までとばして頂いて構いません。 pgpool-II は、PostgreSQL のクライアントアプリケーションと、（複数の）PostgreSQL の間に割り込んで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
キャッシュメモリの効果