はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
コンテンツキャッシュとVaryヘッダとnginx - Qiita
Varyヘッダは前段のキャッシュサーバに対して、指定したヘッダの内容ごとにキャッシュを分ける必要があることを伝えるためのものです。例えばサーバがVary: Accept-Encodingをレスポンスヘッダに付加しておくと、キャッシュサーバはAccept-Encodingヘッダの内容に応じたキャッシュを保持します。 こうすることでクライアントのAccept-Encodingヘッダの内容に応じたキャッシュデータをキャッシュサーバは返すことができるというわけです。 nginxにおけるgzip圧縮とVaryヘッダ さて、本題です。上記のような事情からかApacheのmod_deflateやh2oなんかはコンテンツのgzip圧縮を有効にすると、自動的にVary: Accept-Encodingをレスポンスヘッダに付加します。一方我らがnginxは設定ファイルにgzip_vary on;と書かないとV
OpenRestyからRedisに問い合わせるAPIのLuaのサンプル - Qiita
Nginxを拡張してLuaが便利なOpenRestyを使って簡単なAPIのサンプルを書いてみます。バックエンドのRedisに問い合わせてJSON形式でレスポンスを返します。LuaのRedisクライアントはlua-resty-redisを使っているようです。Luaで組み込みのプログラムが書けるので、リバースプロキシにも使うOpenRestyのところで、バックエンドのアプリのちょっとしたAPIの差異を吸収することができます。 プロジェクト 今回もサービスのオーケストレーションにはDocker Composeを使います。プロジェクトのディレクトリを作成してdocker-compose.ymlとnginx.confを作成します。 $ cd ~/openresty_apps $ tree . ├── docker-compose.yml └── nginx └── nginx.conf OpenRe
nginxでrestartしたのに設定が反映されない時はnginx -s reload - 以下省略!
photo by alternatePhotography 今月末で契約終了となる大阪側のVPSのデータを新たに契約した石狩側に順次移行しているが、rita-mordio.infoを大阪側から石狩側に移転してnginx側でバーチャルホスト設定したあと、ついでにバーチャルホスト別にログを分けるようにしてsudo service nginx restartしたのはいいが、ログファイルが生成されている癖に設定が反映されていない。 Apacheの時はrestartでも設定変更が反映されたが、nginxだと反映されないので「なんでや！？」としばらく格闘していたが、どうやらrestartだとマスタープロセスだけの再起動?しか行われないっぽく、肝心のワーカープロセスに変更が行き届いてなかったようだ。 なので以下のコマンドでマスタープロセスに対してHUPシグナルを送る*1と幸せになれるかも。 $ sudo
nginxがポート80でPermission denied - DRYな備忘録
問題 前々回、前回と、ローカルのMacにnginxのサーバを立てた ポート80で動かそうとすると、以下のエラーが出る [12:44:15] → nginx nginx: [emerg] bind() to 0.0.0.0:80 failed (13: Permission denied) ちなみに、変更は以下 diff -u /usr/local/etc/nginx/nginx.conf.default /usr/local/etc/nginx/nginx.conf --- /usr/local/etc/nginx/nginx.conf.default 2014-01-20 11:22:56.000000000 +0900 +++ /usr/local/etc/nginx/nginx.conf 2014-01-20 12:43:19.000000000 +0900 @@ -33,7 +33
Nginxへの変更に伴うリバースプロキシのテストの改善 - クックパッド開発者ブログ
Nginxへの変更に伴うリバースプロキシのテストの改善 SREグループの菅原です。 クックパッドではブラウザ用Webサイトのリバースプロキシ用のWebサーバとして長らくApacheを使っていたのですが、最近、Nginxへと変更しました。 Nginxへの変更に当たって、構成管理の変更やテストの改善を行ったので、それらについて書きたいと思います。 リバースプロキシのリニューアルについて まず、ブラウザ用Webサイトの基本的なサーバ構成は以下のようになります。 リバースプロキシはELB経由でリクエストを受けて、静的ファイルの配信やキャッシュサーバ・Appサーバへの振り分けを行います。 リバースプロキシとして利用されているApacheは、長年の改修により設定が煩雑なものとなっており、設定の追加や変更にコストがかかる状態になっていました。 また、Apacheの設定ファイルはItamaeでは管理されて
Nginxで、リクエストを複製するmirrorモジュールが標準搭載された - ASnoKaze blog
[20170809追記] nginx-1.13.4に ngx_http_mirror_module は含まれました Nginxで、リクエストを複製するmirrorモジュールがコミットされ、何もせずとも使用できるようになりそうです(現状最新コミットをビルドする必要あり)。 例えば本番環境のproxyからリクエストを複製して開発環境に流すような事も出来ます。もちろん複製処理は本来のリクエスト処理をブロックしません。 例えば以下のように、mirrorに来たリクエストを複製してバックエンドサーバに投げるようにしてみます conf server { listen 80 ; server_name localhost; mirror_request_body on; log_subrequest on; location /mirror { mirror /proxy; #/proxy宛にリクエストを
nginxで権限を設定した後も403 Forbiddenが出た話 - サナギわさわさ.json
恥ずかしながらnginxまともに使ったことなかったのでCentOS7に入れて試してみたんですが、 server { listen 80 default_server; server_name localhost; root /usr/share/nginx/html; location /test { alias /var/www/html/test; } } としてhttp://localhost/test/にアクセスすると画面には403 Forbiddenが表示され、エラーログには /var/www/html/test/index.html" is forbidden (13: Permission denied)の表示が。 とりあえずchmod 755 /var/www/html/testとかchown nginx:nginx /var/www/html/testとか試してみたのです
nginx+php-fpmでPHPを動かす。その3 – 徒然メモ
[bash] diff nginx.conf.default nginx.conf =============================================== 2c2 < #user nobody; — > user nginx; 45c45 < index index.html index.htm; — > index index.html index.htm index.php; 65,71c65,71 < #location ~ .php$ { < # root html; < # fastcgi_pass 127.0.0.1:9000; < # fastcgi_index index.php; <
nginx連載5回目: nginxの設定、その3 - locationディレクティブ
locationディレクティブはパスの条件が評価されて選ばれたものが適応されます。この条件はパスの文字列の前方一致あるいは正規表現による評価です。この評価の順番は以下のようになります。 前方一致（"=", "^~", プレフィックスなし）の条件の評価を実施 最も一致する条件を選ぶ。 選ばれた条件が、完全一致で、プレフィックスが"="であれば、そこで評価を終了し、そのlocationディレクティブを適応する。 選ばれた条件のプレフィックスが"^~"であれば、そこで評価を終了して、そのlocationディレクティブを適応する。 正規表現（"~", "~*"）の条件の評価を実施 正規表現の条件を設定ファイルに定義した順番に評価する。一致したら、そこで評価を終了して、そのlocationディレクティブを適応する。 前方一致の評価で選ばれた条件のlocationディレクティブを適応する。 ここで注意
Mac上でDockerを使ってnginxとRailsアプリケーションを動かす - Qiita
※ Docker, boot2dockerなどの基本はご自身でお調べ下さい。 ※ Docker Toolbox をインストールして下さい。以下すべての作業はDocker Quickstart Terminalで行っています。 構成 こちらの構成を再現しました。 (参考にした記事はEC2インスタンス上に直接構築していますが、今回はMac上のboot2dockerインスタンス上に構築したので、ちょこちょこと詰まることがありました。) MacでのDockerの構造については主題とは関連が薄いので割愛しますが、調べてみると良いかと思います。 昔はいろいろ問題があったようです。 さておき、ホスト上に4つのコンテナを構築します ・data: このコンテナーを介してデータやソケットの共有、ホストのファイルの共有などを行う ・app: RubyやRails、unicornが動作するコンテナー ・mysql
net::ERR_INCOMPLETE_CHUNKED_ENCODING with Nginx - ネットの海の片隅で
起こったこと Rails/Unicorn/Nginxという構成で動いているアプリケーションを使っていたら、net::ERR_INCOMPLETE_CHUNKED_ENCODINGというエラーが発生し、32KB以上のページが途中で途切れるようになりました。 解決策 その1 Railsのログを追ってみたところ特に異常なし。Unicornも特に異常はなく、試しにNginxを介さずにUnicornに直接アクセスするとページが切れずに表示されました。したがって、犯人はNginx。 そこで、いろいろとググってみたところ、こんなものを発見。 git - Enabling nginx Chunked Transfer Encoding - Server Fault というわけで、Nginxの設定ファイルに追記します。*1 location / { proxy_buffering off; } 細かいことを
NginxをWebサーバー“以外”でも徹底活用する
Nginxは高速化だけではありません。Webサーバー以外への応用事例として、ロードバランサー、HTTPS対応、WAFとしての利用を紹介します。 連載目次 Nginxの活用 「高速・軽量・高機能WebサーバーのNginx」連載の最終回にあたり、今回はNginxのWebサーバー以外の活用方法を紹介します。 NginxはWebサーバー以外にも、ロードバランサーやHTTPSサーバー、WAF（Webアプリケーションファイアウォール）、キャッシュサーバーとして利用することができます。そもそもNginxが開発されたのは、Apache HTTPDのロードバランシング機能に対するパフォーマンス不足からでした。そのためNginxのロードバランシング機能はパフォーマンスが高く、またさまざまな付加機能を持ち合わせています。 例えばHTTPSとロードバランサーを組み合わせHTTPSアクセラレーションを実現したり、W
フロントエンジニアに知ってもらいたいリバースプロキシの重要性 | RickyNews
Randen Pederson 大規模なシステムであれば使っているであろうリバースプロキシ。 セキュリティや稼働率の観点からみて利用することは非常にメリットは高いです。 ただ、社内や周りであまり知見がなく、 「動くからいいや」という理由でApacheをそのままWebサービスの一次受けとして利用されている方も多いと思います。 動くという目的からすれば確かにその通りですが、ただ一枚リバースプロキシを入れるだけで ぐっと運用効率、稼働率も拡張性も上がります。 1. ルーティング処理の簡略化 例えばRESTfulな一般的なAPI構成を作りたいと思った時に以下のようなURL構成になると思います。 http://api.something.com/search/v1/item/list.json?cid=xxxx&gid=xxxxx もしアプリケーション側のルーティングしか知らなければframewor
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Implement HTTPOnly and Secure Cookie in Nginx?
ngx_http_gzip_module モジュール 日本語訳
Using Nginx to proxy private Amazon S3 web services
Macでnginxを導入したときの作業メモ - Qiita