DockerでnginxのstreamプロキシのDNS解決設定
nginxのupstreamのDNSによる名前解決は起動時のみでキャッシュされる。 そのためDNSを利用したフェールオーバーや負荷分散に課題があります。 ※商用版ではupstreamの機能で解決可能です。 nginxのstreamの設定 次のような設定で対処した。 確認用に接続先はwww.yahoo.co.jpで実施している。 stream { resolver 127.0.0.11 valid=1s; error_log /log/nginx/stream.log info; map "" $backend_server { default www.yahoo.co.jp:80; } server { listen 0.0.0.0:8888; proxy_pass $backend_server; } } [info] 9#9: *14 proxy 172.18.0.22:45222 c
【nginx】ホスト名指定でのリバプロはresolverをセットで - ポンコツ.log
nginxのリバースプロキシ設定で、転送先をIPではなくホスト名で指定していると、ある日突然エラーが発生する現象に遭遇しました。 ググると複数の記事が見つかったので、よくある現象？のようです。 リバースプロキシ設定 元々は↓のように設定していました。 proxy_passのところで、リクエストの転送先をホスト名で指定しています。 location ~ ^/hoge { proxy_pass https://example.com; } この状態だとnginx起動時に転送先のIPがキャッシュされ、以降はキャッシュしたIPへ転送するようになるようです。 IPが変わってもキャッシュしているIPへ転送し続けるので、AWSのELBを使っていたりすると、IPが変わった際にエラーが起きてしまうことも。 それを回避するため、proxy_passと併せてresolverを設定しておきます。 resolver
NginxのリバースプロキシでのDNS名前解決における落とし穴 - kkty’s blog
問題 Nginxのリバースプロキシでは、プロキシ先として（IPアドレスの他に）ホスト名を指定することができます。 その際、設定ファイルのlocationコンテキストは以下のようになると思います。 location /hoge/ { proxy_pass http://example.com/; } しかし、これには大きな落とし穴があります。DNSの名前解決がnginxの起動時にしか行われず、TTLは無視され、初回起動時に解決されたIPアドレスがずっと使われてしまうのです。 もちろん、ホスト名に対応するIPアドレスに変更があったときにエラーになってしまいます。 自分の場合では、プロキシ先としてAWSのELBのホスト名を指定しており、（ELBのアドレスは固定ではないので）この問題が原因で502エラーを吐き出してしまっていました。 解決策？ nginxにはresolverというディレクティブがあ
nginxのupstreamコンテキストで有償のresolveオプションを使わずに動的にDNS解決する - Qiita
TL;DR nginxからリバプロ先のバックエンドがELBの場合は、IPアドレスがキャッシュされないようにDNS名を動的に解決しないといけない。 serverコンテキストならset変数使うハックで回避可能だけど、この技はupstreamコンテキストで使えない。 nginxのupstreamコンテキストでresolveオプション使おうと思ったら有償版の商用機能だった罠。 upstreamコンテキストで必要な負荷分散しつつ、Unixドメインソケットを1段挟んで、serverコンテキストでset変数するハックと組み合わせると動的にDNS解決できた。 経緯 nginxをリバースプロキシとして使っていて、バックエンドにELBみたいな構成の場合、DNS名を起動時に名前解決してIPアドレスをキャッシュしてしまうので、IPアドレスが変わると繋がらなくなるというのはよくあるハマりポイントみたいです。 で、調
nginxでIPアドレスをキャッシュしないようにするために - Qiita
概要・経緯 nginxはstart or reload時にドメインの名前解決を行い、そのIPをTTLに関係なく次のrestart or reload時まで保持する挙動となっています。 そのためドメインに紐づくIPアドレスを変更されると途端にnginxから接続できなくなるといったことが発生します。（実際に業務で発生しました） そこで、本記事ではnginxが次の起動までIPアドレスを保持してしまう挙動を回避し、ドメインアクセス時に都度名前解決するような設定を紹介します。 同じような記事は他ブログ等でも書かれていますので、そちらも参考に。 解決法 結論から言うとやるべきことは2つだけ。 resolverパラメータでネームサーバのIPを指定する ドメインをsetを使って変数化する 1.resolverパラメータでネームサーバのIPを指定する このようにすると指定したname serverに名前解決
Nginx のDNS 名前解決とS3 やELB へのリバースプロキシ :: by and for engineers
Aug 15, 2015 Nginx をフロントに立てて、バックエンドをごにょごにょするといろいろ捗ると思います。 ただ、バックエンドがAWS のようにAuto Scaling が働く場合、IP アドレスが変わってトラブルになることがあります。 リバースプロキシの設定proxy_pass にURI 指定すると、リクエストを転送処理できます。 必要に応じて proxy_set_header, proxy_hide_header を指定する事で、転送先サーバーにリクエストヘッダーを送信できます。 server { listen 80; server_name example.com; location / { proxy_pass http://proxy.example.com; } } Nginx 内部の名前解決デフォルトの挙動として、Nginx は起動時に名前解決を行いIP アドレスをキ
Apache または NGINX を ELB のバックエンドサーバーとして使用する
Apache または NGINX を実行する Amazon Elastic Compute Cloud (Amazon EC2) インスタンスを、Elastic Load Balancing (ELB) のバックエンドサーバーとして使用したいと考えています。しかし、最適なパフォーマンスを得るためにどの設定を使用すればよいかわかりません。 解決方法 ロードバランサーに最適な設定は、お客様のユースケースによって異なります。最適なパフォーマンスを得るには、バックエンドアプリケーションの応答時間とクライアントの要件を分析します。 バックエンドアプリケーションが Apache または NGINX を実行している場合は、次のパラメータを確認します。 クライアントヘッダータイムアウト (Apache の Timeout、NGINX の client_header_timeout) アプリケーションのタイ
nginx でKeepAliveを設定してみる | レンタルサーバー・自宅サーバー設定・構築のヒント
nginx でKeepAliveを設定してみる
Nginxで、リクエストを複製するmirrorモジュールが標準搭載された - ASnoKaze blog
[20170809追記] nginx-1.13.4に ngx_http_mirror_module は含まれました Nginxで、リクエストを複製するmirrorモジュールがコミットされ、何もせずとも使用できるようになりそうです(現状最新コミットをビルドする必要あり)。 例えば本番環境のproxyからリクエストを複製して開発環境に流すような事も出来ます。もちろん複製処理は本来のリクエスト処理をブロックしません。 例えば以下のように、mirrorに来たリクエストを複製してバックエンドサーバに投げるようにしてみます conf server { listen 80 ; server_name localhost; mirror_request_body on; log_subrequest on; location /mirror { mirror /proxy; #/proxy宛にリクエストを
Nginx - ファイルディスクリプタ設定(Too many open files 対策)！
Linux では、１プロセスが同時オープン可能なファイルディスクリプタの上限に達すると “Too many open files” などというエラーを発生します。 OS 上でのファイルディスクリプタ設定についての記事は結構存在するので、対策はそれほど難しくありません。 しかし、Web サーバ Nginx が絡むと若干ワナにかかる可能性があります。 以下、その事象、対策についての記録です。 不勉強なので、それほど突っ込んだ内容ではありません。当方が行なった対策についての記録です。 0. 前提条件 CentOS 6.5 上での作業を想定。 Web サーバは Nginx 1.4.7 を想定。 Web アプリ・サイトは Ruby on Rails で構築されていることを想定。（当方の場合） 1. 発生事象・原因 突如、自前で運用中の Web サーバにアクセスると、ブラウザ上に以下のようなメッセージ
Nginxと名前解決の話 - Masteries
Nginxでは, serverコンテキストのlocationコンテキストにおいて, proxy_passディレクティブを利用することで任意のホストにアクセスを転送することができます. 例えば, serverコンテキストにおいて, location / { proxy_pass http://127.0.0.1:5000; } みたいに書いてあげれば, localhostの5000番ポートにアクセスを転送することが出来ます. Webサービスでは, こういう感じでNginxが443番(HTTPS)や80番ポート(HTTP)で受けたアクセスを5000番ポートなどで動いているWebアプリケーションに転送している訳です. で, このproxy_passディレクティブは, IPをそのまま書くのではなく, 次のようにドメインを書くこともできます. location / { proxy_pass http
nginx の設定をレビューするときの観点をまとめてみた - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。 インフラチームの野島（@nojima）です。 チームのメンバーに nginx の設定について気をつけるべき点を共有するために、レビュー観点を書きました。 せっかくなのでここで公開します。 ほとんどの項目は自分やチームのメンバーの実体験に基いています。 レビュー観点 server server_name が他のやつと被っていないか。 listen する IP アドレスが同じ場合、server_name で区別できないといけない。 TLS を使う場合、SNI をサポートしないクライアントでは TLS 用の設定が default_server のものが使われる点にも注意。 TLS を使う場合、listen ディレクティブに ssl オプションを書いているか。 location location のマッチの順番に注意 正規表現の location は前方一致の location より
Nginxでproxy_passにホスト名を書いた時の名前解決のタイミング - （ひ）メモ
Nginx 1.4.2で試しました。 ネームサーバーは、ローカルのunboundをlocal-zone, local-dataを使って簡易コンテンツサーバーにして試しました。 local-zone: "oreno." static local-data: "api.oreno. 30 IN A 192.0.2.11" # local-data: "api.oreno. 30 IN A 192.0.2.12" proxy_passにホスト名を書くと→名前解決は一度だけ このように Nginx の設定を書いた場合、 location /api { proxy_pass http://api.oreno:9999; } 「api.oreno」の名前解決は、nginxの起動時に行われます 名前解決できない場合は、nginxは起動しません 名前解決できた場合は、ずっとそのIPアドレスにreverse
DPW - S3ホスティングサイトにNginx proxyかます際の注意点
S3で静的サイトをホスティングしている方は多いかと思います。 が、それに対して、NginxのProxyを間にかましている方は少ないかと思います。 今回、その設定でつまったので備忘録として残したいと思います。 こんな感じで、特定のlocationをS3にProxyすることを想定します。 ・ブラウザ上のURL http://example.com/s3bucket/index.html ・実際のURL http://s3bucket-name.example.com/index.html ※s3-bucket-name.example.comは、S3ホスティング設定したドメイン 当初、nginx.confを以下のようにしていました。
nginxのproxy_set_headerの設定場所 - 雑記
若干はまったのでメモ。 何が起きたか 設定をちょこちょこ修正してたらproxy後にheaderがうまく付与されなくなりました。 その時の設定 proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-Server $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; location / { proxy_pass http://backend; proxy_redirect http://backend.hogehoge.com/ /; }上記設定だとバックエンド側でX-Real-IPが取得できなくなります。 なんで? proxy_set_headerはproxy_pass後に書かなきゃダメみたいですね。 公式におもいっきり書い
Nginxのログ(LTSV形式)をFluentd(td-agent)で処理する - Devlog
Nginxのログ(LTSV形式)をFluentd(td-agent)で処理する Mar 22nd, 2013 今運用しているプロジェクトで、ログ解析はfluentd(td-agent)とmongodbを利用しています。 最近、LTSVというログフォーマットが流行っているみたいなので、今回はnginxのアクセスログフォーマットをLTSVに変更し、mongodbで確認するところまでやってみたいと思います。 LTSVについてはこちらが分かりやすいです。 参考: LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー nginx設定 confの修正 今までは、”main”を使用していましたが、”ltsv”というタグで新しく追記します。 /etc/nginx/nginx.conf log_format main '$remote_addr - $rem
アプリサーバー対決 パート1：主なRubyアプリケーションサーバーの機能比較 - Engine Yard Blog
本記事は英語版ブログで公開された記事の翻訳版です。 2013年7月に、米国テキサス州オースティンで開催されたLonestar Ruby Conferenceで、Rubyによるアプリケーションサーバーについてお話させていただきました。その中でいくつかのRubyアプリケーションサーバーのパフォーマンスや、さまざまな状況における挙動の違いを比較しました。この記事では、講演準備として行ったリサーチの中で分かったことをかいつまんでご紹介します。 実際のカンファレンスの録画をご覧になりたい方は、Confreaksで公開されていますのでそちらをご参照ください。テストに使用した簡単な自作アプリケーションはGitHubに、講演スライドはSlideshareにそれぞれ公開しています。 このリサーチは、Passenger 4のパフォーマンス評価以外すべて2013年7月に行ったものなので、情報が多少古くなっている
CentOSにNginxとModSecurityをインストールする - Qiita
$ sudo yum -y install httpd-devel apr apr-devel apr-util apr-util-devel pcre pcre-devel libxml2 libxml2-devel curl curl-devel $ git clone https://github.com/SpiderLabs/ModSecurity.git mod_security $ cd modsecurity/ $ ./autogen.sh $ ./configure --enable-standalone-module $ make $ wget http://nginx.org/download/nginx-1.6.0.tar.gz $ tar xzvf nginx-1.6.0.tar.gz $ cd nginx-1.6.0/ $ ./configure --add-mo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
1000万ダウンロードアプリ『メルカリ』を支える技術
