DockerでnginxのstreamプロキシのDNS解決設定
nginxのupstreamのDNSによる名前解決は起動時のみでキャッシュされる。 そのためDNSを利用したフェールオーバーや負荷分散に課題があります。 ※商用版ではupstreamの機能で解決可能です。 nginxのstreamの設定 次のような設定で対処した。 確認用に接続先はwww.yahoo.co.jpで実施している。 stream { resolver 127.0.0.11 valid=1s; error_log /log/nginx/stream.log info; map "" $backend_server { default www.yahoo.co.jp:80; } server { listen 0.0.0.0:8888; proxy_pass $backend_server; } } [info] 9#9: *14 proxy 172.18.0.22:45222 c
【nginx】ホスト名指定でのリバプロはresolverをセットで - ポンコツ.log
nginxのリバースプロキシ設定で、転送先をIPではなくホスト名で指定していると、ある日突然エラーが発生する現象に遭遇しました。 ググると複数の記事が見つかったので、よくある現象？のようです。 リバースプロキシ設定 元々は↓のように設定していました。 proxy_passのところで、リクエストの転送先をホスト名で指定しています。 location ~ ^/hoge { proxy_pass https://example.com; } この状態だとnginx起動時に転送先のIPがキャッシュされ、以降はキャッシュしたIPへ転送するようになるようです。 IPが変わってもキャッシュしているIPへ転送し続けるので、AWSのELBを使っていたりすると、IPが変わった際にエラーが起きてしまうことも。 それを回避するため、proxy_passと併せてresolverを設定しておきます。 resolver
NginxのリバースプロキシでのDNS名前解決における落とし穴 - kkty’s blog
問題 Nginxのリバースプロキシでは、プロキシ先として（IPアドレスの他に）ホスト名を指定することができます。 その際、設定ファイルのlocationコンテキストは以下のようになると思います。 location /hoge/ { proxy_pass http://example.com/; } しかし、これには大きな落とし穴があります。DNSの名前解決がnginxの起動時にしか行われず、TTLは無視され、初回起動時に解決されたIPアドレスがずっと使われてしまうのです。 もちろん、ホスト名に対応するIPアドレスに変更があったときにエラーになってしまいます。 自分の場合では、プロキシ先としてAWSのELBのホスト名を指定しており、（ELBのアドレスは固定ではないので）この問題が原因で502エラーを吐き出してしまっていました。 解決策？ nginxにはresolverというディレクティブがあ
nginxのupstreamコンテキストで有償のresolveオプションを使わずに動的にDNS解決する - Qiita
TL;DR nginxからリバプロ先のバックエンドがELBの場合は、IPアドレスがキャッシュされないようにDNS名を動的に解決しないといけない。 serverコンテキストならset変数使うハックで回避可能だけど、この技はupstreamコンテキストで使えない。 nginxのupstreamコンテキストでresolveオプション使おうと思ったら有償版の商用機能だった罠。 upstreamコンテキストで必要な負荷分散しつつ、Unixドメインソケットを1段挟んで、serverコンテキストでset変数するハックと組み合わせると動的にDNS解決できた。 経緯 nginxをリバースプロキシとして使っていて、バックエンドにELBみたいな構成の場合、DNS名を起動時に名前解決してIPアドレスをキャッシュしてしまうので、IPアドレスが変わると繋がらなくなるというのはよくあるハマりポイントみたいです。 で、調
How to add DNS filtering to your NAT instance with Squid | Amazon Web Services
AWS Security Blog How to add DNS filtering to your NAT instance with Squid September 23, 2020: The squid configuration file in this blog post and associated YAML template have been updated. September 4, 2019: We’ve updated this blog post, initially published on January 26, 2016. Major changes include: support of Amazon Linux 2, no longer having to compile Squid 3.5, and a high availability version
Squidにホワイトリストを設定してUbuntuのインスタンスからパッケージダウンロードする | DevelopersIO
こんにちは、岩城です。私の備忘録シリーズです。先日、プライベートサブネット上のインスタンスからインターネットへ接続してパッケージをダウンロードする際、許可されたURLに限定して接続する方法を調べる機会がありました。備忘録としてまとめておきます。 はじめに こんにちは、岩城です。私の備忘録シリーズです。 先日、プライベートサブネット上のインスタンスからインターネットへ接続してパッケージをダウンロードする際、許可されたURLに限定して接続する方法を調べる機会がありました。備忘録としてまとめておきます。 経緯 プライベートサブネット上のインスタンスからパッケージダウンロードを可能とする構成としては、NAT Gatewayの利用が挙げられます。NAT Gatewayはマネージドサービスなのでインスタンスの管理が不要となり、利用するシーンは多いと思います。しかし、今回の機会ではホワイトリストによる接
nc, cURL, Chrome, openssl s_client, RDP で SOCKS プロキシーを使う（＆ socatのご紹介） | DevelopersIO
SOCKS 4 プロキシを経由しないとアクセス出来ない Web 環境（のSSL証明書）をテストする必要があったので、各試験用コマンドで SOCKS4 プロキシーを使う方法を調べました。また、その過程で socat というツールも見つかったのでご紹介します。 前提 以下、下記の前提で話を進めます。 プロキシーサーバのホスト名は proxy.example1.jp プロトコルは SOCKS4、ポートは 1080/TCP 試験対象（接続したい Web 環境）の URL は https://target.example9.jp/ クライアント側の作業環境は macOS High Sierra になりますが、CLIコマンドなどは Linux でも使用可能かと思います。 nc (netcat) 443/TCP が LISTEN しているか、そもそも作業環境・プロキシーサーバからアクセス出来るか（SG
Nginxで、リクエストを複製するmirrorモジュールが標準搭載された - ASnoKaze blog
[20170809追記] nginx-1.13.4に ngx_http_mirror_module は含まれました Nginxで、リクエストを複製するmirrorモジュールがコミットされ、何もせずとも使用できるようになりそうです(現状最新コミットをビルドする必要あり)。 例えば本番環境のproxyからリクエストを複製して開発環境に流すような事も出来ます。もちろん複製処理は本来のリクエスト処理をブロックしません。 例えば以下のように、mirrorに来たリクエストを複製してバックエンドサーバに投げるようにしてみます conf server { listen 80 ; server_name localhost; mirror_request_body on; log_subrequest on; location /mirror { mirror /proxy; #/proxy宛にリクエストを
VPC Peering、Direct Connectで同セグメントの通信を実現する方法。
はじめに くどうです。 今回は、AWSの話です。 VPC同士でVPC Peering、もしくはオンプレミスとDirect Connectで接続して接続する場合の前提条件としてセグメントが被らないようにとあります。 最初からIP設計を行い、接続する分には問題はありません。しかし、最近は構築後に接続要件が出てくるケースがあります。 特にエンタープライズな範囲で、部署間での接続など増えてきています。 そこで、ひとつの解決方法としてProxyを利用した方法を説明していきたいと思います。つまり、ピア通信でないことをご了承ください。 また、例としてVPC Peeringを取り上げています。 概要 本来、実現したかった通信は同セグメントの通信でした。 しかし、実際にはVPC Peeringの設定自体が行えません。 そこで、VPC Peeringを実現するためセグメントの異なるVPCを挟みます。 そこで、
Google Cloud SQL 2nd Generation Proxy接続する - 続 カッコの付け方
8月下旬、 Google Cloud SQL 2nd Generation がGAとなりました。すでに検証はしていますが、今回は Cloud SQL Proxy を中心に書きます。 iga-ninja.hatenablog.com Cloud SQL Proxy とは？ 前回の記事でも記載しましたが、Cloud SQL への接続は全てグローバルIPアドレス となります。これに嫌悪するひとは多いと思いますが、この点はどうすることも出来ません。で、GCEのVMからアクセスする場合、は2つの方法どちらかをとることになります。 特定IPアドレスからのみアクセスを受け付ける(グローバルIPのみローカルIPは意味ない) Cloud SQL Proxy を使う 1を採用したでも、GCEの特定VMからのみだときまっていたり、スケールアウトは考える必要がなく、固定台数でのみサービスする場合は、あまり問題はあ
Classic Load Balancer のプロキシプロトコルサポートの設定 - Elastic Load Balancing
プロキシプロトコルは、接続のリクエスト元からリクエスト先に接続情報を伝達するために使用されるインターネットプロトコルです。Elastic Load Balancing ではプロキシプロトコルのバージョン 1 を使用します。このバージョンでは、人間が判読できるヘッダー形式が使われます。 フロントエンド接続とバックエンド接続の両方に Transmission Control Protocol (TCP) を使用する場合、Classic Load Balancerは、デフォルトで、リクエストヘッダーを変更せずにリクエストをインスタンスに転送します。プロキシプロトコルを有効にすると、送信元 IP アドレス、送信先 IP アドレス、ポート番号などの接続情報を含むリクエストヘッダーに、人間が判読できるヘッダーが追加されます。これにより、ヘッダーがリクエストの一部としてインスタンスに送信されます。 プロ
複眼中心 : Xp on Mac (XOM) How to 日本語訳
Tats Shibata (柴田竜典, シバタツ) has 20+ years of experience in database technology, performance engineering, and pre-sales. As a Senior Manager and Head of Japan Data Solutions Architecture at Amazon Web Services Japan, he leads a team of database and analytics technical experts who provide solution architecting for AWS customers across various industries.
[Corkscrew] Webプロキシ経由でSSH接続を行うの巻
CentOSWebプロキシ配下に構築したCentOSから外部のSSHサーバまでSSH接続を行いたい。TeraTermを用いてWebプロキシ経由で外部SSHサーバに接続することは知っていたが、LinuxからSSH接続をする際にWebプロキシを指定する方法を知らなかったので、調べてみたよ！(*´∀｀*) Webプロキシ配下の環境から外部インターネットに対してSSH接続を行いたい。 TeraTermをWindows上で用いた場合、プロキシの設定を変更して外部インターネットに対してWebプロキシ経由でアクセスできるのは知っていたので、今回はCentOSからWebプロキシ経由で外部インターネットに対してSSH接続できないものか と思い、調べてみた。 すると「corkscrew」というものに出くわした。 To use ssh over a proxy connection, you need a so
![[Corkscrew] Webプロキシ経由でSSH接続を行うの巻](https://cdn-ak-scissors.b.st-hatena.com/image/square/c19928d7db68687d324671f4799bcb46b2d246d8/height=288;version=1;width=512/https%3A%2F%2Fblog.trippyboy.com%2Fwp-content%2Fuploads%2F2021%2F03%2Fhero-img.png)
HTTPプロキシ環境におけるdocker build - Qiita
以下も参照してください。 ANNOUNCING DOCKER 1.9 | Docker Blog CHANGELOG 1.9.0 (2015-11-03) Set build-time variables (--build-arg) | Command line reference （追記おわり） 概要 HTTPプロキシを経由しなければインターネットにアクセスできない環境において、インターネットアクセスが必要なdocker build（アプリケーションパッケージのインストールなど）を行うには環境変数の設定が必要になります。しかし、環境変数の情報をDockerfileに書いてしまうとプロキシ環境以外で使いにくくなってしまいます。 そこで、Dockerfileは環境によらず使えるように、プロキシ設定をDockerイメージに埋め込む方法について説明します。 例題 例として以下のようなDocker
プロキシ下でLinuxを使う際のメモ - Λlisue's blog
どうもAlisueです。研究室は完全Proxy環境下のため、通常の方法ではダウンロード等ができない場合が多々あります。 再インストールなどを行った際に毎度Google先生と格闘しながら設定を行なっていたのですが、いい加減面倒くさくなったのでまとめます。 必須設定 まずは下記設定をすべて行なってください。大抵の場合この設定だけですべてが解決します。 プロキシ用環境変数の設定（ターミナル環境） 通常環境設定は下記に上げるどれかで行います。 /etc/environment デフォルトの環境変数を設定するファイル。 今回のようにシステム全体の環境変数を変更する場合はこのファイルを編集するのが常套手段である。 /etc/profile ログイン時に実行されるシェルスクリプトファイル。 ログインシェルとして登録されているシェルが起動した際に自動的に読み込まれる。 /etc/profile.d/XXX
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://agroman.net/corkscrew/