Dropboxが毎秒数百万のアクセスをさばくトラフィック制御基盤をNGINXからEnvoyへ移行中
クラウドストレージサービスを提供するDropboxは、自社トラフィック制御基盤をNGINXからEnvoy Proxyへと移行しました。なぜNGINXからEnvoyへと移行したのか、その理由や問題点などについて、Dropboxがブログ上で公開しています。 How we migrated Dropbox from Nginx to Envoy - Dropbox https://dropbox.tech/infrastructure/how-we-migrated-dropbox-from-nginx-to-envoy NGINXはDropboxのトラフィック制御基盤として過去10年ほど問題なく稼働していましたが、サービス間通信のREST APIからgRPCへの移行、Bazelによるビルド管理など、モダンなシステム導入が進むにつれて、Dropboxのアプリケーションデプロイに関するベストプラク
全世界で使われるWebサーバーの開発元「NGINX」にロシア警察の強制捜査、従業員拘束＆機器押収へ
世界中のウェブサービスで利用される無料かつオープンソースのWebサーバー「nginx」を開発するNGINXがロシア警察からの強制捜査を受けた ことがわかりました。この背景には、「ロシア企業がnginxの所有権を主張している」という問題があるとのこと。従業員による情報から、警察によって従業員が拘束され、機器が押収されたことも明らかになっています。 Rambler заявила о правах на Nginx – Бизнес – Коммерсантъ https://www.kommersant.ru/doc/4190259 Telegram: Contact @thebell_io https://t.me/thebell_io/4311 Russian police raid NGINX Moscow office | ZDNet https://www.zdnet.com/ar
Nginxで、リクエストを複製するmirrorモジュールが標準搭載された - ASnoKaze blog
[20170809追記] nginx-1.13.4に ngx_http_mirror_module は含まれました Nginxで、リクエストを複製するmirrorモジュールがコミットされ、何もせずとも使用できるようになりそうです(現状最新コミットをビルドする必要あり)。 例えば本番環境のproxyからリクエストを複製して開発環境に流すような事も出来ます。もちろん複製処理は本来のリクエスト処理をブロックしません。 例えば以下のように、mirrorに来たリクエストを複製してバックエンドサーバに投げるようにしてみます conf server { listen 80 ; server_name localhost; mirror_request_body on; log_subrequest on; location /mirror { mirror /proxy; #/proxy宛にリクエストを
１台あたり10,000人を捌くRails製Webサーバのチューニング - dely Tech Blog
SREの深尾です。kurashiru [クラシル] のインフラを担当しています。 タイトルのとおり、クラシルのwebサイトではRailsを使っており、１サーバあたり10,000人程度のアクセスに耐えることができます。実際には余裕を持たせて5,000人/サーバを目安にスケールさせており、TV CMをガンガンやったり、国内外のTV番組で特集されたり、芸能人にSNSで拡散されても動じませんが、実は過去に１度だけWebサイトがダウンしてしまったことがあります。それは2017年3月11日にSmaSTATION!!というTV番組でクラシルが取り上げられた時のことでした。 以下はその時のリクエスト数を表すグラフです。ダウンしてしまったので計測できなかったユーザの数字は含まれませんがそれでもアクセス数は１分で数万人を超えていました。 それまで、Webサイトの負荷対策はあまり行っておらず、２台のWebサーバ
Auto ScalingではなくてAuto Cachingという考え方 - Copy/Cut/Paste/Hatena
今年の3月くらいからずっと悶々としていて、なかなか手が出せなかったアイデアがやっと実現できました。 mod_mrubyでやりたいことできたー！— k1LoW (@k1LoW) June 16, 2016 （試行錯誤して書いてみたら、結果たった数行という。。。） Auto ScalingではなくてAuto Cachingという考え方 AWSではAuto Scalingという、サーバの負荷の変化などによってEC2インスタンスをスケールする便利な機能があります。 が、大抵はクラウド環境でないと容易には実現できません。 例えば、クラウドではなく サーバリソースは増やせない。 普段はキャッシュはしてほしくないコンテンツ。 ただ、アクセスが多くなるとかで何かしら負荷が高くなった時には「仕方なく」キャッシュを使っても良い。落ちるよりはマシ。 負荷が戻ったらキャッシュを使わないようにして欲しい。 という状
nginx-1.9.11で動的モジュールをサポート
nginxの記事を書くのは久しぶりの滝澤です。 nginxにApache HTTP Serverの動的共有モジュール（Dynamic Shared Object）（DSO）のような機能が欲しいと思っていた人も多いでしょう。筆者もそうです。秘伝のタレのようなビルド用のスクリプト（実際はRPMパッケージのSPECファイル）を保守し続けるのは辛いなと思っていました。 そのような方々に朗報です。2016年2月9日にリリースされたnginx-1.9.11において動的モジュール（Dynamic Modules）がサポートされました。 しかし、Apache HTTP ServerのDSOと比べると、現時点ではまだ制約があります。 本記事ではnginx-1.9.11における動的モジュールの説明と制約について説明します。 注: 2017年2月22日にフォローアップ記事「nginxの動的モジュールの最新状況（
100行あったmod_rewirteを ngx_mrubyで書き換えた話
第5回ペパボテックカンファレンス〜インフラエンジニア大特集〜 で発表した資料です http://pepabo.connpass.com/event/30348/
「『nginx実践入門』出版記念！執筆者らが語る nginx Tech Talks」レポート | gihyo.jp
「『nginx実践入門』出版記念！執筆者らが語る nginx Tech Talks」レポート 2016年2月8日、エンジニアのためのイベント＆コミュニティスペース「dots.」にて、「『nginx実践入門』出版記念！執筆者らが語る nginx Tech Talks」が開催されました。 同イベントは『nginx実践入門』の出版を記念して開催されたもので、執筆陣による制作秘話のほか、nginxを現場で活用しているエンジニアによるさまざまな講演が行われました。以下に同イベントの模様をレポートします。講演の資料は公開されており、本記事でも紹介していますので、詳しく知りたい方は参照してください。 nginx実践入門 メイキング - @cubicdaiya 久保達彦氏 発表資料 まずは、書籍の執筆者の一人である久保達彦氏（@cubicdaiya）による講演です。メルカリでプリンシパルエンジニアとし
ハイパフォーマンスngx_lua | メルカリエンジニアリング
Site Reliability Engineering（SRE） Teamの@cubicdaiyaです。 今回は数あるnginxのサードパーティモジュールの中でも一際強力で、メルカリでも活用しているngx_luaの便利な活用方法や最適化集について紹介します。 ngx_luaは軽量スクリプト言語のLuaでnginxを拡張できるモジュールです。 nginxの設定ファイル内にLuaのコードを埋め込んだり、nginxの拡張モジュールをCではなくLuaで開発することができます。以下はngx_luaにおける「Hello, World!」です。 location / { content_by_lua 'ngx.say("Hello, World!")'; } 上記のロケーションにHTTPでアクセスするとnginxはボディが「Hello, World!」のレスポンスを返します。 なお、先月末にリリースさ
nginx の設定をレビューするときの観点をまとめてみた - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。 インフラチームの野島（@nojima）です。 チームのメンバーに nginx の設定について気をつけるべき点を共有するために、レビュー観点を書きました。 せっかくなのでここで公開します。 ほとんどの項目は自分やチームのメンバーの実体験に基いています。 レビュー観点 server server_name が他のやつと被っていないか。 listen する IP アドレスが同じ場合、server_name で区別できないといけない。 TLS を使う場合、SNI をサポートしないクライアントでは TLS 用の設定が default_server のものが使われる点にも注意。 TLS を使う場合、listen ディレクティブに ssl オプションを書いているか。 location location のマッチの順番に注意 正規表現の location は前方一致の location より
nginxでDDoS対策をする方法
nginxでDDoS対策をするための方法を調べてみました。 いくつか方法が見つかったので、リンクをまとめてみました。あとで、色々試してみようと思います。 nginxをプロキシサーバとして利用して、バックエンドにアプリサーバを配置するような構成で使うので、外部から来たDDoSをnginxでブロックしてアプリサーバを守る。といったような用途になるかと思います。 もちろん、nginxが応答できるHTTPリクエストの範疇に収まらない攻撃は、その前段階でブロックしたり、他のサーバにアクセスを逃したりする必要があります。 DDoS攻撃に対するシンプルな戦略 | ツチノコブログ(http://tsuchinoko.dmmlabs.com/?p=611) さらに、こちらで紹介されているように、完璧に防ごうとすると青天井のコストが見えてしまったりするので、”どれくらいDDoSからの保護をするのか”を明確にル
ngx_mrubyを使って特定ホスト以外からのアクセスをメンテナンス画面にする - lamanotrama's diary
こんな感じ。(ほんとはもうちょいifが多い) error_page 503 /maintenance.html; location = /maintenance.html { internal; } mruby_access_handler_code ' c = Nginx::Connection.new r = Nginx::Request.new Nginx.return -> do if File.exists?("/var/tmp/maint_ignore_office") && c.remote_ip == "192.168.1.3" return Nginx::DECLINED end if !File.exists?("/var/tmp/maint") return Nginx::DECLINED end # 503 return Nginx::HTTP_SERVICE_UN
ngx_mrubyを使った簡単な画像変換サーバを数分で実装してみた - 人間とウェブの未来
2日前にmrubyの画像変換mrbgem下さいとつぶやいて、その後2日以内にgdとMagick++のmrbgemが開発されるこのスピード感がmruby。 https://t.co/RzTZJsX9vP https://t.co/4YkJ2PwISQ— MATSUMOTO, Ryosuke (@matsumotory) 2015, 4月 25 というように、mrubyで画像変換してみたいなーと呟くとあっというまに画像変換mrbgemが開発されてしまうmrubyですが、そのままでは呟いた当事者としてなんだか申し訳ないので、ngx_mrubyを使ってサクっと画像変換サーバができないか試してみました。 結論としては、簡単なものはサクっとできてしましました。以降では作り方を簡単に紹介します。 こういうのが数分でできてしまうのがmod_mrubyやngx_mruby、さらにはtrusterdの良さです
Nginxと名前解決の話 - Masteries
Nginxでは, serverコンテキストのlocationコンテキストにおいて, proxy_passディレクティブを利用することで任意のホストにアクセスを転送することができます. 例えば, serverコンテキストにおいて, location / { proxy_pass http://127.0.0.1:5000; } みたいに書いてあげれば, localhostの5000番ポートにアクセスを転送することが出来ます. Webサービスでは, こういう感じでNginxが443番(HTTPS)や80番ポート(HTTP)で受けたアクセスを5000番ポートなどで動いているWebアプリケーションに転送している訳です. で, このproxy_passディレクティブは, IPをそのまま書くのではなく, 次のようにドメインを書くこともできます. location / { proxy_pass http
nginxのリクエストボディのバッファリングに関する問題とその改善策 - Qiita
nginxのデフォルトの動作ではクライアントから受け取ったリクエストボディをメモリにバッファリングするようになっています。 このメモリバッファのサイズはclient_body_buffer_sizeで変更することができ、リクエストボディのサイズがこのバッファのサイズを越えた場合はclient_body_temp_pathにファイルとして書き出されます。 ログレベルがwarn以上の場合はエラーログにa client request body is buffered ...という警告が出ます。 2015/03/29 14:02:20 [warn] 6965#0: *1 a client request body is buffered to a temporary file /etc/nginx/client_body_temp/0000000001, client: x.x.x.x, ser
Railsで大きなファイルを扱う際のポイント｜TechRacho by BPS株式会社
Railsで大きなファイルを扱う際のポイントをまとめてみました。 前提 大きなファイルとは だいたい100MB～10GBくらいのファイルをダウンロード・アップロードするのを想定することにします。 数MB程度だと、特別な工夫なしでもそれほど問題になりません。10GBを超えてくると、気をつけるべき点が変わってくるかと思います。 以下では主にサンプルとして、1GBのファイル（ISOファイルやZIPファイルなど）を想定します。 環境 以下のような環境を想定します。 Railsは4系 Nginx + Unicornのスタンダードな構成 サーバ1台のシンプルな構成（ロードバランサを使用した複数台構成については、末尾に少し記載しています） ダウンロード ファイルのダウンロード まずは、Railsアプリから大きなファイルを配信するケースを考えましょう。 たとえば、ISOファイルをサーバ内に保存しておいて、
Nginxfiles: Aucfan.comのnginx confファイルの管理方法 | aucfan Engineers' blog
こんにちは。インフラエンジニアをしております@rkszです。 本日はオークファンで行っているnginx用のconfファイルの管理方法について紹介します。 皆さん、nginxの設定ファイルはどのように管理されていますか？最低限GitなどのVCSで管理されていると思いますが、実際の所、他社ではどうやっているんだという方も多いと思います。 [nginxfiles]$ tree . ├── README.md ├── Vagrantfile ├── default-html │ ├── 404.html │ ├── 50x.html │ └── index.html ├── init ├── n2dissite ├── n2ensite ├── nginx.conf ├── sites-available │ ├── default.conf │ ├── reverse-pro
Reverse Proxy がなぜ必要か - naoyaのはてなダイアリー
フロントエンジニアに知ってもらいたいリバースプロキシの重要性 | RickyNews この記事が目に入って読んでみた。なるほど、昨今は Reverse Proxy は便利な L7 ルーター的なものとして認識されているのだな、と思った。URL の Rewrite や、VirtualHost 云々。確かに Reverse Proxy の便利な側面ではある一方、それらは Nginx などの Reverse Proxy でなければ実装が不可能かと言えばそんなことはないものでもある。 自分は Reverse Proxy はもうすこしサーバー/インフラ的な側面でその役割を捉えている。今更何をというものでもあるが、昼休みがてら時間があるので簡単に書いてみよう。 Reverse Proxy はWebシステム全体のリソース最適化のためのパーツ Reverse Proxy のインフラ的な視点での役割は「Web
nginxでリクエスト/レスポンスヘッダーをログ出力
nginx でクライアントの "Accept-Encoding" をログ出力する必要があったので調べた。 ログ出力の基本 ngx_http_log_module モジュールでログ出力する。 nginx.conf の log_format で指定。 Ubuntu では nginx.conf は /etc/nginx/nginx.conf にある。 書式 リクエスト/レスポンスヘッダーともに log_format に $prefix_{field_name} で指定する。 prefix はリクエスト/レスポンスで異なる field_name は正規化しなければいけない。 大文字は小文字にする ハイフンはアンダースコアにする リクエストヘッダーのログ出力 prefix は http Accept-Encoding の場合 $http_accept_encoding となる。 ドキュメントのどこか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: nginx実践入門 (WEB+DB PRESS plus): 久保達彦, 道井俊介: 本
