CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
Nginxとlua-resty-auto-sslで全自動なLet's Encrypt環境を作る - Qiita
Let's Encryptは便利なサービスですよね。 ですが、ワイルドカード証明書に対応していないため、頻繁にFQDNを変える環境には不向きでした。 そんなとき、「Auto SSL」なんていうキャッチーなNginx拡張があることを発見しました。 https://github.com/GUI/lua-resty-auto-ssl これは、lua-resty-auto-sslを検証したときのメモです。 なお、検証環境はCentOS7です。 インストール手順 Nginx(OpenResty)を入れる Nginxと・・・なんてタイトルに書いてますが、luaのための自前ビルドが面倒なのでOpenRestyを使います。 オフィシャルに手順が書いてあるのですが、一応私の行った手順を以下に記載しておきます。 OpenRestyはオフィシャルのパッケージを使うことにします。 skipされたくないのでskip
Alphabetical index of variables
$ancient_browser $arg_ $args $binary_remote_addr (ngx_http_core_module) $binary_remote_addr (ngx_stream_core_module) $body_bytes_sent $bytes_received $bytes_sent (ngx_http_core_module) $bytes_sent (ngx_http_log_module) $bytes_sent (ngx_stream_core_module) $connection (ngx_http_core_module) $connection (ngx_http_log_module) $connection (ngx_stream_core_module) $connection_requests (ngx_http_core_mo
雰囲気でNginxのモジュール書いてみた - Man page of CHIKU_WAIT(2)
作るまでの流れ 今、GMOペパボ株式会社の福岡支社でインターンをしています、chikuwaitです。ペパボ研究所の松本 亮介 / まつもとりー (@matsumotory) | Twitterさんとry's boot campという三日間たのしいたのしいことをしていました。まつもとりーさんとどんなことしてたのかというと、WEBサーバ全般の座学とか、Nginxを触ったりという感じのことをしてました。 全体的な流れとしてはこんな感じ。 1日目:Webサーバの基礎から代表的なWebサーバ実装、モジュールハンズオン 2日目:Webサーバのマルチプロセスやスレッド、レースコンディションの話、開発 3日目:退勤までにNignxのモジュールを雰囲気で頑張って書く 何作ったの github.com Ngx_memory_leak_killerというnginxのメモリ最大使用量が上限値を超えたら自動でプロセ
Why is setting Nginx as a reverse proxy a good idea?
I'm going to focus on slow client behavior, and how your configuration handles it, but don't be tempted to believe that is the only benefit. The same method that benefits slow clients also has benefits for fast clients, SSL handling, dealing with traffic surges, and other aspects of serving HTTP on the Internet. Gunicorn is pre-forking software. For low latency communications, such as load balance
ngx_mruby v1.20.0で動的listener設定をサポートしました - 人間とウェブの未来
タイトルの通り、ngx_mrubyのhttpモジュールとstreamモジュール両方で、mrubyによる動的Listener設定をサポートしました。 動的Listenerとは、nginxのlistenの設定をmrubyで書いて、起動時に動的に設定を読み込めるようにできる機能です。以下の例を見た方が分かりやすいかと思います。 # $ ulimit -n 60000 worker_processes 1; events { worker_connections 30000; } daemon off; master_process off; error_log logs/error.log debug; stream { upstream dynamic_server { server 127.0.0.1:8080; } server { mruby_stream_server_context_
PHPカンファレンス福岡2017のスポンサーセッションで「mrubyで作る海外IPフィルター」という話をした - カメニッキ
スライド speakerdeck.com 発表の振り返り 思ったよりも落ち着いて喋ることができた 正面を向いて話すよう意識できたのはよかった 本番よりも練習の方が話しづらい。本番はむしろやりやすい(重要) 練習大事…本当に練習大事 スライド作成の振り返り・今後意識したいこと プロジェクターの画面比率は早めに確認しよう 16:9で作ってたのを大至急4:3にして辛い思い カンファレンスの雰囲気・規模・どういった立場で喋るのか意識しよう スポンサーセッションは固めの文章、明るくやるならトークで 小規模なLTなどであればフレンドリーな文面も可 など どういった層を相手に話すか意識しよう 技術レベル 使う言葉が一般的なのか、内輪向けの話なのか、単語の定義を意識 どういうタイトル で 何が言いたいか をまず決めよう スライドの流れ・ストーリーを意識しよう 守らないと結局何が言いたいの？なスライドになる
ngx_mrubyで最初のHTTPSアクセス時に自動で証明書を設定可能にするFastCertificateの提案とPoC - 人間とウェブの未来
Let’s EncryptやACMEプロトコルによるDV証明書取得の自動化に伴い、証明書の取得と設定が簡単になってきました。 一方で、ACMEをツール化したものが増えるに従って、ACMEってそもそもどういう動きになっているのか、とか、自分たちの用途でどういう使い方がありえるのかとかが余計にわかりにくくなってきており、どこまで自動化できるかもよくわからない場合が多いのではないでしょうか。 そこで、 ドメインとAレコードの紐付けさえしていれば、最初のアクセス時に自動で証明書をとってきて、HTTPS通信にできないか というような、いわゆる FastCertificate 的な動きを実現したいと考え、ACMEの通信の中で各種処理を別のスクリプトでhookできるdehydratedとngx_mrubyを応用して実現可否も含めてPoCを実装してみました。 ※ FastContainerという考え方につ
Emiller’s Guide to Nginx Module Development
Emiller’s Guide To Nginx Module Development By Evan Miller First published: April 28, 2007 (Last edit: August 11, 2017 – changes) Bruce Wayne: What’s that? Lucius Fox: The Tumbler? Oh… you wouldn’t be interested in that. To fully appreciate Nginx, the web server, it helps to understand Batman, the comic book character. Batman is fast. Nginx is fast. Batman fights crime. Nginx fights wasted CPU cyc
nginx + ngx_mruby でSSL証明書の動的読み込みを実現して、作業がとても楽になった話 - astamuse Lab
こんにちは。並河(@namikawa)です。 随分と寒くなってきたんで、そろそろ銀座界隈のオススメのラーメン屋の紹介でもしようと思・・・うわなにをするやめくぁwせdrftgyふじこlp； ・・・はい。今日は、ちょっと前にやった nginx + ngx_mruby でSSL証明書の動的読み込みを実現して、作業がとっても楽になったワンって話をしようと思います。 前提の話 弊社では、転職ナビという400近く存在する多くのドメインを持つサイトがあり、そのSSL処理をフロントの nginx で行なっています。 過去、そのバーチャルホストの設定がドメインごとにベタ書きされていた経緯があり、その辺の共通化・書き直しを少しずつやっていて、正規表現や環境変数を駆使することで、随分と設定は共通化できたりするのですが、どうにもならなかったのがSSL証明書の設定である、 ssl_certificate ssl_c
ngx_mruby の Nginx::Var クラスの実装を理解する〜変数取得編
ngx_mruby には nginx の変数を操作するための Nginx::Var クラスがあります。対象となる変数は refs: nginx core variables の他、Alphabetical index of variables などをご参照ください。 例えば以下のようなコードで、Nginx の $date_local を参照することが出来ます。 v = Nginx::Var.new Nginx.rputs v.date_local #=> Friday, 14-Oct-2016 02:20:00 JST # ngx_http_geoip_module を使用している場合 Nginx.rputs v.geoip_country_name #=> Japan Nginx::Var クラスはこれら数多くの nginx 変数をどうやって取得しているのでしょうか。新たに変数が追加され
Posting Service Metrics with fluentd - Mackerel Docs
“Service Metrics” is a construct used for visualizing and monitoring metrics that are not directly tied to any specific server, making it possible, for example, to visualize an entire web service’s response time and status code distribution, and check if response time is slowing down or if the error rate is going up. Using fluent-plugin-mackerel service metrics can be posted to Mackerel via fluent
nginxのworkerプロセス初期化・exit時にRubyスクリプトを実行できる機能をngx_mrubyに追加 - 人間とウェブの未来
タイトルそのままなのですが、nginxのworkerプロセスの初期化・exit時にRubyスクリプトを実行出来る機能をngx_mrubyに追加しました。 matsumoto-r/ngx_mruby · GitHub ディレクティブ mruby_init_worker mruby_init_workerディレクティブはnginx.confのhttp{}セクションに設定を書くことができ、workerプロセスの初期化時に第一引数に渡されたRubyスクリプトファイルを実行します。 mruby_init_worker_code mruby_init_worker_codeディレクティブはnginx.confのhttp{}セクションに設定を書くことができ、workerプロセスの初期化時に第一引数に渡されたRubyコードを実行します。 mruby_exit_worker mruby_exit_worke
nginx最大パフォーマンスを出すための基本設定-オープンソーサー・日本
Nginxチューニング nginx最大限にスピードを出すために、設定パラメーターをチュニングしました。 nginx設定例 user www-data; pid /var/run/nginx.pid; worker_processes auto; worker_rlimit_nofile 100000; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; events { worker_connections 2048; multi_accept on; use epoll; } http { server_tokens off; sendfile on; tcp_nopush on; tcp_nodelay on; access_log o
Nginxで複数条件のIF文を書く方法がすごいｗ - Qiita
NginxでIf文を if ($host = 'www.example.com' && $request_uri ~ "/admin") という風には書けない。 入れ子にもできません。(ディレクティブなので？） そこで逃げ道は 文字列結合で判定。 if ($request_uri = /) { set $test A; } if ($host ~* teambox.com) { set $test "${test}B"; } if ($http_cookie !~* "auth_token") { set $test "${test}C"; } if ($test = ABC) { proxy_pass http://teambox-cms.heroku.com; break; }
nginx連載5回目: nginxの設定、その3 - locationディレクティブ
locationディレクティブはパスの条件が評価されて選ばれたものが適応されます。この条件はパスの文字列の前方一致あるいは正規表現による評価です。この評価の順番は以下のようになります。 前方一致（"=", "^~", プレフィックスなし）の条件の評価を実施 最も一致する条件を選ぶ。 選ばれた条件が、完全一致で、プレフィックスが"="であれば、そこで評価を終了し、そのlocationディレクティブを適応する。 選ばれた条件のプレフィックスが"^~"であれば、そこで評価を終了して、そのlocationディレクティブを適応する。 正規表現（"~", "~*"）の条件の評価を実施 正規表現の条件を設定ファイルに定義した順番に評価する。一致したら、そこで評価を終了して、そのlocationディレクティブを適応する。 前方一致の評価で選ばれた条件のlocationディレクティブを適応する。 ここで注意
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした
SSLセッションキャッシュを共有したいだけの人生だった
High Performance Backend For Mercari
Chef update config file