Surviving Flashes of High-Write Traffic Using Scriptable Load Balancers (Part I)
Opens in a new windowOpens an external siteOpens an external site in a new window 7 minute read This Sunday, over 100 million viewers will watch the Super Bowl. Whether they’re catching the match-up between the Falcons and the Patriots, or there for the commercials between the action, that’s a lot of eyeballs—and that’s only counting America. But all that attention doesn’t just stay on the screen,
OpenResty で証明書の動的読み込み - Qiita
ssl_certificate_by_lua* ディレクティブを使用することで、証明書を動的に読み込ませることが可能です。 例 クライアントから送られてきた ClientHello の SNI 拡張に含まれているサーバ名に対応する証明書を読み込んでいます。 対応する証明書が見つからない場合は ServerHello を返さずに、Internal Error (80) のアラートが返ります。 http { lua_shared_dict certs 10m; server { listen 10443 ssl; ssl_protocols TLSv1.2; ssl_certificate certs/www.example.com.pem; ssl_certificate_key certs/www.example.com.key; ssl_session_tickets on; ssl_s
Microservices & API Gateways
A brief overview of the significance of API Gateways in microservices architecture by providing Kong as an example. Slide 2: Monolith Vs Microservices Monolith: Pros- Simple to implement Less integration test - easy to test Easy to ship Fast development Cons- Violates Open-Close principle Nightmare when it comes to managing the code Difficult to enhance Bigger artifacts Hard to replace individual
Nginx balancer_by_luaの話とupstream名前解決の話 - Qiita
balancer_by_lua_xxxxx いつの間にやら1 lua-nginx-module に balancer_by_lua_xxx という新しいディレクティブが増えていました。 以下ドキュメントより抜粋。 http { upstream backend { server 0.0.0.1; # just an invalid address as a place holder balancer_by_lua_block { local balancer = require "ngx.balancer" local host = "127.0.0.2" local port = 8080 local ok, err = balancer.set_current_peer(host, port) if not ok then ngx.log(ngx.ERR, "failed to set
自作でイベント駆動型サーバ作るのツライ問題とlua-nginx-module
自作でイベント駆動型サーバ作るのツライ問題とlua-nginx-module 23 Mar 2016 Nakamura Narihiro 何の因果かわかりませんが、お仕事でちょっと賢いリバースプロキシサーバ（以降、RPサーバ）を作る機会が２回ありました。 HTTPヘッダの内容によってプロキシ先のサーバを動的に切り替えるようなものです。 この要件を満たすため、RPサーバには以下のようなプログラムが必要になります。 HTTPヘッダの内容を知るためにHTTPリクエストをパース プロキシ先のサーバへHTTPリクエストをプロキシ プロキシ先のサーバはRedisから取得 レスポンスをクライアントへ返す 大量のリクエストも捌ける １回目はRubyとI/O多重化のライブラリを使ってイベント駆動型のRPサーバを自作してみました。 が、振り返ってみるとこれは失敗でした。 なぜ失敗だったのか？ Rubyでイベン
最も重要なプロダクション・コードにLuaを使う : PythonからLuaへの移行 | POSTD
Distelli Agentは今、実行ファイルを1つダウンロードするだけで簡単にインストールできます。この実行ファイルを使うと、適切な管理プロセスを持つエージェントをインストールしたり、新規にリリースしたものをアップロードしたりできるようになります。また、このエージェントはプラットフォームを問わず利用可能で、わずかな容量のCPUやメモリフットプリント（1パーセント未満のCPU使用率、10メガバイト以下のメモリ）で動作します。 私たちは、上記のパフォーマンスをある程度信用した上で、PythonからLuaに移行することにしました。 Pythonで挑む 私がDistelliに入社したのは、2014年の12月のことです。当時、Distelli Agentやコマンドラインツールは、システムで標準となっているバージョンのPython（サポートバージョンは2.4から2.7）を使う数個のターボールとして実
サーバサイドWebアプリケーションエンジニアにとって必携の一冊。「nginx実践入門」が発売されます | メルカリエンジニアリング
SRE(Site Reliability Engineering)チームの@kazeburoです。 1/16(土)にSREチームの久保(@cubicdaiya)が執筆に参加した「nginx実践入門」が技術評論社から発売されるので、紹介します。 gihyo.jp 電子版も同時に発売されます。こちらもどうぞ gihyo.jp メルカリとnginx このブログでもnginxの利用方法を何度も紹介していますが、メルカリではTLSのターミネーション、リバースプロキシや内部で使用する各種ミドルウェアのロードバランサーなどとしてnginxを利用しています。さらに、軽量スクリプト言語であるluaでnginxを拡張するngx_luaを活用してログ解析基盤を構築したり、ロードバランサーの動作をカスタマイズして一部ミドルウェアのレスポンス速度の向上を実現しています。nginxがメルカリのスケーラビリティを支えて
Erlang/OTP + Lua で HTTP テスト #1
Erlang/OTP + Lua で色々作ってきた。本番に突っ込んだりした。うまくいったのはゲームのボス。 Lua はシンプルな言語でとてもよい。といっても table に対しては不満はいくつかあるが、ここでは省略しておくことにする。 普段は Nginx + Lua (OpenResty) を使って書いたりもしている。これもかなりの行数を大規模に突っ込んだ。 Nginx + Lua を見たときから、組込 Lua はとても良いと感じていた。 もともとテストツールをもっとうまいこと作れないだろうかとずっと考えていた。ただ、 Lua でテストツールを作ると状態をもったりネットワーク周りを頑張ったりするのはやりたくない。 ベース部分を全て Erlang/OTP でかいて、シナリオだけを Lua で書くというのが理想だ。ただその場合は Erlang の機能を Lua 側から呼び出せる必要がある。これ
nginx+luaで動作するルーティングライブラリ lua-resty-r3 を書きました - Qiita
https://github.com/toritori0318/lua-resty-r3 nginx+lua上で動作するURLルーティングライブラリです。 lua+ffiでr3をバインディングしています。 r3(libr3)について リポジトリはこちら。 https://github.com/c9s/r3 高速なルーターライブラリということを謳っているようです。 perl/python/ruby/node.js/Haskell などのバインディングが存在しています。 書いた動機 nginx + lua でいい感じのルーティングモジュールが欲しかった 1 より高速なルーティングがしたかった ffi モジュール書いてみたかった 実装方針 libr3には様々なAPIがありますが、今回はroutingに特化したAPIのみ対応しています 2 また、マッチした時の戻り値は functionブロックのみ
nginx-lua から fluentd へログを送信する - Qiita
nginx Advent Calendar 2015 7日目 兼 fluentd Advent Calendar 2015 6日目のエントリです。 nginx-lua (https://github.com/openresty/lua-nginx-module) から fluentd にログを送信する方法を紹介します。 Lua から fluentd へログを送信するライブラリとして fluent-logger-lua というものがありますが、これは LuaSocket ライブラリを使用しているため nginx-lua では使いづらいので、ngx.socket.tcp を使用して自前で送信してみましょう。 fluentd の forward protocol は3パターンの入力フォーマットがあるのですが、一番単純なフォーマットは [tag, time, event] の形式で、この形に Me
ハイパフォーマンスngx_lua | メルカリエンジニアリング
Site Reliability Engineering（SRE） Teamの@cubicdaiyaです。 今回は数あるnginxのサードパーティモジュールの中でも一際強力で、メルカリでも活用しているngx_luaの便利な活用方法や最適化集について紹介します。 ngx_luaは軽量スクリプト言語のLuaでnginxを拡張できるモジュールです。 nginxの設定ファイル内にLuaのコードを埋め込んだり、nginxの拡張モジュールをCではなくLuaで開発することができます。以下はngx_luaにおける「Hello, World!」です。 location / { content_by_lua 'ngx.say("Hello, World!")'; } 上記のロケーションにHTTPでアクセスするとnginxはボディが「Hello, World!」のレスポンスを返します。 なお、先月末にリリースさ
OpenResty® - Open source
OpenResty® is a full-fledged web platform that integrates our enhanced version of the Nginx core, our enhanced version of LuaJIT, many carefully written Lua libraries, lots of high quality 3rd-party Nginx modules, and most of their external dependencies. It is designed to help developers easily build scalable web applications, web services, and dynamic web gateways. By taking advantage of various
lua-nginx-module を導入した話 (1) JSON-RPC 2.0 batch request編 - mosa_siru’s blog
nginxにluaを組み込む openresty/lua-nginx-module · GitHub というのが非常に便利で、単なるreverse proxyだったnginxに、あらゆる役割を持たせられるようになります。 nginxの設定を動的にしたり、nginxからDBやmecached, redisなどへのアクセスも可能になります。HTTP requestを発行することさえできます。 これにより、例えばnginxの設定をDB化したり（NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした）、ちょっとした認証機能を入れたり、アクセスをmemcachedやredisなどに記録して攻撃を動的に判定してブロックしたりとか、nginxのレイヤーで色んなことができるようになります。（バックエンドのアプリケーションでも勿論同様のことは可能ですが、前段でブロックできるのが嬉し
lenv - Luaバージョンマネージャー - Qiita
普段 Lua のモジュールを書いては GitHub で管理してるんだけど、誰かに使って欲しいなんて気持ちがまるでないし、基本的に LuaJIT で使うのでサポートするバージョンは 5.1.5 でいいやなんてお思ってるので MoonRocks には公開してなかったりする。 でも時々「ねぇねぇ！5.2 系で動かないんですけどー！（意訳）」なんてバグ報告くるとサポートしてないって一蹴するのもなんかなんかだし、面倒だなぁなんて思いながらも Lua や LuaRocks のインストールをして環境整えて再現するかチェックしてたんだけど、いい加減ウルトラめんどくさいよ！ 自分に甘くやりたいことだけやってきたNullいエンジニアなので（そもそもエンジニアなのかも謎なんだけど）シェルとか書きたくなかったけど、どうせ書かなきゃいけない時がくるだろうしってことで Lua のバージョンマネージャーを書いてみました
Nginx+Luaで実装したリバースプロキシをDockerとGoで自動テストした - Qiita
Nginxでリバースプロキシしつつlua-nginx-moduleを使ってリクエストやレスポンスを書き換える。図にするとこんな感じ。 client proxy app | 🍣 | 🐟 | |-------> 🐟 -------> 🐟 | 🍣 🍚 🐟 | |<--------|<----------| クライアントから寿司が送られてくるけどアプリケーションはネタだけ受け取りたいのでシャリはプロキシに抜いてもらう。 アプリケーションからのレスポンスにはさっきのネタが含まれているので、プロキシはシャリを戻してクライアントに返してあげる。 ローカルにOpenResty入れて適宜luaファイルを書き換えてcurlを叩くとかでもいいんだけど、絶対あとからだるくなってくるのでDockerでコンテナを立ち上げて、それに対してリクエスト投げるテストを書くことにした。 Dockerファイルはこち
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building Scalable Infrastructure at Mercari
Practical nginx lua in KAYAC
lua_nginx_module JSON-RPC 2.0 Batch Request
Practical nginx module development〜C and Lua〜
時雨堂 BOT サーバー (すごいErlangをゆかいに学ぶ会)
