ハイパフォーマンスGaurun〜メルカリの大規模プッシュ配信を支えるミドルウェア〜 | メルカリエンジニアリング
SREチームのcubicdaiyaです。 今回は本ブログでも何度か紹介しているGaurunを利用したメルカリのプッシュ配信基盤とGaurunのパフォーマンスを最大化する方法について紹介します。 github.com 改めて紹介するとGaurunはスマホアプリ向けのプッシュ通知サーバです。APNsやGCMへのプッシュ通知処理をHTTP + JSONベースのAPIでラップして大量のプッシュ通知を素早く送信することができるのが特徴です。 メルカリのプッシュ配信基盤 メルカリのプッシュ配信基盤はnginxによるL7ロードバランサーとGaurunで構成されています。 APIサーバ（e.g. 商品の購入や発送等のイベント通知）やジョブワーカ、バッチ（e.g. キャンペーン等による一斉配信）からはGaurunが提供するHTTP + JSONベースのAPIを利用してiOSやAndroidの端末へのプッシュ
nginxのステータスコード499 · yuuki/yuuki
// https://github.com/nginx/nginx/blob/9842cff/src/http/ngx_http_request.h#L120-L126 /* * HTTP does not define the code for the case when a client closed * the connection while we are processing its request so we introduce * own code to log such situation when a client has closed the connection * before we even try to send the HTTP header to it */ #define NGX_HTTP_CLIENT_CLOSED_REQUEST 499 HTTP標準で
Dockerで古いLAMPサーバーを稼働させたまま安全にアップグレードしよう - Qiita
やりたいこと わりと古いLAMP(Linux / Apache / MySQL / PHP)サーバーが現役稼働中なのでアップグレードしたい、でも新しいサーバーを買う金は無い、どうしよう？という状況があり、Dockerを使えば安全に素早くアップグレードできるのではないかと思いついて、やってみました。 Dockerの導入 ここが一番難関です。古いサーバーにはDockerが導入できない場合があります。 以下面倒なのでrootで作業します。 Dockerのインストール まずInstall Dockerを見てサーバー上にDockerをインストールします。Ubuntuの場合、64bitでカーネルのバージョンが3.10以上でないとインストールできないようです。 Dockerは以下の一行だけでインストールできました。
WebアプリをDocker構成にした場合にフロントエンドリソースを扱うためのデザインパターン - tehepero note(・ω<)
2015-12-07 WebアプリをDocker構成にした場合にフロントエンドリソースを扱うためのデザインパターン Docker Frontend この記事はCyberAgent エンジニア Advent Calendar 2015の7日目の記事です。 www.adventar.org 6日目はkaelaelaさんの「なぜデザイナーとエンジニアは分業するのか」でした。 弊社のAdvent Calendarは2年連続の参戦です。思えば昨年も12月2週の月曜だった気がしますね。 普段何をしているかというと、業務中のTwitterだったり、プロジェクトメンバーを煽ったり、事業部長が連発する80年代の死語を矯正したり、競馬予想をしたり、新しくできた頭のおかしいエンジニア評価制度をボロクソに批判したりというのが主であります（完全にクズですね）。 とはいえたまには真面目に弊社エンジニアブログに寄稿した
ISUCON5予選 2位で通過しました - 考える人、コードを書く人
ISUCON5予選に@kazeburo、@shmorimo、@cubicdaiya(敬称略)の3人でチーム「GoBold」として参加してきました。 isucon.net 15時過ぎるくらいまではスコアが伸び悩んでいましたが、結果的に2位でフェニッシュすることができました。 以下はスコアの遷移をグラフ化したものです。 GoBoldスコア遷移のグラフ #isucon pic.twitter.com/JKkfjiVJnS— Shigeki Morimoto (@shmorimo) September 28, 2015 準備と方針 今回は予選に臨むにあたって事前に以下の準備を行いました。 Wikiで各種ミドルウェアの定石設定テンプレートを共有 Slackでプライベートグループを作成 各人個別にGCE上でISUCON4予選問題(Ubuntu)の復習 次に事前に軽く打ち合わせして使用言語などの方針を固
ISUCON4 予選でアプリケーションを変更せずに予選通過ラインを突破するの術 - Hateburo: kazeburo hatenablog
AMIが公開されたのでもう一度やってみた。 AMIについてはこちらのエントリに書かれています ISUCON4 予選問題の解説と講評 ＆ AMIの公開 : ISUCON公式Blog まず ami-e3577fe2 を m3.xlargeで起動します。 CPUは model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz でした。 とりあえず、MySQLのindexを追加する。init.shに追加 $ cat init.sh cat <<'EOF' | mysql -h ${myhost} -P ${myport} -u ${myuser} ${mydb} alter table login_log add index ip (ip), add index user_id (user_id); EOF ベンチマークツールのhttp keepal
Docker上でnginx + unicorn + mysql環境を構築 - Qiita
はじめに RailsアプリをEC2上のdockerで動かしてみます。以下、一台のホストに必要なコンテナsを載せるシングルホスト構成での作業です。ステージング環境のような非production用途を想定しています。 ミドルウェアは以下です。 Ruby 2.2.1 Rails 4.2.1 MySQL 5.6 nginx unicorn サンプルアプリのリポジトリは以下です https://github.com/konpyu/rails-docker-sample コンテナ構成はこんな感じです nginxコンテナ unicornコンテナ mysqlコンテナ データ共有コンテナ ホストの起動と準備 EC2のインスタンスを適当に立てます。今回はCentOS7(ami-89634988)をホストOSとします。
マイクロDMP作成 ハンズオン公開用
micro_dmp_handson.md #「Mastering DMP」 この本について Play FrameworkでマイクロDMPを作成します 用意するもの OS: Windows or Mac AP: Play Framework DB: MariaDB or MySQL HTTP Server: Nginx IDE: Eclipse or IntelliJ Java8 Chrome EditCookieプラグイン この本のレッスンで作成できるもの MicroDMP AP Server ・・ Play Framework(Java) Nginx Server ・・ Browser Request -> Nginx -> mDMP mdmp.js・・ 3rd Party Cookie を扱うJavaScript 第1部 Cookieを利用したDMPを作ろう 0章 開発準備 この本で題
nginx で gzip_static と gunzip を使ってストレージを節約する - 酒日記 はてな支店
一月ほど前に 社内Gyazoの画像をAmazon S3に逃がしてスケーラブルに運用する - 酒日記 はてな支店 というエントリを書いて一段落と思いきや、そのサーバには社内向けの nopaste アプリも同居しており、気がつけばテキストファイルが10GB以上積もっていたのでした… 社内 nopaste アプリの実装はDBなどを使用せず単にテキストファイルを保存しているだけだったので、ファイルを gzip して nginx の http_gzip_static_module を使って配信したらディスクを節約できていいんじゃないか、と思いついたのですが、Accept-Encoding: gzip でないクライアントからアクセスすると 404 になってしまうので圧縮前のファイルが消せない。 今時ブラウザで対応していないものは少ないとはいえ、curlとか各種言語のHTTPクライアントでアクセスする場
小さい規模の画像配信のシステムをつくってみる - とりあえず書いとくやつ
今作っているWebアプリで画像をどのように配信するか考えながら作っているのでそのメモ。 要件としては、 ユーザがアップロードした画像ファイルを配信するオリジナルのファイルからリサイズした画像を配信する場合がある実装はひとまずPHPで行います。 また、一応パブリックにはなってるWebアプリですが、まだあまりアクセスがあるわけではないので現状は小規模なものでWebサーバも一台です。 でも、ある程度将来スケールできるような形にはしておきたいというところです。 クックパッドさんとpixivさんの資料が参考になりました。 http://www.slideshare.net/mirakui/ss-8150494http://inside.pixiv.net/entry/2014/12/10/222735オンラインで画像のリサイズなどをしているようなので、僕もそうしてみました。 リクエストに応じて画像を
Saving bandwidth on Amazon S3 by caching the most recent files | Akeem McLennon
In order to reduce the costs associated with bandwidth, I wrote a simple download script a while ago that caches the most recently accessed files from Amazon S3 on a less expensive hosting plan. This script was written using a combination of Python, Nginx, and Flask, but the same effect could be accomplished in any language / framework that supports setting response headers. At the time of writing
Reducing S3 bandwidth costs
S3 is a good platform to save files without having to worry about storage ,connections and bandwidth. S3 works on the idea of having buckets of content.The content of the bucket can be private or public or even access control managed.Even if you have a small amounting traffic on your website and the access patterns are every sparse the cost of S3 is low,Moreover Amazon gives about 5gb free every m
Nginx proxy cache invalidating request to s3
I have set up a proxy from my application server to a private s3 bucket to cache requests. I was having some trouble with it where s3 was rejecting my download requests (403 forbidden) and after some experimentation it seems that disabling cacheing allows the valid request to go through. But the entire purpose of the proxy is as a cache. I guess the proxy is altering the request in some way but I
Nginx Proxy to Files on Local Disk or S3
So I'm moving my site away from Apache and onto Nginx, and I'm having trouble with this scenario: User uploads a photo. This photo is resized, and then copied to S3. If there's suitable room on disk (or the file cannot be transferred to S3), a local version is kept. I want requests for these images (such as http://www.mysite.com/p/1_1.jpg) to first look in the p/ directory. If no local file exists
How to set up Nginx as a caching reverse proxy?
I heard recently that Nginx has added caching to its reverse proxy feature. I looked around but couldn't find much info about it. I want to set up Nginx as a caching reverse proxy in front of Apache/Django: to have Nginx proxy requests for some (but not all) dynamic pages to Apache, then cache the generated pages and serve subsequent requests for those pages from cache. Ideally I'd want to invalid
nginxでS3へリバースプロキシ - Tech-Sketch
一般的に利用されるブラウザではJavaScriptによるクロスドメイン制約などセキュリティのための読み込みドメインの制約があります。 そのためクラウド上のファイルなどを利用するときに上記の制約を受けて何らかの対策が必要になる場合があります。 この対策の一つとしてリバースプロキシによって対応する方法があります。 リバースプロキシを立ててすべてを解決するんだ リバースプロキシで解決を試みると言うのは以下の図のような構成にすることです。 このようにリバースプロキシを使うことでユーザのブラウザから見るとすべてのデータが同じドメインからのデータ取得になります。 このような構成にするために次に具体的な設定をしてみます。 リバースプロキシを立てよう リバースプロキシを立てるにはApache、Squidなどの有名なWebサーバやProxyサーバを利用したり、最近ではnode.jsでスクリプトを書いて
Amazon S3の利用料節約を考えてみる | QK
・・で前回の話の続きをここに書くわけですが。結果を書かなかったのは、本当にこの手順でいいのか？というのが 若干不安だったためです。でも現状これで稼働しており。キャッシュも取れ、パフォーマンスも確保しているので掲載したいと思います。 あくまでも、私のメモ！！レベルです 設定は、nginx.conf と default.conf の２種類になります まるっとconfファイルを掲載しましたが、CDNを作る上で重要な部分だけを抜粋します。 /etc/nginx/nginx.conf 設定すべき項目は以下の項目です。こちらは、キャッシュ全般の設定を行っております proxy_cache_path /var/cache/nginx/cache levels=1:2 keys_zone=my-key-zone:64m max_size=180000m inactive=4d; level # level
CloudFront + nginx(http_image_filter_module) + S3 を使って画像変換サーバを構築する - 本日も乙
珍しく(初めて?)AWSネタです。 仕事でAWSのVPCを構築しているのですが、画像を取り扱うサーバが欲しいとの要望がありました。 画像を表示するだけならCloudFront+S3だけで強力な画像(CDN)サーバを構築することができるのですが、今回は画像サイズもリアルタイムで変換して表示してほしいとのことでした。 幸いにも社内で以前、nginxのhttp_image_filter_moduleを使って画像変換している実例(実サーバ)があるのでそれを参考に構築してみました。 構成図 簡単な図です。 今回やりたかったこと ユーザが独自ドメインとマッピングされたCloudFrontにアクセスすると、CloudFrontに画像がキャッシュされていればその画像を返します もし画像がキャッシュされていなければELB・EC2インスタンス経由でS3にある画像を取得します EC2インスタンスにhttp_im
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lebinh/ngxtop: Real-time metrics for nginx server
Saving money by putting a web cache in front of Amazon S3 -- Code Monkey Island