ISUCON 5でalpを使ってNginxのログを解析した話 - Masteries
2015年9月28日12時8分: 作者の@tkuchikiさんからコメントで指摘頂いた部分を修正いたしました. ありがとうございます! アクセスログの解析ツールとして, YAPC::Asia 2015で@kazeburoさんがkataribeを紹介していました(ISUCONの勝ち方)が, ISUCON 5直前にalpというツールがリリースされていて, 今回はこれを使って予選に挑戦しました. ...というわけで, インストール方法や使い方等, チームメンバーに共有するために作ったドキュメントをサルベージしておくことにします. ただ, 基本的にはalpのREADMEに書かれている通りなので, そちらを見る方が早いと思います! (或いは, 作者の方による紹介エントリを読むのもいいでしょう!) tkuchiki.hatenablog.com インストール 9月27日現在の最新版であるv0.0.4の
Python + Flask + Nginx + Docker で開発から公開まで爆速で作ろう | キカガク技術ブログ「一日一遊」 | キカガク技術ブログ「一日一遊」
この方法が一番手軽なのですが、Selenium等のスクレイピングなどモジュール意外にも環境用の設定ファイルの引き継ぎが必要な場合にはLambdaはあまり向いていなく、手持ちのサーバーの隅っこに必要なときだけ呼び出せるAPIを実装しておいたら楽なのではないかと思っています。 Docker。それは、ローカルとリモートの環境の違いをなくす救世主 ローカルとリモートで環境構築を毎回し直すのは非常に面倒です。 そこで現れた救世主がDockerです。 Dockerというのは、Mac/Windows/Unix問わずで動作し、そのDockerと呼ばれる概念の上で、LinuxのOSを動作させます。 そのため、MacでもLinuxの環境で操作したり、WindowsでもLinuxの環境で操作しておくことで、サーバーに実装する際にそのまま持っていくことができます。 引用元：Get Started, Part 1:
１台あたり10,000人を捌くRails製Webサーバのチューニング - dely Tech Blog
SREの深尾です。kurashiru [クラシル] のインフラを担当しています。 タイトルのとおり、クラシルのwebサイトではRailsを使っており、１サーバあたり10,000人程度のアクセスに耐えることができます。実際には余裕を持たせて5,000人/サーバを目安にスケールさせており、TV CMをガンガンやったり、国内外のTV番組で特集されたり、芸能人にSNSで拡散されても動じませんが、実は過去に１度だけWebサイトがダウンしてしまったことがあります。それは2017年3月11日にSmaSTATION!!というTV番組でクラシルが取り上げられた時のことでした。 以下はその時のリクエスト数を表すグラフです。ダウンしてしまったので計測できなかったユーザの数字は含まれませんがそれでもアクセス数は１分で数万人を超えていました。 それまで、Webサイトの負荷対策はあまり行っておらず、２台のWebサーバ
nginxを使ったリバースプロキシ on Docker - Qiita
はじめに Dockerを使っていく上でほぼ必須なリバースプロキシを構築します。 今回は素晴らしいコンテナが有ったので1からビルドせずそれを利用させてもらいます。 jwilder/nginx-proxy https://hub.docker.com/r/jwilder/nginx-proxy/ このコンテナの素晴らしい所は同じネットワーク内にVIRTUAL_HOSTを指定して コンテナを起動すればそれだけでリバースプロキシしてくれる所です。 confファイルの都度編集は不要です。 事前準備 ディレクトリ構成 私はこんな感じに組みましたが環境に合わせてカスタマイズして下さい。 /etc └docker-compose.d ├certs │├mydomain.com.crt │└mydomain.com.key ├proxy │└docker-compose.yml └service.name
docker-compose + リバースプロキシ + ロードバランシングの環境構築手順 - Qiita
概要 docker-composeで構築した環境に、nginxのコンテナを作成し、リバースプロキシとロードバランシング(scaleを使います)の機能を持たせた手順。 下記の記事に、リバースプロキシとロードバランシングの機能を加えたものです。 [関連記事] docker-compose on CentOS7構築手順メモ CentOS 7.1 docker-engine (Docker 1.12.3) docker-compose 1.8.1 docker-engine, docker-composeのインストール 下記を参照 docker(docker-engine), docker-composeのインストール コンテナ構成 コンテナ名 役割 リンク先 イメージ元
nginxで動的リバースプロキシ！ - なるべくシンプルに
リバースプロキシで、ユーザによって遷移先を変更することを考える必要があり、 調査してみたらサクッとできたので備忘がてら投稿します 動的リバースプロキシというジャンルになるようです 今回はユーザのIPアドレス単位で遷移先を決定していますが、 nginxを使っているので、cookieの値をもとにredisからデータを取得することも可能です なお、今回の実装においては、nginx+Lua+redisという構成で動作確認を実施しています 使用したソフトウェア ngx_openresty-1.9.7.2.tar.gz nginxのCore機能とLuaをセットでパッケージ化したもの 公式サイト：https://openresty.org/en/ redis httpd 動作イメージ 今回は、ユーザのIPアドレスに対して挙動が変わるように実装しています 全てのユーザからのアクセスに対して、redisを参
無償SSLサーバー証明書Let’s Encryptの普及とHTTP/2および常時SSL化 | OSDN Magazine
Webサイトの暗号化（SSL化、HTTPS対応）はこれまでEコマースやプライバシを守る目的で部分的に導入されてきたが、SHA1からSHA2への切り替え、モバイル端末の普及やHTTP/2の登場によって、サイト全体を常にHTTPS通信にする常時SSL化の動きが活発になっている。さらにSSLサーバー証明書を無償で入手可能なLet’s Encryptのサービス開始や主要なWebサーバーソフトウェアの安定版でHTTP/2が利用できるようになったことでその動きは加速している。本稿ではSSL化を取り巻く最近の状況を整理し、NginxとLet’s EncryptによるHTTP/2＆SSL化の実装例も紹介していく。 これまで証明書の無償入手は限定的 HTTPSのWebサイトを運用するには通常、商用の認証局にSSLサーバー証明書の発行を申し込み、必ず費用が発生するものだった。一部限定した目的では無償で利用でき
Docker Machine/Swarm/Compose とりあえず触ってみたメモ - そんな今日この頃の技術ネタ
Dockerを使ってみたい案件があり、デプロイ方法について色々検討している今日この頃。 新しいツールということもあって、 軽くググってみただけでもKubernetesとかMesosとかあるいはもっと別な方法が色々と出てくるし、 逆にいえば「これが決定版！」とはまだどれも言えそうにはない雰囲気。 サードパーティ製のツールはどれもそれなりに利点はありそうだけど、 一方で学習コストが高くついて辛い感じもあり、 また個人的にはDocker Compose使って作業してたんでそれを流用できないというのも気が進まないポイントであった。 実際のとこそこまで機能はいらないし、いっそConsulのイベント機能で無理やり…とか考えたりもした。 そんな感じで正直なところ迷走していたのだが、 公式ツールであるところのSwarmが去年末の段階で1.0.0をリリースしていたらしいということに今更になって気づく。 （な
nginxソースコードリーディング その4〜コアAPI(メモリプール)〜 - Qiita
CのようにGCを持たない言語ではヒープから確保したメモリの開放はプログラマの責任で行う必要がある。しかし、実際にCやC++でプログラミングしたことがあるならわかるように確保したメモリを適切なタイミングで解放するのはとても難しいとまでは言わないまでもあまり簡単なことではない。 単にfreeを呼び出すのを忘れたり、もしくはリストやツリーのような少しでも複雑なデータ構造を扱う際に割り当てられたメモリを適切に解放できずにリークしてしまうようなことは普通に起こりうる。 モダンなOSではプログラム終了後にそのプログラムに割り当てられたメモリをOS側で解放してくれるので、走らせてすぐ終了するようなプログラムではこのようなメモリリークは特に問題にならないこともあるが、nginxのように常時動き続けるようなソフトウェアでのメモリリークは致命的な問題を引き起こす。 Cプログラムでこの問題に対処するためのアプロ
Docker + Nginx + Let's Encrypt を使ったシングルホストでの複数ウェブサイトお手軽運用法
自宅サーバーにて複数のウェブサイトを設置しているのですが、ある程度知見が溜まったのでここに置いておきます。 前提 シングルホストで複数のウェブサイトを Docker でお手軽に運用したい ダウンタイムゼロのホットデプロイとかオートスケーリングとか冗長化構成とかは考えない − できるだけブラックボックスのないシンプルな構成にしたい お手軽にそれぞれのウェブサイトにバーチャルホストを割り当てしたい お手軽に Let's Encrypt も使いたい（証明書の自動取得・自動更新） Tutum 改め Docker Cloud を使うのもいいですが、お金がかかりますし、何より中身がブラックボックスなので私は見送りました。自分が完全にコントロールできないレイヤをインフラに導入するのは極力避けたいといった方針です。 Docker Cloud とほぼ同じ様なことを実現できる OSS ソフトウェアとして Ra
NginxのアクセスログをKibanaで可視化 - Carpe Diem
概要 Nginxのアクセスログを用いて可視化の流れをまとめます。 mappingは手動で設定します。 環境 Ubuntu 14.04 fluentd 0.12.19 fluent-plugin-elasticsearch 1.3.0 Nginx 1.4.6 Elasticsearch 2.1.1 Kibana 4.3.1 構成 IP 名前 役割 192.168.33.100 web Webサーバ。ログは転送 192.168.33.101 kibana Kibana。転送されたログをKibanaへ この構成のためにVagrantfileを以下のように編集します。 config.vm.define :web do |web| web.vm.network :private_network, ip: "192.168.33.100" web.vm.provider "virtualbox" do
nginxソースコードリーディング その1〜nginx起動〜 - Qiita
$ global -x main main 202 src/core/nginx.c main(int argc, char *const *argv) $ int ngx_cdecl main(int argc, char *const *argv) { ・ ・ ngx_debug_init(); ・ ・ ngx_time_init(); ・ ・ #if (NGX_PCRE) ngx_regex_init(); #endif ・ ・ log = ngx_log_init(ngx_prefix); ・ ・ if (ngx_init_signals(cycle->log) != NGX_OK) { return 1; } ・ ・
最速最強Webサーバーアーキテクチャ - Qiita
POST /post HTTP/1.1 Host: localhost Content-Type: application/x-www-form-urlencoded Content-Length: 7 foo=bar 1行目は request-line で、 method URI HTTP-version の形をしています。URIはホストを含めた絶対URIの場合と、ホストを含めない絶対パスの場合がありますが、絶対パスの方が一般的です。 2行目から空行までが request-header です。各行は field-name: field-value の形をしています。 field-name は大文字小文字を区別しません。 request-line から request-header とそれに続く空行まで、改行は CR LF になってます。Windowsでよく見る改行コードですね。 meth
Jettyを使ったリバースプロキシ構成のときに本当のアクセス元の情報が知りたいんですけど〜って時 - その手の平は尻もつかめるさ
Jettyを使ったリバースプロキシ構成をやっている時に，プロキシではなく本当のアクセス元の情報を知りたいという事があります．例えばHttpServletRequest#getRemoteAddr()とかで取りたい，みたいな．というかほとんどの場合でそういった欲求があります． そういった時にどうするか，みたいなのを調べたのでメモを記します．なおJettyのバージョンは9です． プロキシの方は当然ながらX-Forwarded-*系のヘッダを正しく取り扱える様に編集しておきます． Nginxとかだとこんな感じになるでしょう． location / { proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-Host $host
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nginx実践入門 | Gihyo Digital Publishing … 技術評論社の電子書籍
Docker-ComposeでGitLabとRedmineとJenkinsを立ち上げる - Qiita
有料アダルト動画サイト比較 press-crew.com 2024年3月最新版
https://qiita.com/kimulab/items/bb5758ab7c3502ca4246
Amazon.co.jp: nginx実践入門 (WEB+DB PRESS plus): 久保達彦, 道井俊介: 本
