コンテナ内でのデータ管理 Managing data in containers - Docker Documentation http://docs.docker.com/userguide/dockervolumes/ これまでに基本的な Docker の概念の紹介や、Docker イメージがどのようにネットワークでつながるかや、コンテナ間のリンクされているかを見て来ました。このセクションでは、どのように Docker コンテナ間やコンテナ内のデータを管理するかを学んでいきましょう。 Docker 上のデータを管理するためには、２つの方法があります。 データボリュームと、 データボリュームコンテナです。 データボリューム(Data volume) データボリュームは、特別に指定されたディレクトリであり、一つまたは複数のディレクトリ内で、ユニオンファイルシステムが、永続的ないし共有データ

忘れないようにメモ。 ドキュメント 公式サイト：http://nginx.org/ wiki：http://wiki.nginx.org/ 公式のサイトよりwikiの方が充実してたのでwikiを参考にした。 自分の環境 OSはUbuntu10.04。 ドメインは http://www.oh24.net/ を取った。まだ特に何もない。 nginxは「sudo aptitude install nginx」でインストールした。 $ nginx -V で、configure optionsとか色々見られる。自分の所のはこんな感じだった。(見やすいように改行した。) nginx version: nginx/0.7.65 TLS SNI support enabled configure arguments: --conf-path=/etc/nginx/nginx.conf --error-lo

nginx + lua-nginx-moduleのインストール 手順を公式で確認すると、 を見ると、nginx_devel_kit、ngx_luaが必要とのこと。 nginxについては先日(2013-04-24)リリースされたnginx1.4.0を利用する。 git clone したり、 git checkout したり。 > mkdir -p /usr/local/sandbox/nginx_lua_module > cd /usr/local/sandbox/nginx_lua_module > > git clone git://github.com/simpl/ngx_devel_kit.git > git clone git://github.com/chaoslawful/lua-nginx-module.git > curl -O http://nginx.org/downl

全体の流れはOSX上のdockerでCentOS 6.5にnginxを公式レポジトリからインストールするサンプル - Qiitaと同様です。 nginx + lua-nginx-moduleをビルドする部分はCent OS(6.4)にNginx + lua-nginx-moduleをインストール - エンジニアになりたいとMac OS X (10.8) での nginx + lua-nginx-module インストール - Qiitaを参考にしました。ありがとうございます。 Dockerfileは以下の通りです。luajitは/usr/local/luajit/, nginxは/usr/local/nginx/以下にインストールするようにしました。 FROM tianon/centos:6.5 MAINTAINER Hiroaki Nakamura <hnakamur@gmail.com

Nginxは非常に強力なhttpdですが、独自のモジュールを実装しようとするとこれまた非常に敷居が高い印象です。 追記 この記事よりも前に http://openresty.org/#DynamicRoutingBasedOnRedis でほとんど同じ内容のエントリが書かれていました。こちらも参照ください モジュールの開発はむずかしい まず開発用のドキュメントはほとんどありません。必然 既存のモジュールをお手本としますが、コメントも少ないのでソースだけが頼りです。 {ファイル,ネットワーク} I/O を伴う処理では、Nginxのノンブロッキング/イベントドリブンのアーキテクチャにのっとってコールバックを駆使したCで実装する必要があり、LLで育ったゆとり脳では太刀打ちできませんでした lua-nginx-module が代わりになるかも なんらかのNginxモジュールを開発しなければならない

はてブのWeb Hookを使ったアプリケーションを作っているのだが、Postパラメータとして飛んでくるタグの値が条件にマッチする場合にのみ処理をしたく。 当然、アプリケーション側に実装することもできるが、アプリケーションの負荷軽減と高速なレスポンスのために、条件にマッチしないリクエストに対してはリバースプロキシでサクッと200を返してしまいたい。 そこで、Nginx + lua-nginx-module。 インストール方法は公式のインストール方法とここを参考に。 1. 必要なもの Nginx (2013-08-25時点での最新版は1.5.3) LuaJIT (2013-08-25時点での最新版は2.0.2) ngx_devel_kit lua-nginx-module 2. インストール i. LuaJITのインストール yumのリポジトリがないので、ソースからコンパイルしてインストール。

Send feedback Stay organized with collections Save and categorize content based on your preferences. Query a public dataset with the Google Cloud console Learn how to locate and query public datasets in BigQuery by using the Google Cloud console. To follow step-by-step guidance for this task directly in the Google Cloud console, click Guide me: Guide me Before you begin Sign in to your Google Clou

概要 CoreOS 上で出る全てのログをリモートのログサーバへ送るという話。 CoreOS には systemd が入っており、全てのサービスを systemd 経由で管理すると systemd 付属の jounalctl によってログが一元管理できる。 CoreOS マシンを disposable にしておくために一元管理したログをリモートサーバへ送る ログのルーティング 収集したログは ncat のコネクトモードを使ってログ保存先の listen ポートへ UDP データとして送る。

はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出

Docker Cheat SheetというDockerの基礎のまとめが良かったので翻訳してみた（Docker 虎の巻）．このまとめは説明は十分にあるが，例がほとんどない．実例を使って，コンテナとイメージに関する基礎コマンドをまとめてみる． OS XでDockerを使う場合 vagrantを使ってる場合は今すぐ1.4にバージョンを上げる． Download Vagrant - Vagrantより.dmgをダウンロードしてきてインストール.

概要 CoreOS 上の全てのログをリモートサーバへ送る を応用し、systemd で起動した Docker コンテナのログをリモートサーバへ送る。 systemd で Docker コンテナを起動しておけば journalctl でログが取得でき、さらに systemd の unit のグルーピング（bind）機能を使ってログルーティングプロセスをバインドする。これは "coprocess" や "sidekick" というらしい。 ログの収集 コンテナのログ収集は systemctl を使ってコンテナを起動するだけでよい。そうすれば journalctl でログを見る事が出来るようになる # /etc/systemd/system/hello.service [Unit] Description=Hello After=hello.service Requires=docker.ser

参考 http://wiki.nginx.org/Phases （2016.3追記）上記のURLは ページがなくなっていました。残念ながらオフィシャルページで似た記載が見当たりません。下記あたりを参照してください。 http://www.aosabook.org/en/nginx.html#sec.nginx.internals http://www.nginxguts.com/2011/01/phases/ http://www.programering.com/a/MzN4MzMwATY.html http://www.slideshare.net/joshzhu/nginx-internals/37 lua-nginx-module がフックする処理 lua-nginx-module は、上記の nginx の Phase のうち、Rewrite, Access, Content,

リクエストヘッダのパラメータが消えた nginxにリバースプロキシしてもらう構成にしたら、バックエンド側でHTTPリクエストヘッダが効かないという現象が発生した. パラメータ名に'_'を含むリクエストヘッダは破棄される nginxのデフォルト設定では、リクエストヘッダに'_'が含まれたパラメータ名は無視する仕様になっている. nginxの設定にひと手間必要だった.

ロギング目的のみであればアプリケーションサーバーを用意せずNginxで受け取るアーキテクチャはよく見られますが、URL中のクエリパラメーターをパースした上で、JSON形式で出力するところまでやってしまおうというのが今回の試みです。 URLと取得したい値 URL例は下記の通りです。 http://librabuch.jp/test?sessoin_id=1000&page_id=20 以下の2つのクエリパラメーターの値を取得することにします。 session_id page_id ログフォーマットの作成 今回はJSON形式でログをはき出したいので、ログフォーマットを作成します。 nginx.confのhttpディレクティブ直下に、下記の通り記述します。 log_format json '{' '"session_id":"$session_id",' '"page_id":"$page_id

With best-in-class Jira integration, and built-in CI/CD, Bitbucket Cloud is the native Git tool in Atlassian’s Open DevOps solution. Join millions of developers who choose to build on Bitbucket.

$arg_PARAMETER この変数が存在する場合、クエリ文字列でGET要求変数パラメータの値を含む This variable contains the value of the GET request variable PARAMETER if present in the query string $args この変数は、例えば、要求行でGETパラメータです。 FOO =123＆バー= blahblah、この変数は変更される場合があります。 This variable is the GET parameters in request line, e.g. foo=123&bar=blahblah; This variable could be changed. $binary_remote_addr バイナリ形式でクライアントのアドレス; The address of the cl

先週金曜日（12/2）にクックパッドインフラ勉強会に参加しまして、そこで同社の成田さんから「今日からできるApacheモジュール開発と運用」という発表がありました。 リアルタイム画像変換モジュールの「TOFU」を開発するに至った経緯と、Apacheモジュール開発についてのお話でした。 TOFUは、S3に置かれたマスターとなる画像ファイルを取得し、与えられたパラメータでリアルタイム（オンザフライ）にリサイズ・トリミングを行うモジュール（mod_tofu）です。 料理を楽しくする画像配信システム 実際は、モジュールによる画像取得・変換をベースに、キャッシュや配信までも含めた一連の画像配信システムと言えそうです。 この仕組みをNginxを使って実装できないかと考えて、リアルタイム変換の仕組みをNginxだけで実現する方法を実験してみました。 準備するもの HttpImageFilterModul

前回と同様に、nginx.orgのパッケージからインストールしたnginxが提供している設定ファイルをサンプルとして説明を行います。 今回はnginxのバーチャルサーバの設定を確認していきます。なお、「バーチャルサーバ」はApache HTTP Serverで言うところ「バーチャルホスト」のことです。 バーチャルサーバ毎の設定ファイル nginxの設定ファイルnginx.confに次のような記述を行うことにより、/etc/nginx/conf.dディレクトリにある拡張子がconfであるファイルを読み込みます。 include /etc/nginx/conf.d/*.conf; このconf.dディレクトリにバーチャルサーバ毎の設定ファイルを置くことにより、その設定ファイルが読み込まれます。nginx.orgのパッケージで提供されているサンプルファイルとしては、default.confとex

docker version # Dockerのバージョン表示 docker info # コンテナ・イメージ数、ユーザ情報など現在の情報表示 docker run [OPTIONS] IMAGE [COMMAND] [ARG...] # 例: ubuntu_hostというホスト名でubuntuを起動。 docker run -it -h ubuntu_host ubuntu:14.04 /bin/bash # 例: 最大メモリ使用量を256MBに制限して起動。終了したらコンテナ自動削除 docker run -it -m 512m --rm ubuntu:14.04 /bin/bash # 例: redisというコンテナ名でコンテナをバックグラウンドで起動 # (コンテナ名はLink,マウント機能で利用) docker run -d --name redis dockerfile/red

はじめに docker を使う上で自分が使っているシチュエーション別 の一般的にはタメにならない小小技を披露。尚、試した環境は以下の通り。 Ubuntu 13.10（ホストマシン） Docker 0.7 もっと効率良い方法があるだらう。 参考 docker inspectでDockerコンテナの情報を取得する Dockerで使える便利コマンド https://github.com/dotcloud/docker/pull/2921 http://golang.org/pkg/text/template/ 自分は何に docker を使っているのか？ ツールの簡単なテスト（最近だと fluentd とか elasticsearch とか大体は docker で片付ける） Chef の単体テスト的なこと（test-kitchen） まあ、大体のことが docker で片付くが docker で

麻生太郎氏による「日本の借金」の解説が超わかりやすい 「経済をわかってない奴が煽っているだけ」 日本の借金を超わかりやすく説明！ 1000兆円の大台も近づいてきた日本の国債残高。マスコミはこの数字を取り上げて「日本が破綻する」と報じていますが、元首相であり経済通を自認する自民党・麻生太郎氏は「多くの国民が信じているが、これは間違い」だと完全否定しました。麻生氏は、日本の財政を「ギリシャショック」と呼ばれるギリシャの経済危機と比較し、日本の国債は94パーセントが日本人に買われていることや、残り6パーセントも円だけで買われていることから、ギリシャとは状況がまったく異なることを説明。ほかにも、日本のGDPと国債発行高、そして金利の推移などの数字から、日本の財政破綻がマスコミや旧大蔵省の煽りであると指摘しました。日本国債や借金などについて、比喩を使ってわかりやすく解説した動画の書き起こしです。 「