はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

$request_id Nginx 1.11.0 以降に限りますが、リクエスト毎に発番されるIDの変数として $request_id が追加されたようです。 http://nginx.org/en/docs/http/ngx_http_core_module.html#var_request_id この変数を利用することにより、Nginxコアだけでサービス間のトレースを簡単に行うことが可能になります。 シンプルな例 以下のように、$request_idをログに含めるだけでリクエスト毎のIDを記録できます。 http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "

Redashで動的にパラメータ指定してクエリ発行したかったんですが、なんとAPI一発では出来ないということが発覚… issue には上がっているのでそろそろ実装されそうですが、今すぐ欲しかったのでモジュール書いてみました。 https://github.com/toritori0318/redash-dynamic-query 使い方 SYNOPSYSそのままです。 from redash_dynamic_query import RedashDynamicQuery redash = RedashDynamicQuery( endpoint='http://myredash-host', apikey='secret_apikey', data_source_id=2 ) query_id = 111 bind = { "start_date": '2017-01-01T00:00:00

とあるfluent pluginのバグを踏んでしまって、フローの途中で処理されずにエラーになってしまっていた事象がありました。 しかし幸いにもout_fileでテキストファイルに退避していたためこれを再処理できるかなー？と思い以下のような書き捨てスクリプトを書いてみました。 # -*- coding: utf-8 -*- import sys import json import pdb from fluent import sender from datetime import datetime # vars send_tag = 'okuritai.tagdesu' label = '' extz = '+00:00' # logger init logger = sender.FluentSender(send_tag, host='localhost', port=24224) #

スレッド利用できるようになっていたので気になる点について雑にまとめてみた。 スレッド開始について 特定のReplyに対して Start a thread をクリックするとスレッド開始 スレッド参加のトリガー 以下のようなイベントで参加になるようす スレッドを開始する スレッドをフォローする スレッドに対して自分から投稿する スレッド内の誰かからメンションをもらう 他人を参加させるにはこの方法しかなさそう(/invite のようなコマンドも無い) @channel が効かないようなので、強制的にチャンネルメンバー全員参加させるのは無理？（一人ひとり追加すれば良いけど…） スレッドに参加すると起こること All Threadsにスレッドが表示され、通知が確認できる スレタイっぽいことしたい それ自体の機能は無さそうだけど、開始したReplyが常に上に表示されるので、開始するReplyをスレタイ

GitLab8.15 から、SlackからGitLabのChatops連携出来るようになったようです。 どんなものか試してみたかったので設定メモを残しておきます。1 Slack側の設定 ここ を開いて、自分のSlackチームに新規スラッシュコマンドを作ります。 コマンド名はお好きなものをどうぞ。プロジェクトごとに作るなら /<project_name>などとしておけばよいでしょう。 このページに Token 欄があるので、それをメモしておきます。 また、後ほどGitLabの設定を貼り付けるのでページは開いたままにしておきます。 GitLab側の設定 プロジェクト選択 > 設定 > Services > Slack Command を開きます。 そしてこのページの URL 欄をコピーし、Slack側設定の URL にコピペします↓ 次に、先ほどメモしておいたSlackの Token を 今度

balancer_by_lua_xxxxx いつの間にやら1 lua-nginx-module に balancer_by_lua_xxx という新しいディレクティブが増えていました。 以下ドキュメントより抜粋。 http { upstream backend { server 0.0.0.1; # just an invalid address as a place holder balancer_by_lua_block { local balancer = require "ngx.balancer" local host = "127.0.0.2" local port = 8080 local ok, err = balancer.set_current_peer(host, port) if not ok then ngx.log(ngx.ERR, "failed to set

例 たとえば、文字列を１文字ずつ変換してtableの配列にぶちこむロジックなのですが １文字ずつ実直にループしてtable化 { string:byte } 形式 という２パターンで比較してみました。 以下の様なスクリプトです。 -- display time function time(title, block) local st = os.clock() block() local ed = os.clock() print(title .. ": " .. ed-st.. " sec") end -- 速い local function _string2bytearray_fast(data) local i = 1 local t = {} for i=1, string.len(data) do t[i] = data:byte(i) end return t end -- 遅い

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

nginxでレスポンスコード200以外(4xxとか5xx)でもレスポンスヘッダーを付けたいことありますよね。 そんな時、always を付与すると、ステータスコードにかかわらずレスポンスヘッダーを付与することが出来ます。

gojiでUnixドメインソケット起動 gojiでUnixドメインソケット対応したい場合、bind引数でファイルパス形式するだけで簡単に起動できます。簡単！

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

https://github.com/toritori0318/lua-resty-r3 nginx+lua上で動作するURLルーティングライブラリです。 lua+ffiでr3をバインディングしています。 r3(libr3)について リポジトリはこちら。 https://github.com/c9s/r3 高速なルーターライブラリということを謳っているようです。 perl/python/ruby/node.js/Haskell などのバインディングが存在しています。 書いた動機 nginx + lua でいい感じのルーティングモジュールが欲しかった 1 より高速なルーティングがしたかった ffi モジュール書いてみたかった 実装方針 libr3には様々なAPIがありますが、今回はroutingに特化したAPIのみ対応しています 2 また、マッチした時の戻り値は functionブロックのみ

現象について 日に１、２回ほどこんなログが出力される。 どこか（不確定）のノードが一時的にFailし、すぐにJoinし直す。 現象としては 以前 に書いたのと似てはいるが、頻度が低い。たまに起こる程度。 2015/11/30 06:09:25 [INFO] memberlist: Marking hogenode as failed, suspect timeout reached 2015/11/30 06:09:25 [INFO] serf: EventMemberFailed: hogenode xxx.xxx.xxx.xxx 2015/11/30 06:09:25 [INFO] consul: member 'hogenode' failed, marking health critical 2015/11/30 06:09:27 [INFO] serf: EventMemberJ

DynamoDBのGetやPutなどの通常操作であれば1レコード1ユニット単位での計算となるが、 QueryやScanの場合はどうなってたっけ？という疑問が湧いてきたので調べてみた。 前提：ユニットという単位について DynamoDBでは ユニット という単位でスループットを計算する。 ドキュメントによると以下のような仕様になる。 キャパシティーユニットの用途 計算方法

環境 Consul Server(0.5.2) x 3 Consul Agent(0.5.2) x 数十台 現象 とある日、プロダクトのConsulクラスタ管理下のサーバがちょいちょいアラート出すので Consulログを確認するとノードが数分間隔で EventMemberFailed と EventMemberJoin を繰り返していた。 特に特定のノード、というわけでもなく、ランダムにノードがFailし、数十秒後にJoinし直す、というログがひっきりなしに出力されていた。 「consul flapping」でぐぐってみると、いくつか同じような現象で悩んでいる事案があるようだった。 原因となったサーバ ほぼ全てのノードがflapping状態だったので原因つかめず途方に暮れていたが、この投稿 で のfromのサーバを見るといいよ、とあったのでgrepしてみるとビンゴ。 そのサーバにログインし

※2015/08/29 追記 現在DockerToolboxでVirtualBoxも同時にインストールすると最新の5.0.2がインストールされますが このバージョンがDockerMachineと相性が悪く、VMが起動しないという罠があります。 https://github.com/docker/machine/issues/1716 VirtualBoxのバージョンを5.0.0に下げるか、 こちらから次期テストバージョンの5.0.3をインストールしましょう。 Docker1.8リリースと同時に DockerToolbox というものが公開された。 https://www.docker.com/toolbox 要するに、Dockerまわりの環境を全部入りしたインストーラ。 2015/8/14 時点では以下のツールが同梱されている。 Docker クライアント Docker Machine（D

curl -s http://169.254.169.254/latest/meta-data/iam/info | jq -r .InstanceProfileArn | awk -F: '/arn:aws:/{print $5}' Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

http://qiita.com/spesnova/items/658a47e40eaea5b5a5f4 ほぼこちらの手順をv2.0に置き換えた版＋運用について＋パフォーマンス改善について書いてみました。 動機 Dockerプライベートレジストリが欲しくなった ウェブをみると、自前はつらいという話が多かったのでどのくらいつらいのか知りたかった Docker Registry運用方法について Docker Registry用のサーバは 持たない方針 で進める 持ってしまうと… 管理サーバが増える SPOFになる（冗長化考えるのめんどい） 認証考える必要ある つらい 個々のサーバにDokcer Registryコンテナを立てる方式を採用 かつバックエンドにs3を使う方式にすると、 インタフェースだけローカルのDocker Registryを通して S3上のDockerイメージを共有することが出

久々にheroku上にいるhubotをデプロイしたら botが動かなくなってしまったので色々調べてたら slack <-> hubot 連携がバージョンアップしてたらしい。 そしてプライベートチャンネルでも普通にhubotが動くようになってた。 さらに、世に出ているSlackとHubotの設定記事 のようなものも 古いバージョンの設定が多いので 最新版という位置づけでここにメモしておく。 （2015/4/15時点） 手順まとめ Slack上の Hubot Integration を新バージョンにする hubot-slackを3.xにアップグレードする Herokuの環境変数を設定し直す hubotインテグレーションしたいチャンネルにhubotユーザをinviteする Slack上の Hubot Integration を作り直す ここからHubotインテグレーションの新規追加を行います（新

※2016/04/24 追記 昨年末にItamae meetupで話した時のスライドリンクを追記しました。 Databag > itamae-secret の話やConsul連携の話が追加されています。 http://www.slideshare.net/tsuyoshitorii5/itamae-meetup-vol1public 現在自分が運用管理しているChef-soloプロビジョニングの仕組み 1 を Itamaeに移行した時のお話をしようと思います。 管理規模としては大規模ではなく、小〜中規模的なところかと思います。 （ロールによってレシピ切り分けたり、環境毎にレシピ用意したりなど…） 最初に: Itamaeについて https://github.com/itamae-kitchen/itamae 軽量なChef と考えればよいでしょう。 Chefの複雑さを取り除き、必要十分な部

ざっくり説明するとconsul-templateとは consulの様々なイベントを検知して 「テンプレート更新」 ＞ 「任意のコマンド実行」 してくれるツールです。 今回実現したかったのは consul-kvsの変更をトリガーにしてほげほげする ことです。 最初はconsul-templateがどういう条件でイベント発火するのかよくわからなかったのですが、 ドキュメントをよく見たらその辺りの仕様が記載されていたのでメモしておきます。 どういう条件でwatchしているのか？ 何の事はない話で、基本的には 読み込むテンプレート内で利用している値が変更されたかどうか を見ているようです。 素晴らしいですね。（※一部例外あり） 例: kvsのキーの値を監視する場合 以下のようなテンプレートで key を参照するだけでよいです。

メモです。 Docker公式のmysqlを使いつつ、初期データ投入するのに 少し手間取ったのでメモします （全部自前で書けばいいじゃん…というのは置いといて） ディレクトリ構造 ざっくりこんな感じを想定。 APP_ROOT/ app/ db/ setup.sql > create文とかinsert文とか fig.yml fig/ app/ Dockerfile mysql/ Dockerfile > ここから /app/db のSQLを使いたい ... やりたいこととしては、 app用とfig用のディレクトリがあって、 mysql用Dockerfileからapp用のディレクトリ配下にあるSQLファイルを使って 初期テーブル作ったりデータ投入したい。 実現している方法 fig/mysql/Dockerfile FROM mysql:5.6 # utf8サポート RUN { \ echo '[

メモです。 boot2dockerを使わず、 vagrant上に普通にVM立ててDocker使える環境を一撃で用意するコマンドです。 （VMはubuntu14.04） 一撃でインストール wget https://raw.githubusercontent.com/phusion/baseimage-docker/master/Vagrantfile && vagrant up vagrant ssh ... $ docker run busybox echo 'Hello Docker!' Unable to find image 'busybox:latest' locally df7546f9f060: Pull complete ea13149945cb: Pull complete 4986bf8c1536: Pull complete 511136ea3c5a: Already

メモです。 こちら の記事でローカルPCとDockerコンテナのボリュームを同期しつつ、 スクリプトが更新されたらFlaskを自動リロードさせる仕組みを紹介しました。 pythonプロセスの負荷が上昇 現在は実際にこのスタイルで開発しているのですが 同期されるファイルが増えてくると Dockerコンテナ内のpythonプロセスの負荷が高くなってきていることに気付きました。 なんでかなーと思って調査したところ、 自動リロードの部分を削ると負荷が激減しました。 つまり自動リロードが悪さしている様子。 インターバルを増やす 監視インターバルの間隔を延ばすと多少負荷がマシになりました。 先のスクリプトの例では、オプションにインターバルを指定します。 ... if __name__ == "__main__": app.run(host="0.0.0.0", debug=True, reloader

仕様についてメモ １つのサーバは１つのクラスタにのみ属する。 １サーバ内では１つのタスクのみ実行できる。別のタスクを実行しようとするとタスクが上書きされる。 テスト構築しようとしていた構成 Appクラスタは webアプリ／fluentd／sensuクライアント の３つのコンテナで、 Redisクラスタは redis／sensuクライアント の２つのコンテナで、 Fluentdクラスタは fluentdサーバ（Appからの受信用）／sensuクライアント の２つのコンテナで、 Sensuクラスタは sensuサーバ（各サーバのモニタリング） の１つのコンテナで、 構成されています。 で、結論から言うと現時点ではムリ〜。 ダメな理由 プレビュー版制限事項 そもそも、プレビュー版の制限として クラスタは最大２つまで という縛りがあるため、上記構成は出来ませんでした。 http://docs.aw

この記事は AWS Lambdaアドベントカレンダー １６日目の記事です。 概要 AWS Lambdaはイベント駆動で処理を実行する事ができます。 つまり 「何らかのイベント」＞「Lambda実行」＞「何らかのイベント」＞（繰り返し） と繰り返すことでcronの代わりに利用できないか？と考えました。 上手く行けばサーバレスであんな事やこんな事ができちゃうかもしれませんね…！ 今回試してみた構成 S3のイベントをトリガーにしてみました。 とあるファイルをトリガーにして、 その中身のフラグを見て 処理開始(0)／処理中(1)／処理終了(0/1以外) を判断しています。 また、cronのインターバルは最大でも60秒です。 これはlambdaのtimeout設定が 60秒までしか設定できない からです。 これより小さい数値でsetTimeoutすることにより、擬似ループのようなことを可能にしていま

アプリケーションをfig化すると fig upするだけで同じ環境をすぐに構築することが出来ますよね。 つまり、CIでテストする環境もfig使うとそのまま動くのでは…と思い試してみました。 fig / Droneについてのref fig Docker1.3版 boot2docker+fig入門 Drone GitLab+DroneでHerokuにCIする、という最高の環境を10分で作る 構成概要 OSS版Droneを利用します。 Droneのscript内で普通にfigを実行し、 動的にDockerコンテナ起動した上でテストを実行しています。 Dockerコンテナは普通にDroneと同じく、ホストOS上にコンテナを起動しています。 サンプルプロジェクト https://github.com/toritori0318/drone-fig-ci-sample 上記は fig公式 のサンプルアプリ