Consul by HashiCorp ～サービス・ディスカバリ入門～ - Qiita
誰？ Masahito Zembutsu @zembutsu (個人用) とある会社の Technology Evangelist (仕事) HashiCorp や Docker のドキュメント翻訳や技術検証 https://pocketstudio.net http://docs.docker.jp 過去の発表スライド http://www.slideshare.net/zembutsu Topics HashiCorp Consul 概要 開発背景 アーキテクチャ Consul でサービス登録 Consul Template 会社設立は 2012 年 Mitchell Hashimoto 氏と Armon Dadger データセンタ管理に革命をもたらすこと 設計思想は The tao of HashiCorp（Workflows, not Technologies やインフラのコード化
mhaとconsulでDBサーバーの冗長化をしています | feedforce Engineers' blog
こんにちは。Lorentzcaです。3月ですがまだまだ寒いのでなかなか釣りに行けずテンションさげぽよです！ ↑↑ この度DBサーバー(物理マシン、MySQL)の引っ越しを行いました。 そのついでに、冗長化の仕組みをmhaとconsulを使った方法に変えたので紹介します。 はじめに まずは簡単に引っ越し前と引っ越し後の構成を比べてみます。 引っ越し前は以下の様な構成でした。 サーバー台数: 2台 MySQLフェイルオーバーの仕組み: 自作シェルスクリプト アプリの参照先を切り替える仕組み: keepalivedでvipを張り替えることで実現 引っ越し後は以下の様な構成になりました。 サーバー台数: 3台 MySQLフェイルオーバーの仕組み: mha アプリの参照先を切り替える仕組み: consulのdns機能を使って実現 なぜこのような構成にしたのか、話していきます。 引っ越し前に持っていた
Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った - weblog of key_amb
github.com fireap = fire + reap です。 Consul Event を発火(fire)して、受信側でそれを収穫(reap)する、という意で。 読み方は「ファイリープ」で良いかと思ってます。 どんなツール？ GitHub に上げた README.md より、かいつまんで日本語に変換しつつ説明します。 ノード数 N に対して O(log N) で動作するデプロイツールです。 が、実際にはデプロイに限らず任意のコマンドを実行できるので、README の中ではデプロイツールとは書いておらず、「高速タスクランナー」としています。 fujiwara/stretcher や sorah/mamiya は O(1) なので、それらが使える環境(S3 的な I/O やトラフィックの上限が非常に高いストレージがある)でデプロイを速くしたいという場合は、それらを使えばよろしいかと。
Consul 0.6でユーザのいるshardを探す（Prepared Queryを使う） - kikumotoのメモ帳
この記事は HashiCorp Advent Calendar 2015 - Qiita の第21日目です。（大人な事情により Hamee Advent Calendar 2015 - Qiita の第20日目でもあります。なので微妙な時間に公開） 概略 ユーザIDをベースにDBを分割（sharding）しているのですが、プログラムからユーザのいるshardを探すのにConsulを使えないかなぁと思って試している話。 Consul0.6のPrepared Queryを使って解決してみました。 目次 背景 前提 方法１（今回採用予定） 方法２ その他の方法 まとめ 背景 ユーザIDをベースにDBを分割（sharding）していると、プログラムからユーザのいるshardを探す必要があります。 これをどこかのメタDBサーバにするってのも良いんだけど、Consul使ってDNSで引っ張ってこれると使
【参考訳】Consul 0.6 | Pocketstudio.jp log3
Consul のメジャー・アップデートがありました。Blog 記事があがっていましたので、例によって参考程度にどうぞ。 Consul 0.6 – HashiCorp https://hashicorp.com/blog/consul-0-6.html —-ここから ■ Consul 0.6 私たちは Consul 0.6 のリリースにワクワクしています。今回は多くの新機能や改良が追加されたメジャー・アップデートです。Consul とは最新のデータセンタ・ランタイムです（訳者注：HashiCorpでは、いわゆるネットワーク・システムのことをデータセンタとして表現しています。日本語の物理的なデータセンタとは概念が少し異なります）。Consul は扱いやすい Go 言語のバイナリであり、サービス・ディスカバリ、設定、オーケストレーションの各機能があります。分散と高い可用性、そして、複数のデータセ
Consul 0.4.x から 0.5.2 へのバージョンアップ - 酒日記 はてな支店
このエントリは HashiCorp Advent Calendar 2015 - Qiita 1日目の記事です。 Consul クラスタは一度稼働を始めたら基本的に落とせないため、いわゆるローリングアップグレードによってクラスタ全体を停止せずにバージョンを上げることが考慮されています。 consul.io ということで基本的には上記のURLを参照して、順番にagentを新しいバイナリで起動し直すことによって新しいバージョンに切り替えられるわけですが、Consul 0.5.0, 0.5.1 についてはいくつか留意点がありますので記録しておきます。 consul.io 0.5.0 未満から 0.5.0 以上にする場合 acl 機能を使っている場合、あらかじめ acl_policy を設定してからアップグレードする必要があります が、自分は使用していなかったのでスルー Leader が Cons
Consulを利用したTLSセッションチケットの自動更新 | メルカリエンジニアリング
Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケットは簡単に言うとTLSのセッション情報を暗号化してクライアント側に保存することで HTTPS通信時に行われるTLSハンドシェイクの手順を省略してネットワークレイテンシを削減するための仕組みです。(詳細については一番下の参考情報を御覧ください) 似たような仕組みとしてTLSセッションキャッシュがありますが、こちらはセッション情報をサーバ側に保存します。 HTTPS通信ではTCPのハンドシェイクに加えてTLSのハンドシェイクが必要になるのでHTTP通信よりもネットワークのレイテンシが大きくなりますが、 これらの仕組み
Deploy ツール Stretcher で Rollback する - tkuchikiの日記
Stretcher を使うと、Consul と連携して、所謂 Pull 型の Deploy ができるようになります。 Consul と連携させる場合は、 $ consul event -name deploy s3://xxx-stretcher-files/deploy-20151112-193139.yml のように、consul event で Manifest の path を指定してイベントを送ると、 YAML に書いてある path(s3, http, file) から tar.gz を取得して展開してくれます。 Stretcher は Rollback するのも簡単で、 Rollback したいバージョンの Manifest の path を指定して consul event を実行するだけです。 S3 に置いている場合、都度 aws s3 ls などして Manifest
初老が mruby 界に名を轟かす為に Consul HTTP API の mruby クライアントを作ってみる - ようへいの日々精進XP
tl;dr @inokara @matsumotory mruby界隈に名を轟かすチャンスです！— Uchio KONDO (@udzura) November 6, 2015 @inokara @udzura ウオオオ、楽しみです！— MATSUMOTO, Ryosuke (@matsumotory) November 6, 2015 上記のような振りを頂戴したので、mruby 界に名を轟かす為にもうすぐ初老を迎えるという勢いで Consul HTTP API の mruby クライアントを作り始めた。 github.com mgem-list への登録済み、尚、全てのエンドポイントはサポートしていない（引き続き追加していく予定）。 memo サポートしている Endpoint 現時点では以下の Endpoint をサポート。 Key/Value store Health checks
eBay/fabio · GitHub - A fast, modern, zero-conf load balancing HTTP(S) router for deploying microservices managed by consul.
From release 1.6.1 onward, the minimum golang version supported is 1.16. From release 1.6.0 onward, metrics backend statsd is no longer supported. statsd_raw works similarly, though it actually resets counters appropriately. If you are using datadog, you should consider using the new dogstatsd backend, which has support for tags now. Graphite histogram functionality has changed slightly since swit
Consul, Consul TemplateとPrometheusで行う簡易メトリクス収集
10月 2015 (1) 9月 2015 (1) 12月 2014 (2) 11月 2014 (1) 10月 2014 (1) 9月 2014 (1) 7月 2014 (2) 6月 2014 (2) 5月 2014 (1) 12月 2013 (1) 10月 2013 (1) 7月 2013 (1) 11月 2011 (2) 10月 2011 (1) 5月 2011 (1) 3月 2011 (1) 1月 2011 (1) 12月 2010 (3) 11月 2010 (1) 10月 2010 (1) 9月 2010 (3) 8月 2010 (6) 7月 2010 (1) 5月 2010 (2) 4月 2010 (1)
Consul lock を動かしてみる - log.fstn
お待ちかね Consul 0.5.0 が出ました -> https://hashicorp.com/blog/consul-0-5.html 今回のリリースでいろんな機能が追加されましたが lock が気になったのでとりあえず動かしてみます。 環境準備 Consulと使いそうなツールを幾つか含んだDockerコンテナで検証してみます。 FROM ubuntu:trusty MAINTAINER foostan ks@fstn.jp RUN apt-get update && apt-get install -y wget curl unzip telnet dnsutils RUN wget http://stedolan.github.io/jq/download/linux64/jq RUN chmod +x jq RUN mv jq /usr/bin ## consul RUN wg
YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店
YAPC::Asia 2015 でトークを採用していただいたので、発表してきました。 YAPC::Asiaは自分は2006年から10回皆勤で、トークは2009年LT、2010〜2013, 2015は本編で計6回もしてるんですね…YAPC::Asiaにはここまでのエンジニア人生の半分以上を支えてもらっていて、(ひとまず)最後の回でもトークできて感無量です。 1年ぶりにYAPCでしか顔を合わせない人もいた懇親会は、皆さん言うように同窓会のよう、というか本当の同窓会よりも現在の話題を共有している分濃密でしたね。 Consulと自作OSSを活用した100台規模のWebサービス運用 1日目午後一の激戦枠に放り込まれたのでどれぐらい会場が埋まるか心配でしたが、200人以上入る会場でほぼ満員だったようで、聞きに来ていただいた皆様ありがとうございます。 ここ1年程度で本番運用してきたConsulと周辺に関
動画変換で家が建つ（くらいのお金がorz）時にConsul本番投入して約100分の1に抑えた話 #yapcasia #yapcasiaE
まとめ YAPC::Asia Tokyo 2015 #yapcasia 全セッション総まとめ 前夜祭から大盛り上がりの様子を完全まとめしていきます。実況ツイートはトラック毎のハッシュタグ付き推奨！ #yapcasia / 全体 #yapcasiaA / トラックA (国際会議場) #yapcasiaB / トラックB (701-702) #yapcasiaC / トラックC (703) #yapcasiaD / トラックD (605-606) #yapcasiaE / トラックE (607-608) #yapcasiaDinner / 懇親会 (レセプションホール) 16514 pv 94 39 users 57
Consul を利用して pull 型デプロイを実現する stretcher を試してみた（1） - ようへいの日々精進XP
Consul を利用して構成されたクラスタの各ノードにアプリケーションコンテンツ（ソースコード）を配布するデプロイツール stretcher というツールを教えて頂いたので試してみた。 github.com tech.kayac.com stretcher の詳細については上記の GitHub リポジトリ又は以下の紹介記事をご一読あれ。m(__)m とは言っても、stretcher について自分なりに纏めてみた stretcher が行うこと デプロイの手順が記された YAML ファイル（以下、マニフェスト）を取得 マニフェストに記載されたソースリポジトリよりアプリリケーションコンテンツ（ソースコード）を取得して展開 展開したファイルを rsync を利用してターゲットディレクトリに転送（rsync は --delete オプション） 以降はマニフェストに記述されたコマンドを実行する（アプ
第8回（最終回） 定型作業を自動化するConsul Template | gihyo.jp
Consul Template これまでの連載の応用として、最後にConsul Templateをご紹介します。SerfやConsulを使えば、複数台のサーバやLinuxコンテナ上で、様々な処理を同時に行うことができます（イベントハンドラ機能）。実行は任意のタイミングで行えるだけでなく、ノードの増減やサービスの増減に応じて自動的に実行できることが特徴です。 自動実行は、増減のタイミングでコマンドを実行するだけでなく、管理用のファイルやロードバランサ等の設定ファイルを書き換えにも利用できます。通常は、設定を書き換えるためのスクリプトやプログラムを準備する必要がありました。 この設定ファイルの自動書き換えに特化したプログラムがConsul Templateです。その名前の通り、Consulクラスタと連携します。あらかじめテンプレート元になるファイルを用意しておくことで、Consul上でのノ
第5回 Consulインターフェースとサービス検出を最小構成で確認 | gihyo.jp
前回はConsulの登場背景や使いどころについて扱いました。今回はConsulを実際に使うために、簡単なクライアント・サーバ構成を作成します。それから基本的なサービスの登録方法や、その結果をConsulのインターフェースを通して知る方法を見ていきます。 動作確認のための最小構成 Consulの基本動作を確認するための最小環境は、1台のサーバ上でConsulエージェントをサーバモードとして動かします（図1）。Consulサーバは、エージェントから取得した様々なデータを保管し、結果を参照するためのインターフェースを提供します。Consulエージェントを起動するときに、サーバモードを明示するオプションを付けて起動します。 図1 Consulサーバの最小構成 なお、Consulサーバが1台なのは、あくまで簡単な動作確認のためです。実際の環境においては、データ保全のために3または5台のConsu
第2回 Serfのイベントハンドラで自動化を使いこなす | gihyo.jp
イベントハンドラとは？ 前回の記事で見たように、Serfエージェントをサーバ上で起動することで、簡単にネットワーク上にクラスタを構成できます。クラスタを構成後、Serfはネットワーク上で相互に死活監視するだけでなく、クラスタのメンバ管理（ホスト名・IPアドレス・タグ等を共有）を行えます。この監視状況やメンバの変化という「イベント」に応じて、シェルスクリプトやコマンドを実行する機能が「イベントハンドラ」です。 イベントハンドラは単純にコマンド実行するだけでなく、環境変数を通してSerfからスクリプトに様々なデータを渡せます。この仕組みを使い、コマンド実行時に動的に変わる引数（ホスト名・IPアドレス・タグ等）の指定や、動的に変わる環境に対する設定変更を行えます。 そのため、イベントハンドラの理解・習得が、Serfを使って自動化を進めるうえで欠かせません。とは言え、さほど難しい概念ではありません
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Consulと自作OSSを活用した100台規模のWebサービス運用
consul-atlas-alerts
