Consulのおもしろそうな仕組みについて調べてみました : DSAS開発者の部屋
はじめに KLabさんの協力会社として一緒にお仕事をさせて頂いておりますクラスターコンピューティングと申します。今回はSerfの同様にHashiCorpより提供されているConsulを試してみました。 コンテナによるクラスタなど随時サービスが追加削除されるような環境ではそのアドレスはDHCPなどにより動的に決定されます。コンテナ名などでそのサービスにアクセスできれば便利ですが、動的なアドレスとコンテナ名の関係をどのように解決するかという点が問題になります。クラスタ内でロードバランサやリバースプロキシ等を利用している場合、サービスの追加に応じてその設定ファイルも動的に更新しなくてはなりません。また、構成が随時変化するなかで、現在どのサービスがどのホストで実行されているかということを把握する必要もでてきます。 Consulを利用することによりこれらの問題を解決することができます。今回はそのため
Consul Service Discovery with Docker :: Jeff Lindsay, Open source hacker
You're reading the blog of Jeff Lindsay (@progrium). There is also his wiki. Consul is a powerful tool for building distributed systems. There are a handful of alternatives in this space, but Consul is the only one that really tries to provide a comprehensive solution for service discovery. As my last post points out, service discovery is a little more than what Consul can provide us, but it is pr
Consul ACLの使い方 - Qiita
Consul ACL (Consul 0.4.X)の使い方。 詳細まで正しいかは不明だが、解ったことから書いていく。 概要 トークン単位で値に対する操作を制限する機能。 各トークンはID、名前、どこの値にどのようにアクセスできるかのルールセットを持つ。 値へのアクセス時にトークンIDを指定し（指定しなければデフォルトトークン）、認可を行う。 公式ドキュメントはこちら。 対象API ドキュメントに、 As of Consul 0.4, it is only possible to specify policies for the KV store. とあるとおり、0.4時点ではKVSだけアクセス制限できる。 ※ACLのAPIにはmaster tokenでないとアクセスできない。 Configで書けること ACLはHTTP APIで登録する。Configファイルにルールを書いておいて、起動した
Consul を利用して pull 型デプロイを実現する stretcher を試してみた（1） - ようへいの日々精進XP
Consul を利用して構成されたクラスタの各ノードにアプリケーションコンテンツ（ソースコード）を配布するデプロイツール stretcher というツールを教えて頂いたので試してみた。 github.com tech.kayac.com stretcher の詳細については上記の GitHub リポジトリ又は以下の紹介記事をご一読あれ。m(__)m とは言っても、stretcher について自分なりに纏めてみた stretcher が行うこと デプロイの手順が記された YAML ファイル（以下、マニフェスト）を取得 マニフェストに記載されたソースリポジトリよりアプリリケーションコンテンツ（ソースコード）を取得して展開 展開したファイルを rsync を利用してターゲットディレクトリに転送（rsync は --delete オプション） 以降はマニフェストに記述されたコマンドを実行する（アプ
Consulによる運用自律化体験ハンズオンとConsul活用事例紹介
【July Tech Festa 2015】 Consulによる運用自律化体験ハンズオンとConsul活用事例紹介Read less
#10 Consulと連携するpull型デプロイツール stretcher - KAYAC engineers' blog
tech.kayac.com Advent Calendar 2014 10日目担当の @fujiwara です。 最近書いている stretcher というデプロイツールの紹介をしたいと思います。 長いので3行で push型デプロイはホスト台数が増減しやすい環境に適さない 各種問題を解決するpull型デプロイツールを書いた Consul と連携するよ 中央ホスト配布(push)型デプロイの問題点 カヤックの自社サービスでは久しく Archer というツールを利用し、中央ホストから各デプロイ対象ホストに rsync でファイルを配布する形のデプロイを行っていました。ここではこれを push 型と呼びます。 push型のデプロイは、ホスト台数が頻繁に増減する環境で以下のような問題があります。 新しくホストが起動してきた場合に、中央ホストからデプロイを行ったあとでないと (古い状態で起動してい
-bootstrap-expect=3のConsulサーバクラスタが一旦落ちると復帰できないのでその対策 - Qiita
冗長化したConsulサーバクラスタでの問題 Consulはサーバを-bootstrap-expectオプションで3以上（あるいは、設定ファイルでbootstrap_expectの値を3以上）を指定して3台以上起動することによってサーバクラスタとして冗長化することができ、半数以上が停止するまでサーバとして利用可能な状態のままで居続けることができる。 つまり、-bootstrap-expectが3なら1台までサーバが落ちても問題ない。 逆に言えば半数以上のサーバが落ちてしまえば利用できなくなる。1 もちろんそれは仕様通りなのだが、（少なくとも私の環境では）その後再度落ちたサーバを普通に起動してもLeaderの再選定が行われず全員Followerになってしまうため利用可能な状態になってくれない。 これはバグだと思われる。 https://github.com/hashicorp/consul/
consul watchの変な挙動 - 右往左往ブログ
watchとは consulのwatch機能は、サービスなどを監視し、状態が変化したときに指定した処理を実行する機能です。 公式によると、以下の条件でwatchは発動するようです。 https://www.consul.io/docs/agent/watches.html Key/Valueが変化したとき Key Prefix配下が変化したとき Serviceの数が変化したとき nodeの数が変化したとき 特定のServiceの状態が変化したとき checkの状態が変化したとき ユーザの指定したeventを発行したとき ここではwatch機能の挙動を確認してみます。 自分の理解が足りないのか、ちょっと今のままでは使いづらいなという印象です…。 なお、検証したのは上記のうち「特定のServiceの状態が変化したとき」についてです。 使いづらいポイント 検証で後述しますが、まとめると以下です。
Consul の Check definitions 研究 - ようへいの日々精進XP
ども、かっぱです。 研究 というと大袈裟だが Consul の Check 定義について調べたのでメモっておく。 参考 Check Definition - Consul by HashiCorp Consul関連ドキュメント(参考訳)Part2 | Pocketstudio.jp log3 俺訳 Check 定義 そもそも Check 定義とは One of the primary roles of the agent is management of system-level and application-level health checks. A health check is considered to be application-level if it is associated with a service. If not associated with a servic
非コンテナ環境でConsulを使う - Qiita
Consul by HashiCorp なぜConsulを使うのか サービスからサーバの切り離しを素早く行いたいから。 サービスを提供するAPPサーバが複数台あり、リバースプロキシからリクエストを振り分けているような場合、諸々設定やらですぐ切り離せなかったり、面倒だったりします。そこでConsulを参照させ、HTTP APIつきDNSとして便利に使おうというわけです。Health checkで自動切り離しもできる。 構成 Consulはサーバモードとクライアントモードがあり、他のエージェント（サーバ・クライアント）と繋がることでクラスタが構成されます。耐障害性をもたせるならサーバが3台以上必要です(Consensus Protocol - Consul by HashiCorp)。 Consulはクラスタ全体でserviceというグループごとにnodeという情報を持ちます。使用するときは、
consulのinitスクリプトとsystemdユニットファイルを書いてみた - Qiita
#!/bin/sh # # consul - this script manages the consul agent # # chkconfig: 345 95 05 # processname: consul ### BEGIN INIT INFO # Provides: consul # Required-Start: $local_fs $network # Required-Stop: $local_fs $network # Default-Start: 3 4 5 # Default-Stop: 0 1 2 6 # Short-Description: Manage the consul agent ### END INIT INFO # Source function library. . /etc/rc.d/init.d/functions # Source networ
Docker-Registrator(Normal/internal)でConsulに登録される内容は？ - 夢とガラクタの集積場
こんにちは。 最近、Dockerでマルチコンテナのクラスタを組もう、ということをやっています。 で、そこで課題になってくるのがIPアドレスが一定しない、ということですよね。 ですので、そのためにConsul等のサービスディスカバリの仕組みを使う形になります。 ただ、Dockerコンテナの内部からConsulに登録するのはいまいち面倒・・ということで、 自動登録が可能なDocker Registratorを２パターン試してみました。 とりあえず、出来ると構成は下記のようになる・・はず。 尚、OSはCentOS7、あとFirewalldは無効化してiptablesを用いています。 理由は後ほど（次回以降？） 1. OS側準備 まずはDockerインストールなどの諸々のセットアップを行います。 尚、rootユーザでログインを予め許容しておき、rootユーザでセットアップを行います。 ■Selin
Consulを使ってみた | Pocketstudio.jp log3
Consul ( http://www.consul.io/ ) という新しいツールが4月17日(日本時間18日)に発表されました。Vagrant や Serf の作者さんが所属している Hashicorp 社としての新しいプロダクトです。 サイトによると、Consul は、’solution for service discovery and configuration’ とあり、サービス検出と設定のためのソリューションであり、具体的には、サービス（データベースやメール等々）を監視し、問題発生時にはトラフィックを迂回させるなどといった情報を、KVS を通して提供するもの、と書かれています。 また、複数のデータセンタにまたがる非常に大きなインフラ（基盤）上で、既に数ヶ月間利用されてきた実績もあるようですね。 4/19追記：背景やアーキテクチャのドキュメントは、別途本厄翻訳しました Cons
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE
redhat init script for consul
GitHub - josegonzalez/awesome-consul: A list of awesome consul projects, libraries