インフラエンジニアがConsulとStretcherをつかったデプロイ改善で開発効率の向上に貢献した話 / jtf2017-consul-stretcher-deploy
Consul の Kv は気軽に使えるデータストレージという印象だけど、ロック機構もあるようだ。 何度かドキュメントに目を通したけど、イマイチ使い所がわからなくて素通りしていた。 が、意を決して読み込んで手元で試したりして、だいたい理解できたと思うのでメモしておく。 仕様メモ まず Session について理解していないといけない Session の REST API については https://www.consul.io/docs/agent/http/session.html Endpoints: /v1/session/<operation> create, destroy/<session>, info/<session>, list, renew => あなたが期待する挙動をするでしょう。 node/<node> ... node に紐付いた session をリストする Ses
2. 概要 • consul(1 (並びに(consul*alerts(2 (を使った監視システムを試作 • consul(の(health(check(3 (機能を使用し監視を設定 • check(の状態が変化した場合に(consul*alerts(が通知を実行 • 通知先は(email,(slack,(pagerduty(...(等 3 "h$p://www.consul.io/docs/agent/checks.html 2 "h$ps://github.com/AcalephStorage/consul9alerts 1 "h$ps://consul.io/ ハートビーツ社内勉強会!hbstyle!(2015/01/07)!1!YOSHIKAWA!Ryota!(@rrreeeyyy) 2 3. consul • hashicorp*4 *の出しているオーケストレーションツール •
ども、かっぱです。 研究 というと大袈裟だが Consul の Check 定義について調べたのでメモっておく。 参考 Check Definition - Consul by HashiCorp Consul関連ドキュメント(参考訳)Part2 | Pocketstudio.jp log3 俺訳 Check 定義 そもそも Check 定義とは One of the primary roles of the agent is management of system-level and application-level health checks. A health check is considered to be application-level if it is associated with a service. If not associated with a servic
About Consulのv0.7.1からAWSのtagを使ってクラスタを組めるようになったので、試したという内容です! Before サーバが起動したタイミングでconsulクラスタを組んで欲しいので、userdataを使ってあるマスターノードをに対してstart_joinするような仕組みを取っていた。 マスターノードが死んだらジョインできない感じでした。とはいえAutoScaling環境下だったので、IPを固定してのconsul joinができなかったので当時悩んでました。内部DNSとかAtlasとか手段はありそうでしたが、きっとそんなに頻繁に入れ替わりないので大丈夫だろうと後回しにしていました。 After AWSのtagベースでのjoinが可能になりました(現時点ではGCEのtagも使えるらしい。試したことはないです!) github.com 実際にやってみる 今回はサーバを2つ用
In 2016, I delivered a short talk at DevOps Days Austin contrasting the difference between hacking and engineering utilizing the problem of resolving NGINX upstreams dynamically from Consul. This article presents the technical solution sparing you the rhetoric. Those interested may review the slides from the talk here: Hacking vs Engineering. Requirements Must be able to present various service fu
kubernetesを使い始めている。かなり良いのだが、それまでの非kubernetesの世界で使っていたconsulとconsul-templateに依存する形で動的な設定変更をしていて、それが常々不満だった。もちろんロードバランスしちゃえばよいようなものはkubernetesのServiceにしてしまってそこにアクセスするようにしちゃえば手間いらずなんだけど、memcachedとかが意外にこのパターンにはまらんなーと思って困っていた。そこで ちょっと手の空いた時にTwitterで以下のようにつぶやいたところ Daisuke Maki@lestrratlazyweb: is there some sort of pub-sub mechanism to detect addition/removal of pods in #kubernetes ? 2015/08/11 13:23:56
This topic describes the parameters for configuring Consul agents. For information about how to start Consul agents, refer to Starting the Consul Agent. OverviewYou can create one or more files to configure the Consul agent on startup. We recommend grouping similar configurations into separate files, such as ACL parameters, to make it easier to manage configuration changes. Using external files ma
これから Consul を使う方の参考になりましたら、というか自分のための整理です。 これは何? "Service discovery and configuration made easy. Distributed, highly available, and datacenter-aware." *訳:サービス検出と設定を簡単に。データセンタ間を意識した分散と高可用性。 Consul ( http://www.consul.io/ ) は、サービス検出や監視と設定を行うためのツール。Vagrant や Packer、Serf を製作している Hashicorp 社製のツールで、Go 言語で書かれており、オープンソース(Mozilla Public license, version 2.0)で公開されている。開発は GitHub を通してオープンに行われている。 Serf と Consu
はじめに 先日、Consul Templateという便利そうなツールがHashiCorpから発表されました。 Introducing Consul Template - HashiCorp 何かおもしろいこと出来ないかなっと思ってちょっと考えていたら、Registrator(progrium/registrator · GitHub)と相性が良さそうだったので組み合わせて使ってみた、というはなしを本エントリでまとめました。 Consul Template について Consul Templateは、Consulに登録されているサービスやK/Vの内容を元に、ミドルウェア等の設定ファイルを生成するためのツールです。 また、Consulを常に監視し、内容が変化するとリアルタイムに設定ファイルを更新して指定したコマンドを発行することができます。 ユースケースとして、HAProxy配下にWebサーバ
The more services we have, the bigger the chance for a conflict to occur if we are using predefined ports. After all, there can be no two services listening on the same port. Managing a tight list of all the ports used by, lets say, hundred services is a challenge in itself. Add to that list the databases those services need and the number grows even more. For that reason we should deploy services
前提 docker consul及びconsul-template AWS EC2、ELB、ECS について基礎知識がある前提で記事を作ってます。 Docker環境をつくる上での目標 インフラ設定をせずに新しいテスト環境を立てられるようにする 本番環境と開発環境の差異をできる限りなくす AWS ECS(Elastic Container Service) + Consulを選択した理由 swarmやkubernetesが絶賛開発中であることが大きいです。 Dockerの管理部分のほとんどを任せる必要があり、中央集権的なマネージャーが必要となっているため、問題発生時に対応が難しいことが予想されるというのもあります。 Dockerでの環境を作成するにあたってやって欲しいことは下記です。 コンテナの維持 デプロイ ロードバランサ連携 サービスディスカバリ ちょっとECSの概念に触れますが、ECS
誰? Masahito Zembutsu @zembutsu (個人用) とある会社の Technology Evangelist (仕事) HashiCorp や Docker のドキュメント翻訳や技術検証 https://pocketstudio.net http://docs.docker.jp 過去の発表スライド http://www.slideshare.net/zembutsu Topics HashiCorp Consul 概要 開発背景 アーキテクチャ Consul でサービス登録 Consul Template 会社設立は 2012 年 Mitchell Hashimoto 氏と Armon Dadger データセンタ管理に革命をもたらすこと 設計思想は The tao of HashiCorp(Workflows, not Technologies やインフラのコード化
I've setup consul (http://consul.io/) and dnsmasq so that I can have my own internal dns resolution. I have tested with dig that consul supports reverse dns lookups: $ dig @127.0.0.1 -p 8600 +noall +answer -x 11.0.16.69 69.16.0.11.in-addr.arpa. 0 IN PTR ip-11-0-16-69.node.dc1.consul. However reverse dnslookups through dnsmasq fail. How do I configure dnsmasq to forward reverse lookup entries to co
Docker Engine 1.9 でついにマルチホスト間の仮想ネットワーク接続がサポートされました。 これで Docker を利用したクラスタシステム開発にさらに弾みがつくものと期待します。 Docker Engine 1.9 の仮想ネットワークを構築するためには Docker Engine だけでなくクラスタ対応の分散型KVSが必要で consul/etcd/ZooKeeper が対応しているとの事です。 この機会に consul を使ってみようというのが今回の起点となります。 consul でできること consul は Hashicorp が提供しているデータセンタ管理ツール群 ATLAS の一部で、クラスタリングと分散KVS、オーケストレーションの基礎となる機能をいくつか提供してくれます。 それらの機能のうち今回は ノードのクラスタ参加とクラスタリングの管理 WEBAPIとDNS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く