Docker 1.12 & Swarm Mode Introduction ~ Docker の新しい技術と swarm モードの紹介Masahito Zembutsu
Analytics cookies are off for visitors from the UK or EEA unless they click Accept or submit a form on nginx.com. They’re on by default for everybody else. Follow the instructions here to deactivate analytics cookies. This deactivation will work even if you later click Accept or submit a form. Check this box so we and our advertising and social media partners can use cookies on nginx.com to better
We had many VMs in AWS - were ingesting millions of metrics per second - and were having pain around service discovery and quick configuration changes. This is the story of how we integrated Consul into our environment, what it helped us with, mistakes we made and some tips for successful implementation in your own environment. 10 months later, our growing cluster was using Consul to facilitate 60
こんにちは。Lorentzcaです。3月ですがまだまだ寒いのでなかなか釣りに行けずテンションさげぽよです! ↑↑ この度DBサーバー(物理マシン、MySQL)の引っ越しを行いました。 そのついでに、冗長化の仕組みをmhaとconsulを使った方法に変えたので紹介します。 はじめに まずは簡単に引っ越し前と引っ越し後の構成を比べてみます。 引っ越し前は以下の様な構成でした。 サーバー台数: 2台 MySQLフェイルオーバーの仕組み: 自作シェルスクリプト アプリの参照先を切り替える仕組み: keepalivedでvipを張り替えることで実現 引っ越し後は以下の様な構成になりました。 サーバー台数: 3台 MySQLフェイルオーバーの仕組み: mha アプリの参照先を切り替える仕組み: consulのdns機能を使って実現 なぜこのような構成にしたのか、話していきます。 引っ越し前に持っていた
github.com fireap = fire + reap です。 Consul Event を発火(fire)して、受信側でそれを収穫(reap)する、という意で。 読み方は「ファイリープ」で良いかと思ってます。 どんなツール? GitHub に上げた README.md より、かいつまんで日本語に変換しつつ説明します。 ノード数 N に対して O(log N) で動作するデプロイツールです。 が、実際にはデプロイに限らず任意のコマンドを実行できるので、README の中ではデプロイツールとは書いておらず、「高速タスクランナー」としています。 fujiwara/stretcher や sorah/mamiya は O(1) なので、それらが使える環境(S3 的な I/O やトラフィックの上限が非常に高いストレージがある)でデプロイを速くしたいという場合は、それらを使えばよろしいかと。
Consul is a tool for service discovery, configuration, and monitoring of modern microservices architectures that is broadly deployed and used. In this talk, we will give a brief overview of Consul and the problems it solves and then discuss new features introduced in Consul 0.6. Consul also has a large ecosystem of tooling that makes it easy to integrate into existing infrastructure. One of these
概要 Consulとは: サービス検出、障害検知とか。 Consul-templateとは: 障害を検知した時、用意されたテンプレートに ようするに、障害対応など色々と自動化してくれます。それを両方触ってみたという内容です。 やったこと APサーバがconsulクラスタに追加されたら、nginxのconfファイルに動的追加してreload APサーバがconsulクラスタからleave、もしくはサービスダウンしてたら、nginxのconfファイルから削除してreload APサーバが全部shutdownされたら、nginxのconfファイルにsorryサーバだけに記述してreload 構成 ※ 各サーバの構築手順はこちら:consulとconsul-templateでAPサーバの自動切り替え ~環境構築編~ 役割 IP 補足
consulのacl consulは、aclによって実行制限を行うことができます。 ここでは、multi datacenterでacl管理を行うための、設定と効果を見てみます。 きっかけは、consulの設定の中にacl_datacenterというものがあるのですが、ネット上のいろいろなページを見てもいまいち意味がわからなかったためです。 datacenter と acl_datacenter を同じ値にしていたり、では別の値だとどうなるのか?など…。 consul接続イメージ 今回構築しているのは以下のようなイメージです。(前回と同じイメージです) dc1,dc2の2つのデータセンタがあり、それぞれにconsulサーバ1台、consulクライアント1台が属する dc1とdc2間は接続されている 構築 前回の設定に加えて、aclの設定を入れてみます。 dc1 server consul a
前回は『OSS編~オーケストレーションツール Consul 06 WEB UI編~』と題して、オーケストレーションのConsulでWEB UIを試してみました。 今回は『OSS編~オーケストレーションツール Consul 07 ACLs編~』と題して、オーケストレーションのConsulでACLsを試してみたいと思います。 ACLsとは Access Control List (ACL) systemはConsulでデータ及びAPIへのアクセス制御機能です。 ConsulのACLsはトークンを利用したCapability-based system でAWSのIAMと類似しています。 試してみる 1.AClsで起動 ConsulのコンフィグでACLsの項目を指定して起動してみます。 項目は以下になります。 ・acl_datacenter ・acl_default_policy ・acl_dow
Consul, Consul TemplateとPrometheusで行う簡易メトリクス収集 Oct 5, 2015 Consulをサービスディスカバリに使い、Consul TemplateでPrometheusの設定ファイルを生成するという構成で、ノードが増加しても自動的にPrometheusの収集対象が増えるような構成を作ってみました。 Prometheus PrometheusはSoundCloudが開発を行っている監視システムです。 Graphiteと違いPrometheusはPull型のアーキテクチャをとっています。Prometheusサーバがexporterと呼ばれる所謂エージェントに値を取りに行く形です。 Push型に比べれば、Pull型は負荷が集中するので収集できるノード数は少なくなると思います。 ただ、Push型は何らかの理由でメトリクスデータをPushできなくなったとき
Consulとかいうツールが流行っているようだが結局何ができるかよくわからなかったのでここを斜め読みして軽くまとめる。 ここではあえてAtlasについては触れない。 ちなみにTerraformについては以下に書いた。 blog.pepese.com Consulの特長。 Service Discovery サービスの発見(サービス検出) サービスとは何等かのWebサービスやデータベースといった高レベルのサービスのこと Helth Checking 上記のサービス検出と併せて、そのサービスが動作していること(HTTP Status 200 OKとか)やメモリ使用率のチェックができる ヘルスチェックというか「監視」のイメージ(個人的な感想) Key/Value Store Consul Agent間でkey-valueデータを共有・保持できる Multi Datacenter 別ネットワークと
Consulとは Consul とは、米 HashiCorp 社が開発する、サービスの検出と設定を行うための仕組みです。クライアント・サーバ型の構成で動作し、キーバリューストア(KVS) に保持したデータを DNS や HTTP インターフェイスで取得できます。クライアントとサーバはそれぞれがクラスタを構成し、インターネット越しに別々のデータセンターをまたいで接続することもできます。 詳しくは公式サイトのイントロダクションやドキュメントを参照してください。 Consul サーバクラスタ Consul サーバはクラスタとして動作します。1台でも動作しますが、冗長性・耐障害性を高めるために 3台あるいは 5台での運用が推奨されています(参考: Deployment Table)。 ここでは 3台の Consul サーバによるクラスタを構築することとします。事前に 3台のマシンそれぞれに Con
consul cluster の検証用にサーバを何台も立ち上げるのは面倒ですよね? ということで、1台でなんとかできないかなと思い試してみました。 data_dir 作成 server 3 台、node 1 台を立ちあげられるように、4 つディレクトリを作成します。 $ mkdir -p /var/lib/consul/{1,2,3,4} config-file 作成 consul01 から順に起動していく設定です。 ポイントは、1 台ずつ port をずらしているところです。 $ cat > consul01.conf { "datacenter": "dc01", "data_dir": "/var/lib/consul/1", "log_level": "INFO", "node_name": "consul01", "start_join": [], "server": true,
There are two sides to monitoring – exposing problems with alerts and acting upon those alerts to find solutions to the exposed problem. For exposing problems, users can define any script for Consul to intelligently check and report the health status of all nodes in a cluster. These scripts could be as simple as returning a 200, or as complex as querying the load and query response time on a datab
この記事は HashiCorp Advent Calendar 2015 18日目の記事です。 すでに穴が4つもできてしまったので埋めたい…(ちょっと無理) はじめに 新しく出たツールを検証する場合、皆さんはどのような環境で行いますか? 手元のMacでは動かないツール、もしくはMacに検証用のファイルを置いたりパッケージをインストールしたりして汚したくない場合、検証用のVMを立ち上げてその中で行うのが一般的でしょうか。 では、Consulの場合はどうでしょうか。 Consulは複数のノードでクラスタを組んで動作します。 よって検証する場合は複数のマシンが必要であり、必要な分だけVMを立ち上げなければなりません。 VMを複数立ち上げるのは結構スペックを必要とするため、すぐに頭打ちになってしまいます。 本エントリーでは、Consulを 検証するための環境 遊ぶ環境を手軽に作る方法を紹介し、それ
追記(2014/09/23) しました。 はじめに Consul使ってますか? 最近は 0.4 がリリースされ、大幅な機能追加によってサービスディスカバリとしてでなく、オーケストレーションツールとして注目を集めて来ています。 また、プロダクションでの使用事例やSoftware Designに掲載されるなど(http://gihyo.jp/magazine/SD)、国内でも勢いをみせています。 個人的にはオーケストレーションツールとして利用したいと思っていますが、また検証段階といったところです(個人で遊んでいるレベル)。 Consul + Capistrano でオーケストレーションさせてみた - log.fstn オーケストレーションツールとしてのConsulの使い方 - Qiita そんなConsulですが、利用にあたって下記のようなファイルを各ノードに設置する必要があります。 Conf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く