Consul の Leader Election 研究 - ようへいの日々精進XP
ども、かっぱです。 お詫び 上記の記事中で... consul はマルチキャストでノードを探索して勝手にクラスタを組んでくれる と書いておりますが、これは Serf のマルチキャスト通信を利用したノードの自動探索機能と混同した為の誤りとなります。正しくは... consul はクラスタを構成する際にはジョイン先の IP やホスト名を知っておく必要がある -join オプションを利用してクラスタにジョインする となります。この場を借りてお詫び申し上げます。 さて、今回は... 最大の鬼門、最も知りたいのだけどドキュメントを読めどなかなか理解できない Consul クラスタの Leader ノード選出に迫ってみたい。 ※尚、内容に関しては不正確な部分も多々あるかもしれませんのでご注意下さい。誤りに気づけば随時修正していきます...。 参考 LEADER ELECTION CONSENSUS P
Amazon S3 で Terraform の状態管理ファイル terraform.tfstate を管理 / 共有する - Qiita
2017-06-17: この記事はもう古いです。Terraform v0.8.x 以下を対象としています。 2017/03 にリリースされた Terraform v0.9.0 で remote config 周りの仕様が大きく変わりました。 S3 に置くファイル形式は変わってないですが、特に CLI 周りで後方互換性のない変更が入っています。例えば terraform remote コマンドが無くなっています。 詳しくは以下の公式ドキュメントを読んで下さい。 Backends - Terraform by HashiCorp Backends: Migrating From 0.8.x and Earlier - Terraform by HashiCorp というわけで、以下の記事は Terraform v0.8.x 以下を対象としたものになります。 2015-05-08 にリリースされ
Consul を使ってみた - ngyukiの日記
先日、社内勉強会以外の伺か（仮）で、Consul について話したときの資料がでてきたので置いておきます。 213 番煎じぐらいで真新しいものではありません。 Consul is なに？ Packer や Vagrant の HashiCorp 社が作っているオーケストレーションツール。 Docker コンテナ Consul を試す環境として Docker で以下の環境を作ります。 server 10.88.0.10 8080 => 8080 node1 10.88.0.11 node2 10.88.0.12 次の Dockerfile を使います。 最近の CentOS 7 のコンテナは systemd のサービスが普通に動くので、軽量な仮想環境として使うのに便利です。 FROM centos:7 RUN yum install -y epel-release &&\ yum instal
mhaとconsulでDBサーバーの冗長化をしています | feedforce Engineers' blog
こんにちは。Lorentzcaです。3月ですがまだまだ寒いのでなかなか釣りに行けずテンションさげぽよです！ ↑↑ この度DBサーバー(物理マシン、MySQL)の引っ越しを行いました。 そのついでに、冗長化の仕組みをmhaとconsulを使った方法に変えたので紹介します。 はじめに まずは簡単に引っ越し前と引っ越し後の構成を比べてみます。 引っ越し前は以下の様な構成でした。 サーバー台数: 2台 MySQLフェイルオーバーの仕組み: 自作シェルスクリプト アプリの参照先を切り替える仕組み: keepalivedでvipを張り替えることで実現 引っ越し後は以下の様な構成になりました。 サーバー台数: 3台 MySQLフェイルオーバーの仕組み: mha アプリの参照先を切り替える仕組み: consulのdns機能を使って実現 なぜこのような構成にしたのか、話していきます。 引っ越し前に持っていた
Deploying Consul in AWS
Deployment Before we start talking about how we deploy Consul into AWS, it probably makes sense to start by giving a brief overview of what Consul actually is. For those of you who do not know what Consul is at all, it is a distributed service discovery and configuration application. Think Apache Zookeeper or etcd, but written by those clever chaps at HashiCorp. For this post, I really want to foc
Terraform moduleあるある - tkak's tech blog
このエントリは HashiCorp Advent Calendar 2015 - Qiita 10日目の記事です。今回はTerraformのmodule機能に関する知見をご紹介します。 moduleとは？ module "consul" { source = "github.com/hashicorp/consul/terraform/aws" servers = 3 } moduleは、Terraform resourceを抽象化するためのものです。よく使うパラメータをmodule内に隠蔽して入力項目を減らしたり、複数のresourceをまとめたり、tfファイルの見通しを良くするために使います。 生のresourceを使ってTerraformの設定ファイルを書くのには、ある程度インフラの知識が必要です。module機能を使って、可能な限り入力項目を簡潔にすれば、インフラの知識がない人でも
俺の consul チートシート（3） | iret.media
ども、あらためて Consul を勉強している cloudpack の かっぱ (@inokara) です。 はじめに consul exec や consul watch あたりを色々と試してみる。 参考 consul command オーケストレーションツールとしてのConsulの使い方 【Consul】 0.4の新機能（参考訳） consul exec ざっくりホワっと クラスタ内のノードにて一斉にコマンドを実行させることが出来るという脳筋な自分にはとても嬉しいコマンド。 トライ 例えば consul クラスタ内のノードでリーダーノードの確認をしてみる。 $ consul exec curl -s -X GET http://localhost:8500/v1/status/leader ip-xxx-xx-xx-36: "xxx.xx.xx.36:8300" ==> ip-xxx-
consulとconsul-templateでAPサーバの自動切り替え - Qiita
概要 Consulとは: サービス検出、障害検知とか。 Consul-templateとは: 障害を検知した時、用意されたテンプレートに ようするに、障害対応など色々と自動化してくれます。それを両方触ってみたという内容です。 やったこと APサーバがconsulクラスタに追加されたら、nginxのconfファイルに動的追加してreload APサーバがconsulクラスタからleave、もしくはサービスダウンしてたら、nginxのconfファイルから削除してreload APサーバが全部shutdownされたら、nginxのconfファイルにsorryサーバだけに記述してreload 構成 ※ 各サーバの構築手順はこちら：consulとconsul-templateでAPサーバの自動切り替え ~環境構築編~ 役割 IP 補足
AWS CodeDeploy Deployments with HashiCorp Consul | Amazon Web Services
AWS Partner Network (APN) Blog AWS CodeDeploy Deployments with HashiCorp Consul The following is a guest post from Cameron Stokes, Solutions Engineer at AWS DevOps Competency Partner HashiCorp. AWS CodeDeploy automates code deployments to Amazon Elastic Compute Cloud (Amazon EC2) and on-premises instances, allowing developers to customize deployment steps as needed per their application requiremen
サービス・ディスカバリのためのConsul入門
Serfの足りない機能を補うConsul 前回の記事の復習になりますが、Serf（https://serfdom.io）の主要な役割は、オーケストレーション（自動的に複数のサーバなどのインフラ上で処理すること）と、クラスタ上のメンバ管理です。 Serfを単純なツールとして見た場合は、オーケストレーションを簡単に行える便利なツールと言えるでしょう。しかし、実際の運用シーンを考えますと、次のような弱点が浮かび上がります。 メンバ管理はSerfエージェント間の通信正常性が基準であり、アプリケーションやミドルウェアの状況に応じた自動処理が行えない（サーバは稼働しているが、ウェブサーバやデータベースが停止するような状況） 何らかの状態を保持する仕組みがないので、冗長化の仕組みは自分で考慮する必要がある Serfクラスタとの通信には独自のCLIかAPIを使う必要があり、他のツールとの親和性が低い これ
第6回 Consulのクラスタ構成とサービス検出 | gihyo.jp
サービス検出を使った自動化を行うために、Consulを使って具体的にクライアント・サーバ構成を構築しましょう。複数のサーバ上でサービスを定義し、NginxのDNSラウンドロビンを行う方法を見ていきます。 サービスの可用性を高めるConsul 複数台のサーバ構成によって、Webサーバであれば通信量やアクセスの負荷分散を図ることができます。あるいは、データベースやキャッシュ用のサーバを冗長化構成にすることで、障害発生時におけるサービスの継続性（稼動時間）を高めることもできます。 クラウド技術の普及により、インフラであるサーバ環境は簡単に増減できるようになりました。その一方で、負荷分散や冗長化は、手動で行う設定に頼りがち。動的に変わるサーバ環境に応じて設定を変更するためには、何らかの手間なり工夫が求められています。 このような課題を簡単に解決すべく登場したのがConsulです。Consulが持つ
Consulと自作OSSを活用した100台規模のWebサービス運用 - YAPC::Asia Tokyo 2015
カヤックが運営しているスマートフォン向けSNS Lobi は、Amazon Web Services(AWS)上でHashicorp社が開発しているオーケストレーションツール Consul を活用し、EC2インスタンス100台規模のサーバと、AWSのマネージドサービスを利用して運用しています。 Consulの機能と、それを活用するために開発したOSSとともに実践的に運用している事例をご紹介します。 Consulとは 機能の紹介 Consulを本番環境で運用するために 構成 監視 高可用性のためのノウハウ クラスタ障害時のリカバリ手法 オートスケール環境で動的に増減するサーバを扱う DNS interface によるホスト、サービスの名前解決 コマンドのホスト名補完 自前オートスケールやjob管理へのconsul execの応用 Stretcherを利用したデプロイ 自作OSS Consul
consul を EC2 で使う時のちょっとしたアイデア（EC2 Tag 使って Join 先を動的に管理する） | iret.media
ども、cloudpack の かっぱ (@inokara) です。ご無沙汰してます。 追記（お詫び） consul と serf を混同していた為、「consul はマルチキャストでノードを探索して勝手にクラスタを組んでくれる」というのは誤りを記載しておりました consul は serf とは異なりマルチキャストによるメンバージョインは出来ないようです 実際には -join オプションが必要になります 尚、consul 0.5 からは atlas-join オプションが加わり Atlas を利用したクラスタ構成が可能です はじめに AWS 環境で Consul を起動する際に -join オプションを使ってジョイン先を指定していたけど、そもそもジョイン先を確認しなければいけないのはカッタルイなあと思ったので、ジョイン先を AWS のタグで管理して consul 起動の際にタグからジョイン
オーケストレーション入門 - 多種多様化するサービスをConsulで連携させる | GREE Engineering
こんにちは、インフラストラクチャ本部のあだち(@foostan)です。 このエントリは GREE Advent Calendar 2014 19日目の記事です。昨日はにしだ(@hosi_mo)さんによるネイティブゲームクライアントの幸せな設計図でした。 今年のグリーアドベントカレンダーのテーマは「GREEを支える技術」ですが、私からは「GREEを支えるかもしれない技術」としてConsulについてご紹介します。 本エントリの対象者 本エントリでは、簡単なWebシステムを例にとって、Consulやその周辺ツールの基本的な使い方やオーケストレーションする仕組みについて説明していきます。 なので Consulって何？ Consulって便利そうだけどどうやって使うの？ Consul触ってみたけど、使いどころ分からないんだけど？ オーケストレーションって？ と思われた方にとって良い情報源になることを期
Blue Green Deployment
Blue Green Deployment Tweet はじめに デジカでは、2015年4月から Blue Green Deployment を実践しています。それについて、良かった点と課題を含めて紹介したいと思います。 Blue Green Deployment とは Blue Green Deployment という言葉は、マーチン・ファウラー氏の同名の記事 (日本語訳) から広まったものだと思います。簡単に言うと、本番用のサーバを２セット用意して、別のサーバで新しいバージョンを動かしてから切り替える形でリリースする手法です。 以下のような利点があります。 graceful restart などの複雑な機能を使わずに、ダウンタイム無しで瞬時に切り替えができる ユーザに公開する前に、本番環境そのもので最終的な動作確認テストができる 万が一、新バージョンに問題があった時、すぐに前のバージョ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
やわらか Consul
SSSSLIDE