オーケストレーションツールConsulの紹介(1) | Tech Blog - リクルート住まいカンパニー
はじめに Webアプリケーション屋さんの皆様こんにちは、tomitaです。 今日はオーケストレーションツールConsulを紹介します。オーケストレーションツールというと色々な側面がありますが、今回はサーバやサービスの”組織化”を支援することでインフラ業務の省力化に繋がるツールとしてconsulを紹介します。はじめに Webアプリケーション屋さんの皆様こんにちは、tomitaです。 今日はオーケストレーションツールConsulを紹介します。オーケストレーションツールというと色々な側面がありますが、今回はサーバやサービスの”組織化”を支援することでインフラ業務の省力化に繋がるツールとしてconsulを紹介します。 背景 近年の中規模以上のWebサービスはほとんどが対障害性やスケールアウトの観点から複数台のアプリケーションサーバやデータベースサーバから構成されるようになっています。(もちろん
ConsulのDNSインターフェースから学ぶDNSの基本 - Tech random memoranda
ConsulはDNSインターフェースを通してノードとサービスの死活監視の状況を提供することができる e.g. ロードバランスのためラウンドロビンしているノード群を問い合わせ結果として提供するとき、問い合わせ結果からダウンしたノード・サービスを動的に外す DNSをどのようにインターフェースとして利用しているか、を見ていく過程で、DNSについて学ぶことができる www.consul.io localhostでConsulサーバが動いていて、ノードルックアップを行う場合、例えばfoo.node.consulの名前解決を行う際は$ dig @127.0.0.1 -p 8600 foo.node.consul ANYのように行う DNSサフィックスがOSの設定によって自動的に付加されることを防ぐためにFQDNはピリオドで終端するので、DNSサフィックスが不要な場合、digで問い合わせする際にピリオド
rails の pull 型デプロイへの質問 - HsbtDiary(2015-10-22)
■ rails の pull 型デプロイへの質問 昨日の発表直後は時間がなくて質問への受け答えがあまりできなかったんですが、発表後にぶらぶらしていた時にもらった質問が鋭い内容だったので紹介します。 No SSH ポリシーは反発もでたり、チームへの浸透は難しいのではないか minne チームは選任のインフラエンジニアがおらず、アプリケーションの開発チームが兼務してインフラを作っていたので、コードでインフラを作るというのはすんなりと受け入れられた(と思う) pull 型デプロイだと、更新漏れが起こったり、あるサーバーだけが調子わるくてデプロイが失敗したということが起こった時の検知が難しいと思うんですがどうやってますか その通りで問題は把握しているがまだ具体的な解決策は作れてない状態。デプロイ後にコードのリビジョンなどを kvs に突っ込んで、サーバーすべてが更新されたことを検知してアラート、と
世界展開する大規模ウェブサービスのデプロイを支える技術 / YAPC::Asia Tokyo 2015
Miiverse とは任天堂株式会社が運営しているウェブサービスであり、世界中の Wii U やニンテンドー3DS、そして PC やスマートデバイスから利用することができます。 AWS 上でマルチリージョン構成をとり大量のサーバを抱える Miiverse のデプロイを支える技術と運用上の工夫、そして株式会社はてなと任天堂株式会社が共同で開発する Git リポジトリの同期システムの構築を通して得られた経験をもとに、大規模なウェブサービスを素早くかつ安全に改善する方法を紹介します。 ※本資料は YAPC::Asia Tokyo 2015 での発表資料となります。 http://yapcasia.org/2015/talk/show/9ec2791c-05e5-11e5-81fa-79c97d574c3a
HashiCode 01 - HashiCorp道と自動化ツール群
HashiCode#1 - HashiCorp Dojo 2015年5月27日(水) 19:00 - 21:00 東京都秋葉原 1. Tao of HashiCorp 2. HashiCorp Tools 3. Atlas 4. Discussion 5. Lightning Talks To be continued... Lire moins
Consul は 全自動オーケストレーションの 夢を見るか?
- version 1.02 (July Tech Fest の資料アップデート版です) Re: ご注文は自動化ですか？[2] オーケストレーションで仕事を楽しくする話 Serf とか Consul とか聞くけど、イマイチわからん！という疑問はありませんか。 どのような働きをするのかや、使いどころを、皆さんと共有したいなと思っています。 1. オーケストレーションとは ← update! 2. 基本編 ・ Serf, Consul, envconsul 3. 実践編 ・ API 連携 4. まとめ #hbstudy 60 http://connpass.com/event/7322/ July 20, 2014, @ Shinjyuku, Tokyo, Japan
第2回 Serfのイベントハンドラで自動化を使いこなす | gihyo.jp
イベントハンドラとは？ 前回の記事で見たように、Serfエージェントをサーバ上で起動することで、簡単にネットワーク上にクラスタを構成できます。クラスタを構成後、Serfはネットワーク上で相互に死活監視するだけでなく、クラスタのメンバ管理（ホスト名・IPアドレス・タグ等を共有）を行えます。この監視状況やメンバの変化という「イベント」に応じて、シェルスクリプトやコマンドを実行する機能が「イベントハンドラ」です。 イベントハンドラは単純にコマンド実行するだけでなく、環境変数を通してSerfからスクリプトに様々なデータを渡せます。この仕組みを使い、コマンド実行時に動的に変わる引数（ホスト名・IPアドレス・タグ等）の指定や、動的に変わる環境に対する設定変更を行えます。 そのため、イベントハンドラの理解・習得が、Serfを使って自動化を進めるうえで欠かせません。とは言え、さほど難しい概念ではありません
consul-templateのイベント発火トリガーについて調査した - Qiita
ざっくり説明するとconsul-templateとは consulの様々なイベントを検知して 「テンプレート更新」 ＞ 「任意のコマンド実行」 してくれるツールです。 今回実現したかったのは consul-kvsの変更をトリガーにしてほげほげする ことです。 最初はconsul-templateがどういう条件でイベント発火するのかよくわからなかったのですが、 ドキュメントをよく見たらその辺りの仕様が記載されていたのでメモしておきます。 どういう条件でwatchしているのか？ 何の事はない話で、基本的には 読み込むテンプレート内で利用している値が変更されたかどうか を見ているようです。 素晴らしいですね。（※一部例外あり） 例: kvsのキーの値を監視する場合 以下のようなテンプレートで key を参照するだけでよいです。
Home - Plugin Development | Terraform | HashiCorp Developer
Plugin DevelopmentDesign, develop, and test plugins that connect Terraform to external services. Terraform is logically split into two main parts: Terraform Core: This is the Terraform binary that communicates with plugins to manage infrastructure resources. It provides a common interface that allows you to leverage many different cloud providers, databases, services, and in-house solutions.Terraf
マルチホストdocker環境でのBlueGreenなデプロイメント
Overview dockerをそれなりに扱おうと思うと直面するのがマルチホスト環境でのdockerの構成。 大抵シングルホストのプリミティブな環境では問題無かったL3/L4の扱い、IPアドレス、ポート等のメタデータのリソース管理が問題になってくる。 前者に関しては、ルーティングコンテナ経由でのパケット交換、cgroup/namespaced、Open vSwtichなどでSDNを実装、 L3/L4を抽象化し仮想的に１つのネットワークとして扱えるようにすることで解決をしようという動きがある。 代表的なソリューションとしてはsocketplane, weave, pipework, flannel, Open vSwitch等のソリューションがある。 後者に関して分散Key Valueストアにコンテナのメタデータを登録し必要に応じてクラスタの構成情報を読み出す ことで解決しようとする動きがあ
SerfとConsulの記事まとめ - Qiita
概要 Serf と Consul の情報を整理しました。どちらも一般的な単語なので、ネットで検索しようにも、ノイズが多く、情報が埋もれがち。そこで整理したのがこちらです。 もし抜けがあったり、追加がありましたら、コメントなりリクエストいただければと思います。 （なお、順番は時系列にしようかと思いましたが、あまり整理されていません。このあたりもどうしようかな・・・。ひとまず日本語中心です。） Serf http://www.serfdom.io/ 週末雨だったのでSerfをさわってみた - ni-blog http://orihubon.com/blog/2014/06/29/serf/ Serf を使ってみた - jedipunkz' blog http://jedipunkz.github.io/blog/2013/11/10/serf/ Serf+HAProxyで作るAutomatic
Consul Cheat Sheet 日本語版 - Qiita
これから Consul を使う方の参考になりましたら、というか自分のための整理です。 これは何？ "Service discovery and configuration made easy. Distributed, highly available, and datacenter-aware." *訳:サービス検出と設定を簡単に。データセンタ間を意識した分散と高可用性。 Consul ( http://www.consul.io/ ) は、サービス検出や監視と設定を行うためのツール。Vagrant や Packer、Serf を製作している Hashicorp 社製のツールで、Go 言語で書かれており、オープンソース(Mozilla Public license, version 2.0)で公開されている。開発は GitHub を通してオープンに行われている。 Serf と Consu
Consulを使ってDockerの名前解決を簡単に実現する - Qiita
Dockerでサービス群をまとめて立ち上げる時はIPは毎回変わっちゃうので、名前解決が重要になるわけですが、これが結構面倒。 元々、figを使ってたので、linksに書いてればその名前でhost名を書き換えてくれてたので重宝してたんですが、これ起動順も制御してるっぽいので、双方向通信にすると循環参照でエラーに成って起動しません＞＜ なので、手軽にやる方法を色々調べてみたのですが、Consulを使うのが簡単そうなので、そちらを試してみました。 追記： CentOS7で動かす環境も作ってみたので、読むのメンドいから、取りあえず動かしたいって人はこっちをどうぞ。 Consulって何？ まず、そもそもConsulって何？ ってとこなのですが、 Service Discovery Health Check Key/Value Store を提供してくれるオーケストラレーションの一種です。私もまだしっ
Consulの名前解決にDNS Forwardingを使う方法 - Qiita
BIND の DNS Forward で名前解決 概要 BIND の設定を変更し、特定ゾーン (.consul) に対しての問い合わせを Consul に対しておこなえるように変更します。通常の名前解決と Consul の名前解決を同時に行う事ができるため、アプリケーションやインフラ環境に加える必要はありません。また、dnsmasq を併用する手法が使えない環境でも、容易に名前解決が可能です。 Consul の名前解決と課題 Consul には名前解決をおこなうために、DNS インターフェースを備えています。しかし、通常の Consul が提供するインターフェースは、Port 8600 です。そのため、dig やアプリケーション側ではポート番号を明示する必要があります。 $ dig @sakura1.pocketstudio.net -p 8600 web.service.sakura.c
【Consul】dnsmasqで名前解決を行う方法を試してみた | Pocketstudio.jp log3
Twitter を眺めていると、Consul の名前解決に Dnsmasq を使う方法が紹介され、興味を。 Consul, DNS and Dnsmasq – Morethanseven http://www.morethanseven.net/2014/04/25/consul/ 対象記事は、Ubuntu 向けでしたので、ここは自分で、RHEL/CentOS6 の環境でも同様に動作するかどうか、確認してみました。 ■ 作業の目的 Consul には DNS インターフェースが標準で提供されています。そのため、dig で Consul サーバのポート 8600 に対して名前解決を問い合わせると、指定したノード名やサービス名に該当する IP アドレスを返すことができます。 例えば、Consul サーバの IP アドレス’192.168.39.5′ に対し、’web’ という名前のサービスを問
俺の consul チートシート（2） | iret.media
やっほい。 インストールと起動 mkdir /opt/consul-ui cd /opt/consul-ui wget https://dl.bintray.com/mitchellh/consul/0.4.1_web_ui.zip unzip 0.4.1_web_ui.zip 展開すると以下のような構成になっています。 # tree ./consul-ui/ ./consul-ui/ ├── 0.4.1_web_ui.zip └── dist ├── index.html └── static ├── application.min.js ├── base.css ├── bootstrap.min.css ├── consul-logo.png ├── favicon.png └── loading-cylon-purple.svg 2 directories, 8 files 起動は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Consul と Google Compute Engine で DevOps を自動化
Consulと自作OSSを活用した100台規模のWebサービス運用
HashiCorp
GitHub - hashicorp/consul-template: Template rendering, notifier, and supervisor for @HashiCorp Consul and Vault data.
