オーケストレーションツールConsulの紹介(1) | Tech Blog - リクルート住まいカンパニー
はじめに Webアプリケーション屋さんの皆様こんにちは、tomitaです。 今日はオーケストレーションツールConsulを紹介します。オーケストレーションツールというと色々な側面がありますが、今回はサーバやサービスの”組織化”を支援することでインフラ業務の省力化に繋がるツールとしてconsulを紹介します。はじめに Webアプリケーション屋さんの皆様こんにちは、tomitaです。 今日はオーケストレーションツールConsulを紹介します。オーケストレーションツールというと色々な側面がありますが、今回はサーバやサービスの”組織化”を支援することでインフラ業務の省力化に繋がるツールとしてconsulを紹介します。 背景 近年の中規模以上のWebサービスはほとんどが対障害性やスケールアウトの観点から複数台のアプリケーションサーバやデータベースサーバから構成されるようになっています。(もちろん
YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店
YAPC::Asia 2015 でトークを採用していただいたので、発表してきました。 YAPC::Asiaは自分は2006年から10回皆勤で、トークは2009年LT、2010〜2013, 2015は本編で計6回もしてるんですね…YAPC::Asiaにはここまでのエンジニア人生の半分以上を支えてもらっていて、(ひとまず)最後の回でもトークできて感無量です。 1年ぶりにYAPCでしか顔を合わせない人もいた懇親会は、皆さん言うように同窓会のよう、というか本当の同窓会よりも現在の話題を共有している分濃密でしたね。 Consulと自作OSSを活用した100台規模のWebサービス運用 1日目午後一の激戦枠に放り込まれたのでどれぐらい会場が埋まるか心配でしたが、200人以上入る会場でほぼ満員だったようで、聞きに来ていただいた皆様ありがとうございます。 ここ1年程度で本番運用してきたConsulと周辺に関
consul-templateをsystemdで動かすときの学び - Tomohisa Oda
このエントリは HashiCorp Advent Calendar 2015 - Qiita 14日目の記事です。 consul-templateは、consulの様々なイベントをトリガーに指定したテンプレートファイルを元に指定したファイルを更新するためのデーモンです。ユースケースは、HAProxy や Nginx などロードバランサやリバースプロキシのバックエンドを、状態に応じて動的にクラスタ（ロードバランサやリバースプロキシ）へ追加・削除し、可用性や拡張性を高めたい場合などです。今回、同様にnginxとconsul-templateを使って動的リバースプロキシを作ってみましたが、それぞれをsystemdで管理するという点で幾つか学ぶことがありました。私が最初に書いたconsul-templateのconfは以下です。commandによって、nginxのリロードとslackに通知をするス
Consul Multiple Datacenters 検証結果 +α - tkuchikiの日記
この記事は、HashiCorp Advent Calendar 2015 17日目の記事です。 検証環境の Consul は、 $ consul --version Consul v0.6.0 Consul Protocol: 3 (Understands back to: 1) です。 検証環境は v0.6.0 ですが、v0.6.0 に依存した話しはほとんどないと思います。 筆者は、Consul を Multiple Datacenters(以降、Multi-DC) で運用しております。 Multi-DC で Consul を導入する際に検証した結果を記します。 トピックは以下のとおりです。 WAN DC をまたいで DNS を引く DC をまたいで KV のデータを取得する DC をまたいで KV にデータを入れる Consul Event は複数の DC に一斉に送れない DNS f
【参考訳】Consul 0.6 | Pocketstudio.jp log3
Consul のメジャー・アップデートがありました。Blog 記事があがっていましたので、例によって参考程度にどうぞ。 Consul 0.6 – HashiCorp https://hashicorp.com/blog/consul-0-6.html —-ここから ■ Consul 0.6 私たちは Consul 0.6 のリリースにワクワクしています。今回は多くの新機能や改良が追加されたメジャー・アップデートです。Consul とは最新のデータセンタ・ランタイムです（訳者注：HashiCorpでは、いわゆるネットワーク・システムのことをデータセンタとして表現しています。日本語の物理的なデータセンタとは概念が少し異なります）。Consul は扱いやすい Go 言語のバイナリであり、サービス・ディスカバリ、設定、オーケストレーションの各機能があります。分散と高い可用性、そして、複数のデータセ
How to Configure Consul in a Production Environment on Ubuntu 14.04 | DigitalOcean
We will be using 64-bit Ubuntu 14.04 servers for this demonstration, but any modern Linux server should work equally well. When the configuration is complete, you should have a system in place that will allow you to easily add services, checks, and nodes. Log into your machines as the root user to complete the steps in this guide. Downloading and Installing Consul If you did not already install co
Consulを利用したTLSセッションチケットの自動更新 | メルカリエンジニアリング
Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケットは簡単に言うとTLSのセッション情報を暗号化してクライアント側に保存することで HTTPS通信時に行われるTLSハンドシェイクの手順を省略してネットワークレイテンシを削減するための仕組みです。(詳細については一番下の参考情報を御覧ください) 似たような仕組みとしてTLSセッションキャッシュがありますが、こちらはセッション情報をサーバ側に保存します。 HTTPS通信ではTCPのハンドシェイクに加えてTLSのハンドシェイクが必要になるのでHTTP通信よりもネットワークのレイテンシが大きくなりますが、 これらの仕組み
Consulクラスタ全体が不安定になった事案と原因 - Qiita
環境 Consul Server(0.5.2) x 3 Consul Agent(0.5.2) x 数十台 現象 とある日、プロダクトのConsulクラスタ管理下のサーバがちょいちょいアラート出すので Consulログを確認するとノードが数分間隔で EventMemberFailed と EventMemberJoin を繰り返していた。 特に特定のノード、というわけでもなく、ランダムにノードがFailし、数十秒後にJoinし直す、というログがひっきりなしに出力されていた。 「consul flapping」でぐぐってみると、いくつか同じような現象で悩んでいる事案があるようだった。 原因となったサーバ ほぼ全てのノードがflapping状態だったので原因つかめず途方に暮れていたが、この投稿 で のfromのサーバを見るといいよ、とあったのでgrepしてみるとビンゴ。 そのサーバにログインし
初老が mruby 界に名を轟かす為に Consul HTTP API の mruby クライアントを作ってみる - ようへいの日々精進XP
tl;dr @inokara @matsumotory mruby界隈に名を轟かすチャンスです！— Uchio KONDO (@udzura) November 6, 2015 @inokara @udzura ウオオオ、楽しみです！— MATSUMOTO, Ryosuke (@matsumotory) November 6, 2015 上記のような振りを頂戴したので、mruby 界に名を轟かす為にもうすぐ初老を迎えるという勢いで Consul HTTP API の mruby クライアントを作り始めた。 github.com mgem-list への登録済み、尚、全てのエンドポイントはサポートしていない（引き続き追加していく予定）。 memo サポートしている Endpoint 現時点では以下の Endpoint をサポート。 Key/Value store Health checks
ConsulのDNSインターフェースから学ぶDNSの基本 - Tech random memoranda
ConsulはDNSインターフェースを通してノードとサービスの死活監視の状況を提供することができる e.g. ロードバランスのためラウンドロビンしているノード群を問い合わせ結果として提供するとき、問い合わせ結果からダウンしたノード・サービスを動的に外す DNSをどのようにインターフェースとして利用しているか、を見ていく過程で、DNSについて学ぶことができる www.consul.io localhostでConsulサーバが動いていて、ノードルックアップを行う場合、例えばfoo.node.consulの名前解決を行う際は$ dig @127.0.0.1 -p 8600 foo.node.consul ANYのように行う DNSサフィックスがOSの設定によって自動的に付加されることを防ぐためにFQDNはピリオドで終端するので、DNSサフィックスが不要な場合、digで問い合わせする際にピリオド
rails の pull 型デプロイへの質問 - HsbtDiary(2015-10-22)
■ rails の pull 型デプロイへの質問 昨日の発表直後は時間がなくて質問への受け答えがあまりできなかったんですが、発表後にぶらぶらしていた時にもらった質問が鋭い内容だったので紹介します。 No SSH ポリシーは反発もでたり、チームへの浸透は難しいのではないか minne チームは選任のインフラエンジニアがおらず、アプリケーションの開発チームが兼務してインフラを作っていたので、コードでインフラを作るというのはすんなりと受け入れられた(と思う) pull 型デプロイだと、更新漏れが起こったり、あるサーバーだけが調子わるくてデプロイが失敗したということが起こった時の検知が難しいと思うんですがどうやってますか その通りで問題は把握しているがまだ具体的な解決策は作れてない状態。デプロイ後にコードのリビジョンなどを kvs に突っ込んで、サーバーすべてが更新されたことを検知してアラート、と
世界展開する大規模ウェブサービスのデプロイを支える技術 / YAPC::Asia Tokyo 2015
Miiverse とは任天堂株式会社が運営しているウェブサービスであり、世界中の Wii U やニンテンドー3DS、そして PC やスマートデバイスから利用することができます。 AWS 上でマルチリージョン構成をとり大量のサーバを抱える Miiverse のデプロイを支える技術と運用上の工夫、そして株式会社はてなと任天堂株式会社が共同で開発する Git リポジトリの同期システムの構築を通して得られた経験をもとに、大規模なウェブサービスを素早くかつ安全に改善する方法を紹介します。 ※本資料は YAPC::Asia Tokyo 2015 での発表資料となります。 http://yapcasia.org/2015/talk/show/9ec2791c-05e5-11e5-81fa-79c97d574c3a
Consulと自作OSSを活用した100台規模のWebサービス運用 - YAPC::Asia Tokyo 2015
カヤックが運営しているスマートフォン向けSNS Lobi は、Amazon Web Services(AWS)上でHashicorp社が開発しているオーケストレーションツール Consul を活用し、EC2インスタンス100台規模のサーバと、AWSのマネージドサービスを利用して運用しています。 Consulの機能と、それを活用するために開発したOSSとともに実践的に運用している事例をご紹介します。 Consulとは 機能の紹介 Consulを本番環境で運用するために 構成 監視 高可用性のためのノウハウ クラスタ障害時のリカバリ手法 オートスケール環境で動的に増減するサーバを扱う DNS interface によるホスト、サービスの名前解決 コマンドのホスト名補完 自前オートスケールやjob管理へのconsul execの応用 Stretcherを利用したデプロイ 自作OSS Consul
HashiCode 01 - HashiCorp道と自動化ツール群
HashiCode#1 - HashiCorp Dojo 2015年5月27日(水) 19:00 - 21:00 東京都秋葉原 1. Tao of HashiCorp 2. HashiCorp Tools 3. Atlas 4. Discussion 5. Lightning Talks To be continued... Lire moins
第2回 Serfのイベントハンドラで自動化を使いこなす | gihyo.jp
イベントハンドラとは？ 前回の記事で見たように、Serfエージェントをサーバ上で起動することで、簡単にネットワーク上にクラスタを構成できます。クラスタを構成後、Serfはネットワーク上で相互に死活監視するだけでなく、クラスタのメンバ管理（ホスト名・IPアドレス・タグ等を共有）を行えます。この監視状況やメンバの変化という「イベント」に応じて、シェルスクリプトやコマンドを実行する機能が「イベントハンドラ」です。 イベントハンドラは単純にコマンド実行するだけでなく、環境変数を通してSerfからスクリプトに様々なデータを渡せます。この仕組みを使い、コマンド実行時に動的に変わる引数（ホスト名・IPアドレス・タグ等）の指定や、動的に変わる環境に対する設定変更を行えます。 そのため、イベントハンドラの理解・習得が、Serfを使って自動化を進めるうえで欠かせません。とは言え、さほど難しい概念ではありません
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tomhillable/consul-rpm: Spec file and sources needed to package consul
Consul と Google Compute Engine で DevOps を自動化
Consulと自作OSSを活用した100台規模のWebサービス運用
HashiCorp
Consul は 全自動オーケストレーションの 夢を見るか?
