こんにちは、インフラストラクチャ本部のあだち(@foostan)です。 このエントリは GREE Advent Calendar 2014 19日目の記事です。昨日はにしだ(@hosi_mo)さんによるネイティブゲームクライアントの幸せな設計図でした。 今年のグリーアドベントカレンダーのテーマは「GREEを支える技術」ですが、私からは「GREEを支えるかもしれない技術」としてConsulについてご紹介します。 本エントリの対象者 本エントリでは、簡単なWebシステムを例にとって、Consulやその周辺ツールの基本的な使い方やオーケストレーションする仕組みについて説明していきます。 なので Consulって何？ Consulって便利そうだけどどうやって使うの？ Consul触ってみたけど、使いどころ分からないんだけど？ オーケストレーションって？ と思われた方にとって良い情報源になることを期
YAPC::Asia 2015 http://yapcasia.org/2015/talk/edit/b335dee0-09ad-11e5-8d7a-67dc7d574c3a
刺身タンポポを殲滅する Consul Template Tech-Circle #4: Consulハンズオン勉強会 - connpass http://techcircle.connpass.com/event/12860/ Lightning Talks session #techcircleja ・刺身タンポポを駆逐する#とは？ ・Consul Templateとは？導入方法 ・Consul TemplateでMunin監視設定を自動化 日時：2015年3月25日(木) 19:30～ 会場：TIS株式会社 新宿本社14F会議室Read less
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392Read less
先日(6/22/14)、6月なのにどういう分けか早めに開催されたJuly Tech Festa 2014でConsulについて発表してきた。そのユースケースの一つとしてMySQL failoverをちょっとだけ紹介したので、ここに詳しく書いておく。 MHA MySQLレプリケーションの障害時にフェールオーバーしたい場合、MHAを使うの結構ポピュラー（日本では）だと思います。MHAは最新binlogの適用、Slaveの昇格とレプリケーションの張替えまではやってくれますが、実際のフェールオーバーの部分はユーザに委ねられていて、master_ip_failover_scriptのテンプレートをカスタマイズするか独自実装する必要があり、一般的な実現方法としてはカタログデータベースの更新かVirtual IPの切替等があります。 Virtual IPだと居残りセッションの問題や切替の保証難しかったり
#10 Consulと連携するpull型デプロイツール stretcher - KAYAC engineers' blog
tech.kayac.com Advent Calendar 2014 10日目担当の @fujiwara です。 最近書いている stretcher というデプロイツールの紹介をしたいと思います。 長いので3行で push型デプロイはホスト台数が増減しやすい環境に適さない 各種問題を解決するpull型デプロイツールを書いた Consul と連携するよ 中央ホスト配布(push)型デプロイの問題点 カヤックの自社サービスでは久しく Archer というツールを利用し、中央ホストから各デプロイ対象ホストに rsync でファイルを配布する形のデプロイを行っていました。ここではこれを push 型と呼びます。 push型のデプロイは、ホスト台数が頻繁に増減する環境で以下のような問題があります。 新しくホストが起動してきた場合に、中央ホストからデプロイを行ったあとでないと (古い状態で起動してい
Consul ( http://www.consul.io/ ) という新しいツールが4月17日(日本時間18日)に発表されました。Vagrant や Serf の作者さんが所属している Hashicorp 社としての新しいプロダクトです。 サイトによると、Consul は、’solution for service discovery and configuration’ とあり、サービス検出と設定のためのソリューションであり、具体的には、サービス（データベースやメール等々）を監視し、問題発生時にはトラフィックを迂回させるなどといった情報を、KVS を通して提供するもの、と書かれています。 また、複数のデータセンタにまたがる非常に大きなインフラ（基盤）上で、既に数ヶ月間利用されてきた実績もあるようですね。 4/19追記：背景やアーキテクチャのドキュメントは、別途本厄翻訳しました Cons
はじめに Serfに続いてHashiCorpからConsulが発表されて、2ヶ月少々経ちました。 公式では Serf: service discovery and orchestration Consul: service discovery and configuration と言っていますが(http://www.serfdom.io/intro/vs-consul.html)、Consulも使い方によってはオーケストレーションできるかなと思って、試してみました。 ちなみに Serf や Consul の最近の動向については @zembutsu さんの記事がわかりやすいです ご注文は監視自動化ですか？ SerfとConsulの記事まとめ そもそもオーケストレーションとは webサーバをproxyから追加したり抜いたり webサーバにデプロイしたり 障害が発生したサーバを撤去したり db
平和なConsul Cluster運用 / consul-casual-1 // Speakerdeck
Consul Casual Talks #1 http://connpass.com/event/35836/
- version 1.02 (July Tech Fest の資料アップデート版です) Re: ご注文は自動化ですか？[2] オーケストレーションで仕事を楽しくする話 Serf とか Consul とか聞くけど、イマイチわからん！という疑問はありませんか。 どのような働きをするのかや、使いどころを、皆さんと共有したいなと思っています。 1. オーケストレーションとは ← update! 2. 基本編 ・ Serf, Consul, envconsul 3. 実践編 ・ API 連携 4. まとめ #hbstudy 60 http://connpass.com/event/7322/ July 20, 2014, @ Shinjyuku, Tokyo, Japan
Consul by HashiCorp
Identity-based networking with ConsulConsul uses service identities and traditional networking practices to help organizations securely connect applications running in any environment. The pillars of service networkingA modern service networking solution requires that we answer four specific questions: Where are my services running? How do I secure the communication between them? How do I automate
Consul クラスタ上で動作する S3 非依存の pull 型デプロイツール "fireap" を作った - weblog of key_amb
github.com fireap = fire + reap です。 Consul Event を発火(fire)して、受信側でそれを収穫(reap)する、という意で。 読み方は「ファイリープ」で良いかと思ってます。 どんなツール？ GitHub に上げた README.md より、かいつまんで日本語に変換しつつ説明します。 ノード数 N に対して O(log N) で動作するデプロイツールです。 が、実際にはデプロイに限らず任意のコマンドを実行できるので、README の中ではデプロイツールとは書いておらず、「高速タスクランナー」としています。 fujiwara/stretcher や sorah/mamiya は O(1) なので、それらが使える環境(S3 的な I/O やトラフィックの上限が非常に高いストレージがある)でデプロイを速くしたいという場合は、それらを使えばよろしいかと。
Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケットは簡単に言うとTLSのセッション情報を暗号化してクライアント側に保存することで HTTPS通信時に行われるTLSハンドシェイクの手順を省略してネットワークレイテンシを削減するための仕組みです。(詳細については一番下の参考情報を御覧ください) 似たような仕組みとしてTLSセッションキャッシュがありますが、こちらはセッション情報をサーバ側に保存します。 HTTPS通信ではTCPのハンドシェイクに加えてTLSのハンドシェイクが必要になるのでHTTP通信よりもネットワークのレイテンシが大きくなりますが、 これらの仕組み
Consulはなめらかか？
https://ezukatechnight.doorkeeper.jp/events/44585 E-zuka tehc night #ezuka_tech_night
『ご注文は監視自動化ですか？』 Serf と Consul を使って運用を楽しくする話 Serf とか Consul とか聞くけど、イマイチわからん！という疑問はありませんか。 どのような働きをするのかや、使いどころを、皆さんと共有したいなと思っています。 1. はじめに 2. 基本編 ・ Serf ・ Consul ・ envconsul 3. 実践編 ・ API 連携 4. まとめ July Tech Festa 2014 June 22, 2014, @ AITT Shinagawa, Tokyo, Japan #techfesta #jtf2014
Handling a tremendous amount of images with Fastly / Yamagoya Traverse 2020
Consulクラスタ内でファイルを分散配布する tuggle を書いた - 酒日記 はてな支店
github.com これはなに? HTTPを使って、ファイルを Consul クラスタ内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機とユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務しているカヤックだけではなく、他社さんでも使われているようです。 先日、某社の Stretcher をお使いのかたに話を伺う機会があり、デプロイアーカイブの取得時のネットワーク負荷が問題になっているということを聞きました。 カヤックではサーバは基本 AWS にあり、S3 からデプロイアーカイブ(200〜300MB程度)を取得しています。S3はちょっと意味が分からないぐらい堅牢で、stretcherの -random-delay 5 (開始を平均2.5秒、最大5秒ずらす) を設定した状態で100台程度から一斉に
はじめに Dockerを利用するとコンテナをぽこぽこ沢山立てることが多いと思います。 コンテナが沢山できるので、それらに対していかに効率よくアクセス出来るかが肝になります。 またコンテナで提供するサービスのポートをホストに割り当てて利用する場合(-pオプションを利用する場合)、 ポコポコ出来るコンテナのポートを静的に(-p 80:8080みたいに)割り当てるのは面倒です。 なので動的に(-p 80みたいにしてホストの適当なポートに)割り当てたいところです。 ただし、動的に割り当てるとどのコンテナがどのポートでサービスを提供しているか把握するのが難しくなり、さらにマルチホストになるとどのホストで動いているかどうかを把握する必要もあり、これも難しいです。 この辺うまいこと出来ないかな、ということでServiceDiscoveryといったらConsulですよねってことで組み合わせて使ってみます。
mhaとconsulでDBサーバーの冗長化をしています | feedforce Engineers' blog
こんにちは。Lorentzcaです。3月ですがまだまだ寒いのでなかなか釣りに行けずテンションさげぽよです！ ↑↑ この度DBサーバー(物理マシン、MySQL)の引っ越しを行いました。 そのついでに、冗長化の仕組みをmhaとconsulを使った方法に変えたので紹介します。 はじめに まずは簡単に引っ越し前と引っ越し後の構成を比べてみます。 引っ越し前は以下の様な構成でした。 サーバー台数: 2台 MySQLフェイルオーバーの仕組み: 自作シェルスクリプト アプリの参照先を切り替える仕組み: keepalivedでvipを張り替えることで実現 引っ越し後は以下の様な構成になりました。 サーバー台数: 3台 MySQLフェイルオーバーの仕組み: mha アプリの参照先を切り替える仕組み: consulのdns機能を使って実現 なぜこのような構成にしたのか、話していきます。 引っ越し前に持っていた
概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordination Service の比較を行う． Chubby から現在まで Paxos が Google の手によって Chubby という形で実用化された後，故障検出+分散合意アルゴリズムを用いた高可用KVSという組み合わせによる Coordination Service のオープンソース実装がいくつが出てきた．そのはしりが ZooKeeper である．ZooKeeper は Hadoop ファミリではデファクトスタンダードの Coordination Service であり，Hadoop を初めとして HBase，M
Consul について、自分の中の理解を深めるために関連ドキュメントの参考訳を作成しました(4/19現在)。せっかく作ったのに、自分の引き出しの中にしまっておくだけでは勿体ないと思い、公開します。Consul や Serf に興味を持っている方の参考になれば幸いです。 Consul の意味は、’領事’や’執政官’です。Serf は’農奴’ ですから、まるで、農民(Serf)を支配し、使役するお代官様(Consul)のような関係がイメージされます。実際のところ、Consul は内部の Serf クラスタ上に構築されていますが、Consul の機能や役割は、Serf の持つものとは異なるように見えます（現時点の公開情報では）。詳しくは、ドキュメントをご確認ください。 実際に使いたい！という場合は、先日の投稿 Consul を使ってみた、をご覧下さい。 当ページのドキュメントについては、あくまで
誰？ Masahito Zembutsu @zembutsu (個人用) とある会社の Technology Evangelist (仕事) HashiCorp や Docker のドキュメント翻訳や技術検証 https://pocketstudio.net http://docs.docker.jp 過去の発表スライド http://www.slideshare.net/zembutsu Topics HashiCorp Consul 概要 開発背景 アーキテクチャ Consul でサービス登録 Consul Template 会社設立は 2012 年 Mitchell Hashimoto 氏と Armon Dadger データセンタ管理に革命をもたらすこと 設計思想は The tao of HashiCorp（Workflows, not Technologies やインフラのコード化
consul & consul-alerts を使った監視システム (hbstyle-2015-01-08)
consul & consul-alerts を使った監視システム (ハートビーツ 社内勉強会 hbstyle 2015-01-08)Read less
これから Consul を使う方の参考になりましたら、というか自分のための整理です。 これは何？ "Service discovery and configuration made easy. Distributed, highly available, and datacenter-aware." *訳:サービス検出と設定を簡単に。データセンタ間を意識した分散と高可用性。 Consul ( http://www.consul.io/ ) は、サービス検出や監視と設定を行うためのツール。Vagrant や Packer、Serf を製作している Hashicorp 社製のツールで、Go 言語で書かれており、オープンソース(Mozilla Public license, version 2.0)で公開されている。開発は GitHub を通してオープンに行われている。 Serf と Consu
カヤックが運営しているスマートフォン向けSNS Lobi は、Amazon Web Services(AWS)上でHashicorp社が開発しているオーケストレーションツール Consul を活用し、EC2インスタンス100台規模のサーバと、AWSのマネージドサービスを利用して運用しています。 Consulの機能と、それを活用するために開発したOSSとともに実践的に運用している事例をご紹介します。 Consulとは 機能の紹介 Consulを本番環境で運用するために 構成 監視 高可用性のためのノウハウ クラスタ障害時のリカバリ手法 オートスケール環境で動的に増減するサーバを扱う DNS interface によるホスト、サービスの名前解決 コマンドのホスト名補完 自前オートスケールやjob管理へのconsul execの応用 Stretcherを利用したデプロイ 自作OSS Consul
概要 Serf と Consul の情報を整理しました。どちらも一般的な単語なので、ネットで検索しようにも、ノイズが多く、情報が埋もれがち。そこで整理したのがこちらです。 もし抜けがあったり、追加がありましたら、コメントなりリクエストいただければと思います。 （なお、順番は時系列にしようかと思いましたが、あまり整理されていません。このあたりもどうしようかな・・・。ひとまず日本語中心です。） Serf http://www.serfdom.io/ 週末雨だったのでSerfをさわってみた - ni-blog http://orihubon.com/blog/2014/06/29/serf/ Serf を使ってみた - jedipunkz' blog http://jedipunkz.github.io/blog/2013/11/10/serf/ Serf+HAProxyで作るAutomatic
Consul KVSをバックエンドにしたリアルタイムダッシュボード #monitoringcasual - 酒日記 はてな支店
最近悩んでいることを解決する小さいアプリケーションを書いたので、monitoring casual talks #7 で発表してきました。 モニカジは毎回全員発表で濃い話がいろいろできて楽しいですね！ Consul KV Dashboard // Speaker Deck GitHub - fujiwara/consul-kv-dashboard: Consul KVS based dashboard web application. 概要はスライドにありますが、Consul KVS に保存された値をいい感じにまとめて(リアルタイム更新で)見せることのできる、Go + React.js でできた小さな Web application です。 ConsulのREST APIに値を送る(curlで十分)だけで、現在の各ホストで発生した値を画面でリアルタイムに更新しつつ閲覧できます。 Consu
インフラエンジニアがConsulとStretcherをつかったデプロイ改善で開発効率の向上に貢献した話 / jtf2017-consul-stretcher-deploy
インフラエンジニアがConsulとStretcherをつかったデプロイ改善で開発効率の向上に貢献した話 / jtf2017-consul-stretcher-deploy
【インフラ】 Envoy の導入と xDS API で Consul 連携やってみた話 - Mirrativ Tech Blog
こんにちは ハタ です 今回はインフラ/基盤開発で導入している Envoy について紹介したいなと思っています 現在ミラティブでは Go移行 を進めているところで、 既存のWebアプリケーション(Perl で実装されてます)と、新たに Go で実装された Web アプリケーションをシームレスに導入/切り替えするために Envoy の導入を行いました Envoy xDSとConsul によるインスタンス管理 NGINX や HAProxy または Apache HTTP Server など使い慣れた && ノウハウもあるミドルウェアではなくなぜ Envoy を選定したかというと、 なんといっても魅力的なのが xDS と呼ばれる Discovery Service 群があることで柔軟に既存コンポーネントと連携を取りやすいことやAPI操作によるコントロールの柔軟性が高いことが決め手となっています
Consul の情報を Chef / Ohai から使う ohai-plugin-consul を作ったのとその周辺の話 - 酒日記 はてな支店
先日とあるサービスに Consul を入れました。 内部 DNS と、たとえば nginx からアプリケーションサーバに振り分ける定義をするために service を使用しています。 そこで使うために、ohai-plugin-consul を書きました。Github にあります。 fujiwara/ohai-plugin-consul · GitHub Ohai の version 6 と 7 で plugin の interface が変わっており、ohai-plugin-consul は Ohai 7 向けなので、Chefから使う場合は Chef-11.12.0 以上、または 11.10.4.ohai7.0 が必要です。 【参考】 Ohai, new Ohai plugins! - O'Reilly Radar 使用方法 ohai コマンドから使う場合は -d で plugin (co
etcd/consulに認証情報を安全に保存する
etcd/consulに認証情報を安全に保存する 分散Key-Valueストアとしてetcdやconsulの利用が増えている．ここにアプリケーションの設定値などを保存し，各ホストからそれらを購読して利用する． また，X-as-a-Serviceといった外部サービスの利用も多くなってきた．その場合API Tokenやパスワードといった認証情報が必要になる．PaaSやTwelve-factor的なアーキテクチャを採用する場合は，それらの値を環境変数に保存して利用することが多い（危険であるという意見はある．cf. http://techlife.cookpad.com/entry/envchain）．etcdやconsulといった分散Key-Valueストアの利用を前提としたアーキテクチャでは，そこに外部に漏らしたくない設定値も一緒に保存してしまうのがシンプルになる． しかし，そういった設定値を
There are two sides to monitoring – exposing problems with alerts and acting upon those alerts to find solutions to the exposed problem. For exposing pr…
Consul in Production
プロダクト拡大フェーズでプロダクト検証サイクル効率化を目指す過程で見えたもの / Streamlining Product Validation in Growth Phase
やわらか Consul
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店
YAPC::Asia 2015 でトークを採用していただいたので、発表してきました。 YAPC::Asiaは自分は2006年から10回皆勤で、トークは2009年LT、2010〜2013, 2015は本編で計6回もしてるんですね…YAPC::Asiaにはここまでのエンジニア人生の半分以上を支えてもらっていて、(ひとまず)最後の回でもトークできて感無量です。 1年ぶりにYAPCでしか顔を合わせない人もいた懇親会は、皆さん言うように同窓会のよう、というか本当の同窓会よりも現在の話題を共有している分濃密でしたね。 Consulと自作OSSを活用した100台規模のWebサービス運用 1日目午後一の激戦枠に放り込まれたのでどれぐらい会場が埋まるか心配でしたが、200人以上入る会場でほぼ満員だったようで、聞きに来ていただいた皆様ありがとうございます。 ここ1年程度で本番運用してきたConsulと周辺に関
ちょっと来週の中央線 Meetup で発表する Consul の資料をつくっているんだけど、つくっていたらすごい興奮してきて異常に興奮してきて、 いややっぱり Consul ってスゴいんすよみたいな熱い気持ちを吐露したくなったので発表資料まだぜんぜん作ってないんですけどここに発露します。 いつもは結構確認しながらエントリかくんですけど今日は一気に短時間でガーって書いたのでまちがいとかたくさんあると思いますけどごめんね。 かつて思い描いていた分散システムの未来 共有するデータによって広がる未来 伝搬システムとしても 他のプロダクトとの組み合わせ そういうわけで かつて思い描いていた分散システムの未来 なにがすごいかって、やっぱり自律分散的なところで Gossiping と Raft を使って整合性のある情報共有ができるようになっているっていうところがすごいと思うんですよ。 むかしから情報共有
HashiCorp Consul
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オーケストレーション入門 - 多種多様化するサービスをConsulで連携させる | GREE Engineering
Consulと自作OSSを活用した100台規模のWebサービス運用
刺身タンポポを殲滅する Consul Template
Serf / Consul 入門 ～仕事を楽しくしよう～
ConsulによるMySQLフェールオーバー - @ijin
Consulを使ってみた | Pocketstudio.jp log3
Consul + Capistrano でオーケストレーションさせてみた - log.fstn
Consul は 全自動オーケストレーションの 夢を見るか?
Consulを利用したTLSセッションチケットの自動更新 | メルカリエンジニアリング
Serf2Excel - Serf を実運用に活かす話 + Consul もあるよ
Load balancer management with Consul
DockerコンテナをConsulで管理する方法 - Qiita
Coordination Service(ZooKeeper，etcd ，consul) の比較
Consul関連文書の参考訳、Serfとの違い等 | Pocketstudio.jp log3
Consul by HashiCorp ～サービス・ディスカバリ入門～ - Qiita
Consul Cheat Sheet 日本語版 - Qiita
Consulと自作OSSを活用した100台規模のWebサービス運用 - YAPC::Asia Tokyo 2015
SerfとConsulの記事まとめ - Qiita
Consul as a Monitoring Service
なぜぼくがConsulに心奪われるのか - 理系学生日記