Serfの障害検知とメンバシップ管理について : DSAS開発者の部屋
はじめに KLabさんの協力会社として一緒にお仕事をさせて頂いておりますクラスターコンピューティングと申します。今回Serfという面白そうなツールがあるので試してみました。 システムの高可用性化を目的にクラスタを構成することはよく行われていると思います。可用性を維持するために大切なことはクラスタに属するサーバの状態を常に把握しておくことです。そしてサーバの状態に変化が生じた場合ーたとえばサーバが不意に停止した場合ーそれに応じて適切な動作ができるようにする必要があります。システムのサービスはこの土台となるサーバ管理の仕組みの上に構築されます。 Serfはこのクラスタの土台となるサーバの管理の部分をサポートしてくれるツールです。Serfはゴシッププロトコルを利用したP2P型のクラスタを構成します。これによりシンプルな作りでかつ信頼性やスケーラビリティに優れ、そしてネットワーク的な効率も良い管理
HashiCorp tools を支える技術 - Qiita
HashiCorp といえば、Vagrant から始まり、 Packer, Serf, Consul, Terraform, Vault, Nomad, Otto など、 運用面で有用なツールを数多く公開していることで有名です。 これらのそれぞれのツールは、 サービスを運用する立場の目線からの知見が大量に入っているのに加え、 堅牢性や様々な機能、現実的な処理速度を実現するために、 数多くの学術的な知見が組み込まれています。 本稿では、各ツールに使用されている技術の非常に簡単な概要と、 それぞれの論文へのリファレンスを示します。 Serf Serf では、SWIM という Gossip(epidemic) protocol の一種が、 クラスタのメンバ管理や、 クラスタメンバの故障検出に使用されています。 (SWIM: Scalable Weakly-consistent Infection
自動化・省力化のためのSerf入門
Serfが必要とされる理由 複数のサーバ環境上で、一斉にセットアップ用やデプロイ用のコマンドを実行したり、バージョン番号の確認を行ったりするためには、どのような方法が最適でしょうか。管理対象が数台程度であれば、毎回手打ちでSSHログインを実行し、コマンドを実行する方法もありでしょう。 しかし、その作業が同じ手順の繰り返しである場合や、システムにおける作業対象が十数台～数百台まで増えたとしたらどうでしょう？ 人の手で行うとなると、作業にかかる時間が増える上に、作業ミス発生のリスクも高まります。ミスを防ぐためには、チェックの仕組みも必要となります。たとえそれが単純な作業だったとしても、システム全体としては非常に面倒なものになりがちです。 このような問題を解決するためのツールとして、parallel-sshが挙げられます。parallel-sshは名称の通り、ある環境上から対象となるサーバ群に対
コード化でDevOpsを支えるHashiCorpのツールと開発背景
HashiCorpとは？ 「HashiCorp」という名前を知らなくても、Vagrantというツールの名前なら聞いたことがある、もしくはすでにお使いの方もいらっしゃるのではないでしょうか。Vagrantは仮想化された開発環境を簡単に立ちあげられるため、開発者サイドにとってはおなじみのツールです。このVagrantを開発したMitchell Hashimoto氏が創業した会社の名前がHashiCorpです。 HashiCorpが提供するツールは、開発者向けのものだけでなく、運用担当者向けのものもあります。連載初回の今回は、HashiCorpとは何であり、どのようなツールを、どのような考えで提供しているのかを紹介します。 HashiCorpの沿革 きっかけはVagrantの開発がスタート地点でした。Mitchell Hashimoto氏が2010年にVagrantバージョン0.1をリリースした
Serf / Consul 入門 ～仕事を楽しくしよう～
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392Read less
serfのイベントハンドラを書く時にハマったこと
serf-munin.pl1を書いた時にハマったこと。 複数タグを登録すると、カンマ区切りのkey=valueになる serfの基本的な動作を試してみた時に知ったことです。 これはドキュメントにもそれとなく書いてあるので、ハマるという程のことは無かったのですが、なんとも言えない挙動があるのでメモしておきます。 例えば以下のように、role=appとdatacenter=tokyoという2つのタグを設定します。
serfの基本的な動作を試してみた
serf1を知るためにアレコレと試した作業記録のようなもの。 @glidenote先生によるserf-muninの設定やブログ2を眺めたり（同じ部署で大変お世話になっている）、公式ドキュメントを眺めたりしながら、Vagrant上でserf clusteringを試した。 何番煎じかも分からないほど後発だが、あくまで備忘録である。 試験環境 CentOS 6.5 x86_6434 Serf 0.6.3 以下の簡易な図のように、one.devとtwo.devという2個のVMを用意し、serf clusterとする。 +---------+ serf cluster +---------+ | one.dev | ---------------- | two.dev | +---------+ +---------+ Vagrantfile 導入環境を満たすVagrantfileを用意する。 V
Google Apps Scriptで行データを連想配列として扱う | Nikushi's blog
This domain may be for sale!
【Serf】v0.6.0がリリースされたので使ってみた | Pocketstudio.jp log3
HashiCorp 社によるオーケストレーションツール、Serf の最新バージョン v.0.6.0 が 5/9 (現地5/8)に公開されました。 新機能としては、鍵ローテーション対応や、タグ指定のために外部 JSON ファイルが利用可能になったこと、’serf info’ で統計情報が出力されること、ノード追加時のオプションで’–retry-join’がサポートされたことがあげられます。改良点としては、’serf query’ の出力結果で JSON が選べるようになったほか、syslog へのログ出力が可能になったことです。 Serf 芸人（見習い）としては、とりあえず使ってみなくては！、という事で、以下検証になります。 ■ README に目を通してみると 今回の更新情報を見るためには、README を読むのが手っ取り早いですね。 新機能を見ていくと、 鍵のローテーションを行えるよう、
Serf という Orchestration ツール #immutableinfra
Serfが面白いと俺の中で話題にwwwwww 【改訂版】 『ニンゲンヤメマスカ→運用自動化への希望、オーケストレーション』 Masahito Zembutsu Mar 1, 2013 オープンクラウドにゃんぱすー Open Source Conference 2014 Tokyo/Spring #osc14tk 3/4追記：blogに追記しました。 LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/03/04/orchestration_with_serf_to_manage_lvs/
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Serfが面白いと俺の中で話題にwwwwww 【改訂版】 『ニンゲンヤメマスカ→運用自動化への希望、オーケストレーション』 Masahito Zembutsu Mar 1, 2013 オープンクラウドにゃんぱすー Open Source Conference 2014 Tokyo/Spring #osc14tk 3/4追記：blogに追記しました。 LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/03/04/orchestration_with_serf_to_manage_lvs/Read less
How To Set Up a Serf Cluster on Several Ubuntu VPS | DigitalOcean
Introduction Serf is a decentralized service orchestration and service discovery tool. It is extremely fault tolerant and decentralized, with no single point of failure like other similar tools. Serf can be used to trigger any event across a cluster of systems as well as perform monitoring duties. It’s built on top of the Gossip protocol which is designed for decentralized communication. In order
CloudFormationとSerfで作る全自動インフラ
Developers.IO MeetUp 01 Massive Messaging Platform Deployment in a Week.satoshi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドはなぜ開発しやすいのか // Speaker Deck
ご注文は監視自動化ですか？
Mitchell Hashimoto, HashiCorp
fluentd-server から serf 使って td-agent を再起動できるようにした : sonots:blog
Future of Server Provisioning at Developers Summit 2014
FutureOps
正月休みだし Serf 触ってみた : sonots:blog
