Serfの障害検知とメンバシップ管理について : DSAS開発者の部屋
はじめに KLabさんの協力会社として一緒にお仕事をさせて頂いておりますクラスターコンピューティングと申します。今回Serfという面白そうなツールがあるので試してみました。 システムの高可用性化を目的にクラスタを構成することはよく行われていると思います。可用性を維持するために大切なことはクラスタに属するサーバの状態を常に把握しておくことです。そしてサーバの状態に変化が生じた場合ーたとえばサーバが不意に停止した場合ーそれに応じて適切な動作ができるようにする必要があります。システムのサービスはこの土台となるサーバ管理の仕組みの上に構築されます。 Serfはこのクラスタの土台となるサーバの管理の部分をサポートしてくれるツールです。Serfはゴシッププロトコルを利用したP2P型のクラスタを構成します。これによりシンプルな作りでかつ信頼性やスケーラビリティに優れ、そしてネットワーク的な効率も良い管理
HashiCorp tools を支える技術 - Qiita
HashiCorp といえば、Vagrant から始まり、 Packer, Serf, Consul, Terraform, Vault, Nomad, Otto など、 運用面で有用なツールを数多く公開していることで有名です。 これらのそれぞれのツールは、 サービスを運用する立場の目線からの知見が大量に入っているのに加え、 堅牢性や様々な機能、現実的な処理速度を実現するために、 数多くの学術的な知見が組み込まれています。 本稿では、各ツールに使用されている技術の非常に簡単な概要と、 それぞれの論文へのリファレンスを示します。 Serf Serf では、SWIM という Gossip(epidemic) protocol の一種が、 クラスタのメンバ管理や、 クラスタメンバの故障検出に使用されています。 (SWIM: Scalable Weakly-consistent Infection
Rundeckで始めるstretcherによるPull型デプロイ - kikumotoのメモ帳
オートスケールとかもろもろの理由からPull型デプロイに変えていきたいと思い、そうすると github.com を使いたいなぁとか思うわけです。 でも、Consul やら Serf まで今必要ないよなぁ、ということで Rundeck と組み合わせてみるといい感じになるのではと思いやってみました。 stretcher 作者である id:sfujiwara さんのエントリー YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店 にもある通り、stretcher は Consul / Serf なしに使えます。 Rundeck はインストール済みとします。Rundeck については下記リンクあたりをご参照いただくのがよいかと。 痒いところに手が届くバッチコントローラ「Rundeck」をご紹介！ | 株式会社ロックオン社員ブログ ジ
自動化・省力化のためのSerf入門
Serfが必要とされる理由 複数のサーバ環境上で、一斉にセットアップ用やデプロイ用のコマンドを実行したり、バージョン番号の確認を行ったりするためには、どのような方法が最適でしょうか。管理対象が数台程度であれば、毎回手打ちでSSHログインを実行し、コマンドを実行する方法もありでしょう。 しかし、その作業が同じ手順の繰り返しである場合や、システムにおける作業対象が十数台～数百台まで増えたとしたらどうでしょう？ 人の手で行うとなると、作業にかかる時間が増える上に、作業ミス発生のリスクも高まります。ミスを防ぐためには、チェックの仕組みも必要となります。たとえそれが単純な作業だったとしても、システム全体としては非常に面倒なものになりがちです。 このような問題を解決するためのツールとして、parallel-sshが挙げられます。parallel-sshは名称の通り、ある環境上から対象となるサーバ群に対
第3回 Dockerコンテナ群をSerfで管理する方法・詳細オプション | gihyo.jp
これまではSerfの基本的な使い方や、Serfで構成されたイベントハンドラの動きを見てきました。今回はSerfに関する連載のまとめです。複数の仮想サーバ上にも応用可能なように、Dockerコンテナでの活用方法をご紹介します。また、より詳細な設定方法についての理解も進めていきます。 Dockerコンテナ群をSerfで管理する方法 DockerはLinuxコンテナを簡単に起動・管理するためのツールです。Dockerの魅力は、単純にコンテナを操作できる点だけではありません。公開レポジトリであるDockerHubを使ったコンテナの共有や、Dockerfileと言う設定ファイルを使った構成管理の自動化などの利点があります。 コンテナ管理問題を解決するSerf コンテナを多く立ちあげた時に発生するのは、沢山のコンテナを効率的に操作するのかという課題です。例えばコンテナ内のプロセス稼働状況や、設定ファイ
Serf - Getting Started ～ ドキュメントを読んでみます - Qiita
こんばんは、cloudpack の @dz_ こと大平かづみです。 Prologue - はじめに 「Code the Clouds Mix-up Vol.2」に参加し、拝聴できたLTで、運用ツール Serf に興味を持ちました！ 「Serf / Consul 入門 ～仕事を楽しくしよう～」 by @zembutsu さん 実際に触ってみたいので、ドキュメントをどんどん読みます！ まとめ記事「Serf はじめての運用ツール 〜 インストールとエージェント起動」を作る過程で訳した箇所を、以下に備忘録として記録していきます。 Serf について読んでみる https://serfdom.io/ をどんどん読んでいきます。 Serf is a decentralized solution for cluster membership, failure detection, and orchest
serfについて調べたこと・試したことのまとめ - Qiita
自分のブログに書いたことを順番にまとめる． serfの基本的な動作を試してみた url: http://blog.hifumi.info/2014/07/23/try-serf-clustering/ serfのことが何も分からなかったので，アレコレと試した作業記録のようなものを雑多に書いている． provisionをほんのちょっとだけ工夫して，vagrant up --provisionでひと通りの道具が揃うようにした． $script = <<SCRIPT [ -f /usr/local/src/serf.zip ] || wget -q https://dl.bintray.com/mitchellh/serf/0.6.3_linux_amd64.zip -O /usr/local/src/serf.zip [ -f /usr/local/bin/serf ] || unzip /u
AWS NATインスタンス構築とSerfによる冗長化 | Weboo! Returns.
2015.12.17追記：マネージドNATゲートウェイというサービスがリリースされました。 AWS VPCでプライベートサブネット内に起動したインスタンスは、インターネットと通信することができません。外部リポジトリやAmazon S3等の各種サービスも利用するためには、NATインスタンスを用意して外部との通信を中継する必要があります。 このためにAWSではNATインスタンス用のオフィシャルなAMIが提供されているのですが、わざわざ専用のインスタンスを稼働させるのは勿体ないので、ヴェッテルでは管理用サーバにNATインスタンス機能を持たせて併用しています。またNATインスタンスがSPOFにならないように障害が発生したら、自動的にフェイルオーバーするような冗長化も行っています。 ここでは、オフィシャルなAMIを利用せずに独自でNATインスタンスを構築する方法と Serf による冗長化の方法を紹介
Serf はじめての運用ツール 〜 インストールとエージェント起動 | iret.media
こんにちは、cloudpack の @dz_ こと大平かづみです。 Prologue – はじめに cloudpackに在籍しておりますが、前職まではプログラマの私。 そんなインフラに憧れる一介のプログラマが、運用ツールに初挑戦のシリーズ第一弾！ （続くのでしょうか…！） 出会い 先日、「Code the Clouds Mix-up Vol.2」に参加してきました！ と言っても、駆け付けた時間は、LTの時間でした(汗) そのLTは、「Serf / Consul 入門 ～仕事を楽しくしよう～」 by @zembutsu さん これが運用ツールとの華麗なる出会いでありました☆ Serf と Consul このcloudpack技術ブログでも、Serf や Consul の話題をよく見かけます。 どう便利なの？ Serf や Consul などの運用ツールは、なにを便利にしてくれるのでしょうか？
ロードバランサ（haproxy + serf + keepalived）を構築してみた - Qiita
ハードウェアのロードバランサは予算上厳しくなりそうだったので、仮想サーバで動作するOSSのロードバランサを構築することにした。今回検証を行ったので、その共有です。 構成 Ubuntu Server 14.04 LTS HAProxy v1.5.2 keepalived v1.2.7 serf v0.6.3 負荷分散するアプリサーバ Windows Server 2012 R2 or Windows Server 2008 R2 (どちらも standard edition） IIS web service A（独自）※ここでは名前をWSA、使用するポートを1111とします web service B（独自）※ここでは名前をWSB、使用するポートを2222とします インストール すでに多くの方が書かれていますが、参考までに。 sudo apt-get install -y build-ess
Google Apps Scriptで行データを連想配列として扱う | Nikushi's blog
This domain may be for sale!
Serf / Consul 入門 ～仕事を楽しくしよう～
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392Read less
真夜中にふと思いついて Serf のイベントハンドラを触ってみた 〜アニキと舎弟の上京物語〜 | iret.media
cloudpack の 自称 Sensu芸人 の かっぱこと 川原 洋平（@inokara）です。 はじめに 夜の 9 時に寝たら 1 時過ぎに目が覚めて寝れなくなったので Serf のイベントハンドラを触ってみた。 Serf について 詳しいことは @zenbutsu さんが纏めてくださっているので @zenbutsu さんの qiita 記事やブログは要チェック！ アジェンダと構成 member-join member-leave 構成 以下のような構成。 [ serf on EC2 ] [ serf on EC2 ] すんません、アスキーアートで。 準備 serf のインストール バイナリを落っことして来るだけ 適当なイベントハンドラ join.sh /bin/sh echo "join" > /tmp/join.log leave.sh /bin/sh echo "leave" >
Serf 虎の巻
Serf 虎の巻 サービスディスカバリーとオーケストレーション用のツールであるSerfについてまとめた．基本的には公式のHPのGetting Startの抄訳．Vagrantで試験環境を立てて実際に触りつつSerfを使い始められるようにした． 目次 Serfとは Gossip protocolとは 試験環境の準備 クラスタの形成 クラスタからの離脱 イベントハンドラ カスタムイベント カスタムクエリ コマンド一覧 参考 Serfとは Serfはサービスディスカバリーやオーケストレーション，障害検出のためのツール．Vagrantの開発者であるMitchell Hashimoto氏により開発が進められている．SerfはImmutable Infrastructureの文脈で登場してきたツールであり，Immutableなシステムアーキテクチャー，デプロイを実現する上で必須のツールである． Imm
Serfで既存の自動化スクリプト群を叩けるようにして、複数台構成に対応した。 - Qiita
そこでSerfさんですよ。Serfをつかって、eventが送られた際に、任意のスクリプトをすべてのサーバで叩くという構成をつくった。 serf-handler.sh #!/bin/sh HANDLER_DIR="/path/to/scripts" if [ "$SERF_EVENT" = "user" ]; then EVENT="tarr-$SERF_USER_EVENT" elif [ "$SERF_EVENT" = "query" ]; then case ${SERF_QUERY_NAME} in "uptime") uptime;; * ) EVENT="tarr-$SERF_QUERY_NAME";; esac else EVENT=$SERF_EVENT fi HANDLER="$HANDLER_DIR/$EVENT" [ -f "$HANDLER" -a -x "$HAND
serfの基本的な動作を試してみた
serf1を知るためにアレコレと試した作業記録のようなもの。 @glidenote先生によるserf-muninの設定やブログ2を眺めたり（同じ部署で大変お世話になっている）、公式ドキュメントを眺めたりしながら、Vagrant上でserf clusteringを試した。 何番煎じかも分からないほど後発だが、あくまで備忘録である。 試験環境 CentOS 6.5 x86_6434 Serf 0.6.3 以下の簡易な図のように、one.devとtwo.devという2個のVMを用意し、serf clusterとする。 +---------+ serf cluster +---------+ | one.dev | ---------------- | two.dev | +---------+ +---------+ Vagrantfile 導入環境を満たすVagrantfileを用意する。 V
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chef ProvisioningとDockerでSerfクラスタ環境を作成する #getchef #docker #serf - クリエーションライン株式会社
Chef ProvisioningとVagrantでSerfクラスタ環境を作成する #getchef #vagrant #serf - クリエーションライン株式会社
http://stepxstep.org/blog/2014/08/22/first_serf/
Scalable Deployments - How we deploy Rails app to 150+ hosts in a minute
