自律分散監視システムとそれを利用したネットワークグラフ可視化への挑戦 - Hatena Developer Blog
はじめに はてなサマーインターン2017の大規模システムコースの成果報告をします。 今年の大規模システムコースではメンターのid:masayoshiさんとid:y_uukiさんの下、自律分散監視システムとそれを利用したネットワークグラフの可視化に取り組みました。自律分散監視システムでは単純なクラスタリングによる死活状況の確認だけではなくアプリケーションレベルの疎通確認を行えるものを実現しました。またどのようにしてクラスタを形成するかという問題に取り組む内に、サービス間のネットワーク上のつながりを取得できるようになり、その情報でサーバー間の関係性の可視化を行いました。この記事では、それらの詳細を説明します。 はじめに 自律監視システムの実現 中央サーバー型の監視システム 自律分散監視システム アプリケーションレベルの相互監視 どうやってクラスタを形成するか？ 実験 ネットワークグラフの可視化
クックパッドにおけるScalable Deploymentsのスライドが興味深い - GeekFactory
クックパッドにおけるアプリのデプロイの資料が非常に興味深いので紹介します．これは @sora_hさんがRubyKaigi 2014で発表 された資料で，100台以上のサーバに短時間でアプリをデプロイする仕組みをどうやって作り上げたのかが説明されています． 以前，スライドの内容を箇条書きにまとめていたのでシェアします．最近では，Jenkins User Coferenceの発表（How We Use Jenkins? // Speaker Deck）でほんの少し引用されていたりします． 内容のまとめ スライドは90枚あります．ざっくりまとめた内容を以下に示します． 概況 140サーバに1日10回のデプロイを実施している（ピーク時） コードベースが大きい モデルだけで約 69K LOC プロダクトコードとテストコードを合わせると約 319K LOC デプロイのルール CIのビルドが成功したリビ
Serf / Consul 入門 ～仕事を楽しくしよう～
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392Read less
Serf Cheat Sheet 日本語版 - Qiita
Serf を使う皆さんの参考になりましたら。ご意見、リクエストお待ちしています これは何？ "Serf is a decentralized solution for cluster membership, failure detection, and orchestration. Lightweight and highly available." 訳：Serfは非中央集権型のクラスタメンバ管理、障害検知、そしてオーケストレーションのためのソリューション。軽量かつ高い可用性。 Serf ( http://www.serfdom.io/ )は、オーケストレーションと管理を行うためのツール。Vagrant や Packer を製作した Hashicorp 社製のツールで、Go 言語で書かれており、オープンソース(Mozilla Public license, version 2.0)で公開さ
ZabbixのAPIを使って運用を楽しくする話
「ZabbixのAPIを使って運用を楽しくする話」 'Serf orchestration with ZABBIX APIs' Serf the Liberator - 始まりの物語 ---- 1. ZABBIX API 超入門 ・シェルで始める ZABBIX API (言語知識不要) 2. Serf と Zabbix の連携 ・Serf とは？ ・API を使えば、こんな事が簡単にできるよ！ 3. 仕事は楽しいかね？ ・ Serf the Liberator 【叛逆の物語】 ---- 第6回 ZABBIX-JP勉強会 http://atnd.org/events/48954 Masahito Zembutsu Apr 12, 2014 , Osaki Tokyo ZABBIX-JP 6th meetup #zabbix_jp
Consul関連文書の参考訳、Serfとの違い等 | Pocketstudio.jp log3
Consul について、自分の中の理解を深めるために関連ドキュメントの参考訳を作成しました(4/19現在)。せっかく作ったのに、自分の引き出しの中にしまっておくだけでは勿体ないと思い、公開します。Consul や Serf に興味を持っている方の参考になれば幸いです。 Consul の意味は、’領事’や’執政官’です。Serf は’農奴’ ですから、まるで、農民(Serf)を支配し、使役するお代官様(Consul)のような関係がイメージされます。実際のところ、Consul は内部の Serf クラスタ上に構築されていますが、Consul の機能や役割は、Serf の持つものとは異なるように見えます（現時点の公開情報では）。詳しくは、ドキュメントをご確認ください。 実際に使いたい！という場合は、先日の投稿 Consul を使ってみた、をご覧下さい。 当ページのドキュメントについては、あくまで
SerfでDockerコンテナのクラスタを形成する
SerfでDockerコンテナのクラスタを形成する “Serf虎の巻”書いたし，Serf使っていろいろやってみるかということで，Dockerコンテナのクラスタ形成をやってみた．SerfとDockerの組み合わせについては，すでに[shiba_yu36]()さんが試みている（“serfとDockerでクラスタを組んでみる”）ので，もう少し踏み込んでクラスタへのjoinの仕方を模索してみた． tcnksm/sample-docker-serf やってみたのは，Dockerコンテナのみでのクラスタの形成． 準備 Vagrant上で実行する．Vagrantfileは以下． $script1 = <<SCRIPT echo Installing depedencies... sudo apt-get install -y unzip echo Fetching Serf... cd /tmp/ wg
Serf という Orchestration ツール #immutableinfra
Serfが面白いと俺の中で話題にwwwwww 【改訂版】 『ニンゲンヤメマスカ→運用自動化への希望、オーケストレーション』 Masahito Zembutsu Mar 1, 2013 オープンクラウドにゃんぱすー Open Source Conference 2014 Tokyo/Spring #osc14tk 3/4追記：blogに追記しました。 LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/03/04/orchestration_with_serf_to_manage_lvs/
【検証】Serf 0.5.0の新機能を試してみた【queryが便利】 | Pocketstudio.jp log3
Serf version 0.5.0 が 3月12日付けでリリース（CHANGELOG）。 今回は新しく「query」コマンドがサポートされた事が、一番大きな変更点の模様。コマンドの実行結果が確認できるので、個人的にはこれが強力な機能と思ってます、例えば、複数のリスト化されていないサーバ群に対して、一括 SSH コマンドの実行＆結果確認が出来るようになりました。勿論、任意のスクリプトを実行させることも出来ますし、何気に運用が弁理になりそうと期待しています。 その他、の主な変更点は、serf コマンドに reacability (到達性) がサポートされたり、serf member で -name によるフィルタがサポートされたこと、そして、member-reap イベントのサポートなど。 以下、query コマンドと reachability 機能を試してみました。 ◆ 新しい query
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Serfが面白いと俺の中で話題にwwwwww 【改訂版】 『ニンゲンヤメマスカ→運用自動化への希望、オーケストレーション』 Masahito Zembutsu Mar 1, 2013 オープンクラウドにゃんぱすー Open Source Conference 2014 Tokyo/Spring #osc14tk 3/4追記：blogに追記しました。 LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/03/04/orchestration_with_serf_to_manage_lvs/Read less
LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3
LVS ( Linux Virtual Server ) で DSR ( Direct Server Return ) のロードバランサ環境を、オーケストレーションツールの Serf を使って自動管理しよう、という内容です。当記事の検証は、CentOS 6.5 (x86_64)上で、Serf v0.4.5 を使用しています。 設定の方向性は、バランシング先のノードの増減を Serf を使って管理します。Serf のメンバに join する事で、自動的にバランシング先に組み込みます。また、障害発生時 ( fail ) やノードから離れる ( leave ) 時にも、自動的にバランシング情報の削除を試みました。 ◆ OSC 1014 Tokyo/Fall で登壇させて頂きました オープンソースカンファレンス 3月1日(土) 、オープンクラウドキャンパス枠で登壇させていただきました。内容は、オー
serfとDockerでクラスタを組んでみる - $shibayu36->blog;
最近Serfというツールも気になっていたので、とりあえずクラスタを組んでイベントハンドラの設定をしてみるところまでやってみました。 Serfとは http://www.serfdom.io/ https://github.com/hashicorp/serf Serf is a decentralized solution for service discovery and orchestration that is lightweight, highly available, and fault tolerant. Orchestrationという層を支援する軽いツールみたいですね。これをうまく使うことで、クラスタにjoinしたweb serverを自動的に配下に加えるHAProxyとかを実装したり出来ます。参考: Serf+HAProxyで作るAutomatic Load Balanc
最近の仮想化界隈を知る：VMWareからCoreOSまで | 射撃しつつ前転
仮想化の分野はどんどんと新しいものが出てくる。全部を実際に試すことは出来なくても、筋が良さそうなものについては、どういうものなのかある程度把握しておきたい。最近はちょっと忙しくてあまり情報収集ができてなかったので、追いつこうと思ってちょっと調べてみた。 ハイパーバイザ型仮想化とコンテナ型仮想化 仮想マシンの歴史をたどると、メインフレームの方では随分と昔から使われている技術である、と出てくる。一方で、x86の世界ではそれほど歴史は長くなく、1999年にリリースされたVMwareがおそらく実用的な初の仮想マシン技術だろう。 VMWareはハイパーバイザ型仮想化と呼ばれる技術で、上に乗るOS（ゲストと呼ばれる）に対して仮想的なハードウェアを提供する。ハイパーバイザ型も、どのレイヤで仮想的なハードウェアを提供するかで更に細分化されるらしいが、よく知らないので、ここではそこまでは踏み入らない。ハイパ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stretcher in 5 min
ご注文は監視自動化ですか？
fluentd-server から serf 使って td-agent を再起動できるようにした : sonots:blog
Serf2Excel - Serf を実運用に活かす話 + Consul もあるよ
Mitchell Hashimoto, HashiCorp
Future of server provisioning
Serfが面白いと俺の中で話題にwwwwww
