GitHub - soabase/exhibitor: ZooKeeper co-process for instance monitoring, backup/recovery, cleanup and visualization.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
ZooKeeperによる分散システム管理 - hidemonのブログ
Flavio Junqueira, Benjamin Reed ApacheのHadoopプロジェクトから派生したZooKeeperを紹介した本。頑健な分散協調を容易にしてくれるZooKeeperだが、実際にはかなり落とし穴がボコボコある。落とし穴の避け方を教えてくれるのがこの本。 Zab プロトコルも詳述されていて、とても参考になる。HadoopのYARNやHiveなど、ZooKeeperを利用したシステムは今後増加すると思われる。適切にZooKeeperを設定するには、それなりの理解が必要なのでこの本を読みましょう。 開発者が書いている本なので内容は信頼できる。でも（世間的にはZooKeeperの元ネタになっていると言われる）GoogleのChubbyに全く言及が無いっていうのはどうなんだろう。。あとPaxosとZabの違いについても明記して欲しかったかな。 この本、翻訳をさせていただ
Coordination Service(ZooKeeper，etcd ，consul) の比較
概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordination Service の比較を行う． Chubby から現在まで Paxos が Google の手によって Chubby という形で実用化された後，故障検出+分散合意アルゴリズムを用いた高可用KVSという組み合わせによる Coordination Service のオープンソース実装がいくつが出てきた．そのはしりが ZooKeeper である．ZooKeeper は Hadoop ファミリではデファクトスタンダードの Coordination Service であり，Hadoop を初めとして HBase，M
Airbnb: バックエンド間の通信を支えるSmartStackをオープンソースで提供 - ワザノバ | wazanova.jp
http://nerds.airbnb.com/smartstack-service-discovery-cloud/ Airbnbが同社のエンジニアブログで、Zookeeperとともに、クラウド分散環境におけるバックエンド間の設定変更の自動化を支えているSmartStackを紹介しています。 1) 他の選択肢の検討 DNS: クライアントのライブラリからDNSをネイティブに使う方法だと、プッシュができないことと情報伝播の遅延（キャッシュによって更に悪化）がネックになる。 中央でのロードバランシング: バックエンド間の通信をロードバランサーで集中管理するかたちだと、ロードバランサー自体もしくはルーティングレイヤの障害が大きなリスクとなる。また、F5などの一般的なハードウェアはクラウドでは使えない。AWSのElastic Load Balancingはpublic IPを介さなくてはいけない
Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
ZooKeeper vs. Doozer vs. Etcd | devo.ps
While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration across a cluster of servers? More importantly, how do you do so in a resilient, secure, easily deployable and speedy fashion? That’s what got us to evaluate some of the options available out there; Zoo
ZooKeeper を使ってみる(1) - hidemonのブログ
Hadoopのサブプロジェクトの一つにZooKeeperというのがある。分散システムを作るためのビルディングブロックとして非常に重要になってきそうなので、ちょっと調べて見ようと思う。ストリームコンピューティングシステムのS4でも使われているそうだ。どう使われているのかは知らない。 ZooKeeperとは ZooKeeperは、GoogleのChubbyを模したシステム。HadoopがGoogleのGFSとMapReduceを模したのと同じ構図だ。 じゃあ、Chubbyはなんなのか、というとこれも一言で説明するのは難しい。非常に小規模なファイルに特化した分散ファイルシステム、ということになるのだろうが、実にさまざまな目的に使われているらしい。DNS代わり、ロックサービス、サービスの死活判定などなど。ZooKeeperは一通りこれらの目的に使えるようにできているようだが、どのくらい機能的に忠実
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
