ZooKeeperによる分散システム管理 - hidemonのブログ
Flavio Junqueira, Benjamin Reed ApacheのHadoopプロジェクトから派生したZooKeeperを紹介した本。頑健な分散協調を容易にしてくれるZooKeeperだが、実際にはかなり落とし穴がボコボコある。落とし穴の避け方を教えてくれるのがこの本。 Zab プロトコルも詳述されていて、とても参考になる。HadoopのYARNやHiveなど、ZooKeeperを利用したシステムは今後増加すると思われる。適切にZooKeeperを設定するには、それなりの理解が必要なのでこの本を読みましょう。 開発者が書いている本なので内容は信頼できる。でも（世間的にはZooKeeperの元ネタになっていると言われる）GoogleのChubbyに全く言及が無いっていうのはどうなんだろう。。あとPaxosとZabの違いについても明記して欲しかったかな。 この本、翻訳をさせていただ
ZooKeeper を使ってみる(2) - hidemonのブログ
1年半ぶりにZooKeeperネタ。複数サーバを立てるには、というお話。まずは同一ホストに複数のZooKeeperノードを立ててみる。 設定ファイル 設定ファイルをノードごとに用意する必要がある。最小限の設定ファイルは、下記のようになる。 tickTime=2000 dataDir=/tmp/zookeeper/1 clientPort=2181 initLimit=5 syncLimit=2 server.1=localhost:2881:3881 server.2=localhost:2882:3882 server.3=localhost:2883:3883initLimit はフォロワー（リーダ以外のノード）がリーダに接続して同期する際の時間の（チック数での）上限。initLimitが5でtickTimeが2000msなのでこの場合は10秒が上限になる。 SyncLimit はfフ
ZooKeeper を使ってみる(1) - hidemonのブログ
Hadoopのサブプロジェクトの一つにZooKeeperというのがある。分散システムを作るためのビルディングブロックとして非常に重要になってきそうなので、ちょっと調べて見ようと思う。ストリームコンピューティングシステムのS4でも使われているそうだ。どう使われているのかは知らない。 ZooKeeperとは ZooKeeperは、GoogleのChubbyを模したシステム。HadoopがGoogleのGFSとMapReduceを模したのと同じ構図だ。 じゃあ、Chubbyはなんなのか、というとこれも一言で説明するのは難しい。非常に小規模なファイルに特化した分散ファイルシステム、ということになるのだろうが、実にさまざまな目的に使われているらしい。DNS代わり、ロックサービス、サービスの死活判定などなど。ZooKeeperは一通りこれらの目的に使えるようにできているようだが、どのくらい機能的に忠実
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
