管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
ひとりZooKeeperコードリーディング(1) クライアント編 - kuenishi's blog
さて準備ができたので読み始めることにする。この手のシステムは大体の機能が分かっているならAPIを見るのが手っ取り早い。もろもろの名前でなんとなく雰囲気と使い方が分かるので下手にドキュメントだけを読み込むよりもよい場合もある。Javadocだとクラス毎になってしまうし*1慣れているのもあってC APIというかヘッダにまずは目を通す。基本的には znodeのCRUD それのsync, async, w系のAPI initialize / finalize multiops (3.4+ などである。特徴的なのはZOO_SEQUENCEとかZOO_EPHEMERAL。Chubbyの論文にはEphemeral fileというのが出てくるから後者は分かりやすいけど、前者はZK特有。ACLなんかは気になるけどとりあえず本質的ではないので後回し。 ZooKeeper.java というわけでExampleを
ZooKeeper のレシピとソリューション
このドキュメントでは、ZooKeeper を使って高度な機能を実装する方法を示します。これらの方法はいずれもクライアント側で実装するものなので、ZooKeeper 側では何ら特別なサポートは必要ありません。ZooKeeper コミュニティがこれらの方法をクライアントサイドライブラリに取り込んでくれたら、その利用も簡単になって、標準的な手法として使われる機会も増えるでしょう。 ZooKeeper で最も興味深いことの一つは、ZooKeeper が非同期の通知を使っているにもかかわらず、ユーザー側では ZooKeeper を使って、キューやロックといった同期一貫性プリミティブを構築できることです。このドキュメントを読むとわかるように、それが可能なのは、ZooKeeper が更新に対して全体的な順序を保証しており、この順序を公開するしくみを用意しているからです。 以下で示すさまざまなレシピでは、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
