2010-04-21
前回のエントリの最後に「Programmers Guideをみると、クライアントプログラムなどの作成方法などが解説されていますが、とりあえず今回は HBase のほうに進むということで、ZooKeeper についての話はいったんここで終わります。」なんて書きましたが、HBase のクラスタ環境を構築するためにはどうも ZooKeeper もクラスタ環境になっている必要があるようなので、ZooKeeper をクラスタ化してみます。 設定については、前回(d:id:k155e1:20100420:1271757128)を参照してください。 マニュアルでいうと Running Replicated ZooKeeper あたりからでしょうか。 HBase のところで出てきますが、HBase をクラスタで動作させる場合、ZooKeeper Quorum を事前に起動させておく必要があります(HDFS
ZooKeeper Administrator's Guide
This section contains information about deploying Zookeeper and covers these topics: System Requirements Clustered (Multi-Server) Setup Single Server and Developer Setup The first two sections assume you are interested in installing ZooKeeper in a production environment such as a datacenter. The final section covers situations in which you are setting up ZooKeeper on a limited basis - for evaluati
ZooKeeper Getting Started Guide
Getting Started: Coordinating Distributed Applications with ZooKeeper This document contains information to get you started quickly with ZooKeeper. It is aimed primarily at developers hoping to try it out, and contains simple installation instructions for a single ZooKeeper server, a few commands to verify that it is running, and a simple programming example. Finally, as a convenience, there are a
ZooKeeper プログラマーズガイド
このドキュメントは、ZooKeeper のコーディネーションサービスを利用した分散アプリケーションを作成したいと考えている開発者向けのガイドです。このガイドには、コンセプトに関する情報と、実際のプログラミングに関する情報の両方が含まれています。 このガイドの最初の 4 つのセクションでは、ZooKeeper のさまざまな概念について高い次元から説明します。ZooKeeper のしくみと ZooKeeper の使い方を理解するには、これらのセクションで説明するコンセプトについて知っておく必要があります。ソースコードは登場しませんが、分散コンピューティングに関連したさまざまな問題について知識があることを前提にしています。これらのセクションは、次のとおりです。 ZooKeeper のデータモデル ZooKeeper のセッション ZooKeeper のウォッチ 一貫性の保証 続く 4 つのセクシ
インフラエンジニアのためのCassandra情報 ZooKeeperその１：So-net Developer Blog：So-netブログ
CassandraはCASやロックをサポートしていないため、複数のプロセス（またはノード） から参照して更新されるような一貫性のある共有変数が作れません。 例えばカウンターがその例です。RDBMSであればフィールドをauto incrementにしておけば 複数プロセスからinsertされても常に一意の値が得られます。 Cassandraを使用するアプリケーションでカウンターが必要になったら、そのためだけに 別途MySQL等を使う手もありますが、それではせっかく単一障害点のないCassandraを使って いても、アプリケーションからするとMySQLのカウンターが単一障害点になってしまいます。 そこで、複数ノードで一貫性と可用性を確保する共有変数領域としてZooKeeperを使ってみます。 ZooKeeperはそれ自体が何かを実行してくれるアプリケーションではなく、分散アプリケーション を構
Hadoop本読書会 - 13章 ZooKeeper - 大規模分散技術勉強会 in 名古屋
大規模分散技術勉強会 in 名古屋 トップページページ一覧メンバー編集 × Hadoop本読書会 - 13章 ZooKeeper 最終更新：ID:hgJMx3CHVA 2011年04月01日(金) 00:02:28履歴 Tweet Hadoop本13章が分かりやすい解説になっているとは言えないので、勉強会資料を書き起こしてます。Hadoop本は参考書程度に。(terurou) ZooKeeperとは A Distributed Coordination Service for Distributed Applications 「分散システムのための分散協調サービスです（キリッ」 『えっ』「えっ」 簡単に言うと分散システムでの面倒なところをよしなにしてくれるモノ 分散システムでロック・メタデータ共有・データ更新時のイベント通知等を行ってくれる Google MapReduceファミリーのCh
米Twitter、リアルタイムデータ処理システム「Storm」をオープンソースで公開 | OSDN Magazine
米Twitterは8月4日、リアルタイムデータ処理システム「Storm」をオープンソースにする計画を発表した。Stormは同社が7月に買収した米BackType Technologyの技術で、データストリームの解析などに利用できるという。 Stormは「リアルタイムデータ処理のHadoop」を標榜する技術で、大量データの分散処理を行うためのクラスタシステム。BackTypeがTwitterに買収される前の6月に発表、オープンソースにする計画を明らかにしていた。 StormはJava仮想マシン上で動作し、さまざまなプログラミング言語で行う処理を実装できる。クラスタシステムはクラスタをコントロールする「Nimbus」、実際の処理作業を実行する「Supervisor」、Supervisorを監視・制御する「Zookeeper」から構成され、Supervisorノードが処理を分割してZookeep
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Error HBASE-ZOOKEEPER : Too many connections
Apache Zookeeperメモ
ProjectDescription - Apache ZooKeeper - Apache Software Foundation
NameBright - Coming Soon
ZooKeeper/FAQ - Hadoop Wiki