Apache ZooKeeperのトランザクションログとスナップショットの運用と削除
Zookeeperのトランザクションログの運用 Hadoopと組み合わせて使用されるZooKeeperは、タイミングが非常に重要な高可用性の分散協調システムです。NTPを設定してログの時刻ずれが無いように設定しておく必要があります。また、Zookeeperのトランザクションログとスナップショットは別のディスクドライブに保存することが望ましいとされています。ログが頻繁に書き込まれるため、I/O性能の良いSSDなどのフラッシュストレージに保存しておくことが望ましいです。これらはdataDirおよびDataLogDirプロパティによって設定が可能です。Zoopkeeperのトランザクションログが一定の設定値（デフォルト64MBまたは100,000回）以上に書き込まれると、znodeツリーのメモリダンプであるスナップショットが作成されます。スナップショットは基本、それ以前のトランザクションログに代
定時バッチの HA 実装
cron のような定時バッチ処理の冗長化 (HA構成) ってあまり話題に上る機会がないですね。業務系のシステム開発で使っていたパターンを最近また ZooKeeper で構成する機会があったので簡単にまとめておきます。 定時バッチ処理設計のコツ システム開発は画面やデー...
分散システムにおける ZooKeeper の濫用について
Masayoshi Hagiwara @masayh 今の分散システムはZooKeeperに依存し過ぎではないだろうか。ワークロード毎に最適化のポイントは違うのにそれをすべて1つのクラスターにやらせるのは分散合意の実装が困難で、やりたくないからだろうか。 2013-11-16 11:11:33 Masayoshi Hagiwara @masayh メタデータ管理のZooKeeperと状態遷移のストレージクラスターの性能評価なしに、サービスの分散システムのサーバだけの性能評価をしたところで改善には限界があると思うが、どうだろう。そこはやらない方針か 2013-11-16 11:14:54
Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
ZooKeeper vs. Doozer vs. Etcd | devo.ps
While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration across a cluster of servers? More importantly, how do you do so in a resilient, secure, easily deployable and speedy fashion? That’s what got us to evaluate some of the options available out there; Zoo
Hadoop本読書会 - 13章 ZooKeeper - 大規模分散技術勉強会 in 名古屋
大規模分散技術勉強会 in 名古屋 トップページページ一覧メンバー編集 Hadoop本読書会 - 13章 ZooKeeper 最終更新：ID:hgJMx3CHVA 2011年04月01日(金) 00:02:28履歴 Tweet Hadoop本13章が分かりやすい解説になっているとは言えないので、勉強会資料を書き起こしてます。Hadoop本は参考書程度に。(terurou) ZooKeeperとは A Distributed Coordination Service for Distributed Applications 「分散システムのための分散協調サービスです（キリッ」 『えっ』「えっ」 簡単に言うと分散システムでの面倒なところをよしなにしてくれるモノ 分散システムでロック・メタデータ共有・データ更新時のイベント通知等を行ってくれる Google MapReduceファミリーのChub
ZooKeeperでgetChildren()で大量のノードを取得しようとするとKeeperExceptionがスローされる - terurouメモ
ZooKeeperに100万件ぐらいノードを投入して、getChildren()するとConnectionが強制的に切断されてKeeperExceptionが発生する。 原因 クライアント側で受信したパケットサイズが大きくなりすぎると（デフォルト4MB）、強制的にConnectionを閉じるようになっている。 対処法 クライアント側のJVM起動時に システムプロパティ：jute.maxbuffer を設定する。16MBを上限とする場合は以下のようになる。 java -Djute.maxbuffer=16777216 ... ちなみにZooKeeper Administrator's Guideには、「jute.maxbufferはznodeのデータサイズ上限値」と書いてあるが、それはサーバ側の話なので、この件とは関係がない。 参考 Error 500 Mail message with g
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
