[B! zookeeper] sabroのブックマーク

Twitter、新たなオープンソースプロジェクト「Zipkin」を提供

Twitterは7日(米国時間)、「Zipkin」システムをオープンソースプロジェクトとして公開した。Zipkinは、分散システム上の異なるサービスから迅速に情報を収集することを目的に開発されたシステム。TwitterによるとZipkinシステムは「Google Dapper」を参考に開発したものだとしている。 Twitterでは現在、すべてのサービスからタイミングデータを収集するためにこのZipkinを使用しているという。トレース情報を収集するためにインストルメンテッドライブラリを各ホストに用意し、ZooKeeperやScribeを利用してZipkinに情報を送っている。Zipkin側ではCollectorが情報をApache Cassandraに渡し、Zipkinが提供しているWeb UIを介してデータベースにアクセスして分析できるようにしている。

sabro 2012/06/15

リンク

Rainbird: The Way Twitter Counts Tweets In Realtime (Which Will Be Open Sourced) | TechCrunch

Rainbird: The Way Twitter Counts Tweets In Realtime (Which Will Be Open Sourced) Yesterday, Twitter analytics lead, Kevin Weil, gave a talk at O’Reilly’s Strata 2011, a conference dedicated to big data. The main topic of the talk was Rainbird, Twitter’s realtime counting system that’s built on top of Cassandra. Notably, it powers a number of things Twitter uses internally, such as Promoted Product

sabro 2011/11/30

リンク

ZooKeeper: 面倒な分散システムのコーディネートを支援するサービス

ZooKeeper: 面倒な分散システムのコーディネートを支援するサービス ZooKeeper は、分散アプリケーションのためのパフォーマンスの高いコーディネーションサービスです。ZooKeeper では、名前付け、設定管理、同期化、各種グループサービスなど、利用頻度の高いさまざまなサービスが用意されているので、これらのサービスをゼロから作成する必要はありません。ZooKeeper をそのまま使えば、合意プロトコル、グループ管理プロトコル、リーダー選挙プロトコル、およびプレゼンスプロトコルを実装できます。ZooKeeper を基に、独自のニーズに対応したサービスを構築することもできます。以下のドキュメントでは、ZooKeeper のコンセプトや ZooKeeper を使うための手順について説明しています。ドキュメントを読んでわからないことがあったら、メーリングリストに質問を投稿するか、ア

sabro 2011/11/17

ZooKeeper

リンク

http://www.osrg.net/accord/

Accord: A high-performance coordination service for write-intensive workloads Overview Accord is a high-performance coordination service like Apache ZooKeeper that uses Corosync Cluster Engine as a total-order messaging infrastructure. It features: Accord is a distributed, transactional, and fully-replicated (No SPoF) Key-Value Store with strong consistency. Accord can be scale-out up to tens of n

sabro 2011/09/30

リンク

Hadoop本読書会 - 13章 ZooKeeper - 大規模分散技術勉強会 in 名古屋

大規模分散技術勉強会 in 名古屋トップページページ一覧メンバー編集 Hadoop本読書会 - 13章 ZooKeeper 最終更新：ID:hgJMx3CHVA 2011年04月01日(金) 00:02:28履歴 Tweet Hadoop本13章が分かりやすい解説になっているとは言えないので、勉強会資料を書き起こしてます。Hadoop本は参考書程度に。(terurou) ZooKeeperとは A Distributed Coordination Service for Distributed Applications 「分散システムのための分散協調サービスです（キリッ」『えっ』「えっ」簡単に言うと分散システムでの面倒なところをよしなにしてくれるモノ分散システムでロック・メタデータ共有・データ更新時のイベント通知等を行ってくれる Google MapReduceファミリーのChub