タグ

distributedに関するita-wasaのブックマーク (9)

  • libpaxos - General purpose Paxos library

    A collection of implementations of the Paxos and FastPaxos algorithms for solving consensus in a network of unreliable processors. Visit http://libpaxos.sourceforge.net/ for more informations

    ita-wasa
    ita-wasa 2008/11/18
    libpaxos is a C library that implements the Paxos protocol for solving consensus in a network of unreliable processors, it provides a simple API for receiving and proposing values. The source includes also a Paxos "simulator" written in Erlang.
  • Amazon's Dynamo - All Things Distributed

    Amazon's DynamoOctober 02, 2007 • 4557 words In two weeks we’ll present a paper on the Dynamo technology at SOSP, the prestigious biannual Operating Systems conference. Dynamo is internal technology developed at Amazon to address the need for an incrementally scalable, highly-available key-value storage system. The technology is designed to give its users the ability to trade-off cost, consistency

    Amazon's Dynamo - All Things Distributed
    ita-wasa
    ita-wasa 2008/11/18
    In our next experiment, the number of versions returned to the shopping cart service was profiled for a period of 24 hours. During this period, 99.94% of requests saw exactly one version; 0.00057% of requests saw 2 versions; 0.00047% of requests saw 3 versions and 0.00009% of requests saw 4 versions
  • hypotheticalabs.com - このウェブサイトは販売用です! - hypotheticalabs リソースおよび情報

    This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

    ita-wasa
    ita-wasa 2008/11/18
    The thing I really like about pool is it handles code loading transparently. Meaning that the worker nodes can access all the code the master node has available on its code path. This makes setting up a process pool even easier since there’s no per-worker configuration needed.
  • GVU Center -- /Conch Visualization package

    ita-wasa
    ita-wasa 2008/11/13
    This project involves a set of animation views that we have developed for illustrating the execution of parallel programs in cluster environments
  • 分散システムにおける同期

    並行システム システム情報工学研究科コンピュータサイエンス専攻、電子・情報工学系 新城 靖 <yas@is.tsukuba.ac.jp> このページは、次の URL にあります。 http://www.cs.tsukuba.ac.jp/~yas/sie/csys-2007/2008-02-29 あるいは、次のページから手繰っていくこともできます。 http://www.cs.tsukuba.ac.jp/~yas/sie/ http://www.cs.tsukuba.ac.jp/~yas/ ■復習 ■今日の重要な話 分散アルゴリズム 分散システムにおける同期 論理クロック、Lamportの論理クロック同期アルゴリズム, 物理クロック、UTC、NTP 分散相互排除、集中、分散、トークンリング 選出アルゴリズム デッドロック検出 資料: A.S.タネンバウム著、水野忠則、鈴木健二、西宮洋太郎、佐

    ita-wasa
    ita-wasa 2008/11/13
    分散システムにおける同期 * 論理クロック、Lamportの論理クロック同期アルゴリズム, * 物理クロック、UTC、NTP * 分散相互排除、集中、分散、トークンリング * 選出アルゴリズム * デッドロック検出
  • 業界の盟主も動く

    クラウド・コンピューティングは,長らく続いた「ハードウエア/ソフトウエア販売」「システム・インテグレーション」というIT業界の構造を変え始めている。これまで業界の盟主であった米IBMやMicrosoftも,クラウド・コンピューティングへの対応を急ぐ。 売り上げに占めるオンライン・サービスの割合が,5%にしか過ぎないMicrosoft。そのCEOであるSteve Ballmer氏は,2007年11月に日で「10年後,自社が管理するサーバーでデータを保持したり,トランザクションを実行したりする企業は無くなるだろう」とまで断言した。既に,主力製品の一つである「Exchange Server」のSaaS展開を始めたほか,2009年前半にはストレージ/データベース・サービス「SQL Server Data Services」を開始する予定だ。 Bill Gates会長も2008年5月に開催した「T

    業界の盟主も動く
    ita-wasa
    ita-wasa 2008/10/27
    エコシステム上では,既に大量のトラフィックが流れている。Amazonによれば2008年春,Amazon EC2/S3のネットワーク・トラフィックが,インターネット書店「Amazon.com」本体のトラフィックを上回ったという。 もうそんなことに
  • アマゾンの「EC2」サービスがベータテストを終了

    Amazon.comのオンラインコンピューティングの基盤となる、中核部分が発展している。 Linuxサーバへのオンデマンドアクセスを顧客に提供するサービス「Amazon Elastic Compute Cloud」(Amazon EC2)がベータテストを終了したと、「Amazon Web Services」(AWS)と呼ばれるオンラインオプション全体を扱う部門のエバンジェリスト、Jeff Barr氏は述べた。 「Amazon EC2は正式なサービスとなった」と、Barr氏は米国時間10月23日付けのブログに記している。そして、すでに対応済みのSun Microsystemsの「OpenSolaris」や「Solaris Express Community Edition」に加えて、約束通り「Microsoft Windows」に対応するためのベータテストが開始されている。 こうした対応に加

    アマゾンの「EC2」サービスがベータテストを終了
    ita-wasa
    ita-wasa 2008/10/24
    「Amazon EC2は正式なサービスとなった」と、Barr氏は米国時間10月23日付けのブログに記している。そして、すでに対応済みのSun Microsystemsの「OpenSolaris」や「Solaris Express Community Edition」に加えて、約束通り「Microsoft Windows」に対
  • moratorium | PNUTS

    PNUTS Yahooの広域分散DB?まだ論文読んでないので間違ってたらすいません。 PNUTS - Platform for Nimble Universal Table Storage PNUTS: Yahoo!’s Hosted Data Serving Platform Data Challenges at Yahoo! DBは門外漢だけど、VLDBとSIGMODぐらいは目を通しておかないとなあと激しく反省。 SIGMOD 2008では、Facebookの分散ストレージCassandra、GoogleのMegaStore (BigTableの上に作られたTransactionManager)なんかも発表が有った模様。 GoogleAppEngineがBigTableを使ってるのにTransactionが有ったので「ん?」と思ったんだけど、こういうレイヤーを被せているのですね。 たし

    ita-wasa
    ita-wasa 2008/09/16
    SIGMOD 2008では、Facebookの分散ストレージCassandra、GoogleのMegaStore (BigTableの上に作られたTransactionManager)なんかも発表が有った模様。 GoogleAppEngineがBigTableを使ってるのにTransactionが有ったので「ん?」と思ったんだけど、こういう
  • Part2 トランザクションの障害回復

    企業のアプリケーションでは,どんな傷害が起こってもトランザクションのACID特性が保証される仕組みが必要になります。では,2フェーズコミットを実装している分散トランザクション環境において,障害発生時にトランザクションのACIDはどのように保障されるのでしょうか?Part2では,DTPモデルに準拠した一般的な分散トランザクション処理における,トランザクションのリカバリーについて説明しましょう。 企業のアプリケーションでは,あらゆる障害に対して,データの保全と整合性を保証する仕組みが必要です。トランザクション処理中に,サーバーやネットワーク,データベース,またはトランザクションマネージャに障害が発生した場合に,データを失ったり,不整合な状態になったりすることは,絶対に避けなければなりません。つまり,トランザクションのACID特性を保証することが必須になります。 では,2フェーズコミットを実装し

    Part2 トランザクションの障害回復
    ita-wasa
    ita-wasa 2008/09/11
    (4)その結果,既にコミットしたリソースマネージャとロールバックしたリソースマネージャ間でデータが不整合になります。 (5)データの不整合を解消するために,管理者がグローバルトランザクションをコミットするのか
  • 1