タグ

dynamoに関するteahutのブックマーク (8)

  • IIJがクラウド戦略を発表、独自の分散データ処理技術やコンテナ採用など

    インターネットイニシアティブ(IIJ)は2009年5月28日、クラウドコンピューティング・サービスに関する事業戦略を発表した。年内にストレージやアプリケーション実行環境といったコンピュータ資源をサービスとして提供する計画という。基盤技術として分散データ処理技術などを独自開発する。コンテナ型データセンターの採用も検討中という。 IIJが今回発表した独自の分散ファイルシステム「ddd(distributed database daemon)」は、米アマゾン・ドット・コムの「Amazon Dynamo」をモデルにしたキー・バリュー型データストアである。巨大なデータをピア・ツー・ピア(P2P)技術で連携する複数のノード(サーバー)に分散配置することで、データの入出力や検索を高速化できる。ノードを追加した分だけ処理性能が向上するのが特徴という。同社のテストでは「ファイアウオールのログ100Gバイトを

    IIJがクラウド戦略を発表、独自の分散データ処理技術やコンテナ採用など
    teahut
    teahut 2009/05/29
    >基盤技術として分散データ処理技術などを独自開発... 独自の分散ファイルシステム「ddd (distributed database daemon)」はDynamoをモデル... 基幹ネットワークを流れるパケットを詳細に解析するシステム向けに開発
  • Project Voldemort

    Voldemort is a distributed key-value storage system Data is automatically replicated over multiple servers. Data is automatically partitioned so each server contains only a subset of the total data Server failure is handled transparently Pluggable serialization is supported to allow rich keys and values including lists and tuples with named fields, as well as to integrate with common serialization

    teahut
    teahut 2009/01/23
    Dynamoに似たkey-valueストア.構造化データの格納や,過去の版管理もできる.マシンあたり20kqps. LinkedIn で使われているが,完成度は高くない様子.Javaで書かれている.API不明.
  • GitHub - moonpolysoft/dynomite: Open source dynamo clone written in Erlang.

    If the lack of commits over the past year isn't a clue, this is your warning that Dynomite is a dead project and is no longer being maintained. At some point in the future my employer may allow me to push out the improvements that I've made since I was barred from pushing code publicly. But I would not count on it, and I would not recommend you use Dynomite for anything other than a functional des

    GitHub - moonpolysoft/dynomite: Open source dynamo clone written in Erlang.
    teahut
    teahut 2008/07/22
    Kaiとは別のDynamo実装.Powersetの中の人
  • Dynamo | Paul Querna

    If you care about distributed systems, you need to read the paper about Amazon’s Dynamo. Comments: Making node joining/leaving an administrative command is not something most academics consider, but it significantly reduces complexity.  We made a similar decision with the PodServer system for Bloglines.  I believe this is the right decision, since a node changing membership on the long term is a r

    teahut
    teahut 2008/05/04
    BDBはBloglinesでも使っておりよい選択.N/R/Wを個別に設定できるのは素晴らしい.VectorClocksのようなものは必要だと認識した.ApacheLabsにクローン開発を提案してみよう (どうなったのだろう?).
  • Sylvain Wallez

    Getting meaningful stack traces from Rust tests returning a Result I was recently writing a test for a side project in Rust (more on that in a future post) and was frustrated by the lack of information reported when the test fails. I ended up with an interesting hack to report the precise location and error that caused a test to fail. Posted on Sun 08 January 2023 — Comments Go: the Good, the Bad

    teahut
    teahut 2008/05/04
    Erlangでクローンを作ってみたらいいのではという提案.Apache Labで開発という案が出ているが,実行には移されなかった模様.
  • はてなブログ | 無料ブログを作成しよう

    ネイルで使う材料で、DIY時の木割れやネジ跡を派手にしたらかわいい OSB合板でちょっとしたボックスをつくりました。 ビス止め下手すぎて木を割ったり穴あけすぎたりした場所に、好きな派手色の樹脂を詰めてパテ代わりにしてみました。 ちょっと某HAYっぽみ出て可愛かったので、自分用にメモです。 手順 塗装 派手色グミジェルで失敗部分…

    はてなブログ | 無料ブログを作成しよう
    teahut
    teahut 2008/02/03
    >日本企業作の分散DBはいくつかありますが、あまり有名ではないだけじゃないですかね。某社はフルメモリ版分散DBを5年近く前から運用していますし、たぶん他社もそう。用途がニッチすぎて、自分たちのツールとして使
  • EventuallyConsistent - 結果整合性

    EventuallyConsistent - 結果整合性 目次 この文書について 結果整合性 歴史の話 クライアント側の整合性 サーバ側の整合性 まとめ 結果整合性 この文書について Werner Vogels "Eventually Consistent" の日語訳です. http://www.allthingsdistributed.com/2007/12/eventually_consistent.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 近年, データ複製の文脈で 結果整合性(eventual consistency) に関する議論が盛んだ. この記事では大規模データの複製における原則や抽象, 高可用性とデータ整合性のトレードオフに関する話題をいくつか集めてみたいと思う. 現在進行中の分野であり, 全ての定義が最初から明快であるとは思わないでほ

  • Consitent Hashing - steps to phantasien t(2007-12-01)

    訳したのを Yukiwiki に公開しました. 楽天テクノロジーカンファレンスの記事 で amazon の Dynamo というのが紹介されていた. そんなのがあるのかとぐぐってみつけた Dynamo の話を読む. その中で consistent hashing が使われており. シンプルでよくできたアルゴリズムだと感心, 紹介しようと思った次第. WWW8 に出たオリジナルの記事も読んでみたけれど, もともと単純なアイデアなので大した詳細はない. Chord や Dynamo の記事に含まれる紹介で十分ことたりている. でも Chord が consitent hashing だというのは件の記事を読むまで気付かなかったなあ. わっかの上をぐるぐる周るやつ, くらいの記憶しかなかった... Dynamo consistent hashing にはじまり, Dynamo は分散アルゴリズム

    teahut
    teahut 2007/12/26
    >Dynamo は分散アルゴリズムがてんこもり. vector clock, gossip-based protocol, merkle tree (使いどころがわからん), eventual consistency (一時的に矛盾はあるけど, そのうち矛盾はなおるはずというモデル)
  • 1