P2P技術ベースの新クラウドストレージ LifeStuff とは | 情報科学屋さんを目指す人のメモ
P2PベースのDropboxとでも言うべきLifeStuffが、MaidSafe社から明日9月5日に公開予定となっています。Unlimited、Secure、Free*を売りにしているLifeStuffについて、公開情報をもとにまとめてみます。 非常に高い技術で作られたとおぼしきこのアプリケーションが公開直前なのにもかかわらず、海外含めあまりに話題になっていないので、本当に公開されるのか気になってしまうのですが、実際に公開されれば、はかなりインパクトのあるものだと思います。 私の研究領域である構造化オーバレイというPeer-to-Peer由来の技術が利用されているため、とてもそそります。私の研究成果が活きないか、とか考えつついろいろ読みあさった結果を紹介します。 追記(2012/09/05)：公式情報によると、「バグが見つかった関係で、公開は今週末以降になりそう」とのことです。また公開され
クラウド関係のメモ (KVSとかDHTとかその辺) - WebLab.ota
DHTについては下記参照 DHTについて - WebLab.ota DHTのアルゴリズム - WebLab.ota DHTの比較図 - WebLab.ota Google File System pure p2pじゃない どっちかっていうと，winMX 単一のマスターノードがファイルの位置とかを知ってる クライアントは，検索したいときマスターノードにファイルの位置を聞く マスターノードがファイルの位置（チャンクサーバのアドレス）を返す クライアントがチャンクサーバが通信してファイルのやり取りをする データの一貫性は無視 dfltweb1.onamae.com – このドメインはお名前.comで取得されています。 世界中のWebのページを格納するには巨大な容量のファイルシステムが必要となりますが、彼らはそれを自分たちで、Scale-outする分散ファイルシステム Google File Sy
オープンソースなDHT実装まとめ - syuu1228's blog
表にしてまとめてみる。 ライブラリ、シミュレータ、DHT実装を含むアプリの区別はしてない。後で分類しよう。 他にも知ってたら教えてね。 名前 言語 アルゴリズム OverlayWeaver Java Chord, Kademlia, Koorde, Pastry, Tapestry Home · sit/dht Wiki · GitHub C++ Chord Sean's Research Page Java Pastry Open Chord Java Chord PIAX download | SourceForge.net Java Skip Graph Chimera, a Structured Peer-to-Peer Overlay C Tapestry limewire.org - Java Kademlia https://jxta-meteor.dev.java.net/
structured P2P/DHT(Distributed Hash Table)メモ & リンク集 ― ありえるえりあ
structured P2P/DHT(Distributed Hash Table)メモ & リンク集 structured P2P/DHT(Distributed Hash Table: 分散ハッシュテーブル)メモ & リンク集 * 表記 [image]: 必ずしも厳密では無く、直感的に理解しやすい説明に注釈しています。 * 概要 - CAN, Chord, Pastry, Tapestryの4つが起源(と言われています) - ad hoc性とscalabilityの両立を目指す探索(lookup)手法です。 -- key => locationのmappingを行います (下記の用語参照) -- locationはcontentを保有するノードのアドレス(e.g. IPアドレス+ポート)です。実装によっては、locationではなくcontent自体を持ちます。 - ノードとコンテンツ
KVSの定義とDBMSの再レイアリング - kibayos日記
気がついたら、KVSの定義から始まって、NoSQLの自然なニーズ、そして、DBMSの再レイアリングの必要性についてつぶやいてました。 - 某所で、 BigTableはKVSか議論勃発なう。私個人はvalueを入れる箱があって、それに対してkeyを介したアクセスが可能ならKVSでいいと思っている。箱を2次元に構成できるのがBigTableで、key指定に範囲が使えるのがSkip Graphを応用したもの。 valueを入れる箱同士の関係を定義したり、整合性を保証したりするのはKVSの上位概念かと。箱を表形式に編成し、関係を決めているのがRDBで、それに従い整合性を保証するための手段としてトランザクションがある。 NoSQLが出てきたのは自然な流れだと思います。KVSが登場する前からそのニーズはとても高かった。1990年代に登場したオブジェクト指向DBやその後続くXMLDBはNoSQLの前身の
DHTのアルゴリズム - WebLab.ota
分散ハッシュテーブル - Wikipedia DHTは、ピュアP2Pであってもネットワーク負荷はそれほど上がらず、ネットワーク上のコンテンツを漏れなくかつ高速に探索することを可能にする。従来のピュアP2Pで採用されていた通信では、数10万ピアぐらいが限界だとされているが、DHTを使うと数10億ピアを探索範囲とすることが可能となる。しかし、実装がむずかしいことが欠点となる。 DHTの欠点は、一般的に完全一致探索しか行えないことである。特に正規表現のような複雑な検索をDHTのみで実現することは不可能である。 代表的なDHTのアルゴリズムを説明している日本語文献を探してみた． Chord この節では，DHT の代表的なアルゴリズムであるChord について説明する．Chordのハッシュ空間上での距離の定義は，ハッシュ値の差の絶対値である．図3.5のように，データ保有ノード (図中の青点) を，そ
[P2P]位置情報を数値1つで表す手法「Z-ordering」 - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 □はじめに ＤＨＴやＳｋｉｐｇｒａｐｈなどの技術が注目されるとともに、位置情報をP2Pで扱いたいという要望がでてきている。だがＤＨＴやＳｋｉｐｇｒａｐｈは1次元の数値で各ノードが扱う情報範囲を扱うため、位置情報など多次元の情報を扱うのには、当初は向いてないと見られていた。しかしあるテクニックを使うとそれは一発で解消する。それがZ-orderingである。なお、このZ-orderingは位置情報を扱えるP2PミドルウェアPIAXでも採用されている。 □簡単な例 多次元を1次元で表すにはどうすればよいのだろうか？まずここで一例を挙げてみる。 例えば、2次元空間においてｘ＝｛１
![[P2P]位置情報を数値1つで表す手法「Z-ordering」 - Tomo’s HotLine](https://cdn-ak-scissors.b.st-hatena.com/image/square/b4e38426fa9529bdb687a0c8ea1406a0f5bee683/height=288;version=1;width=512/http%3A%2F%2Ftoremoro.tea-nifty.com%2F.shared-cocolog%2Fnifty_managed%2Fimages%2Fweb%2Fogp%2Fdefault.png)
[P2P]位置情報とDHTの関連付けについて - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 ちょっと昔の話になるが、タクシーを使って面白い実験があった。 タクシーに通信機搭載、ワイパーがサイン これは、タクシーに通信機能がついていて、ワイパーを動かすとその地域が雨である事を知る事ができるのだ。 つまり、非常に細かい精度で現在の降雨の状態が観測できる。 そうなると、タクシーの通信端末のミドルウェアにDHTを搭載して、日本中の降雨状態を細かく網羅できれば面白そう！ということを考えたわけです。 一番面白そうなのは、携帯端末（with GPS)で位置情報＋そこで取った写真とリンクさせる、コメントを書く、地図とリンクさせる、且つ他の人と情報を共有する！携帯端末にDHTのミ
構造化オーバレイの一貫性保証 - kibayos日記
Skip Graphの耐障害性に取り組んでいるところです。 Skip Graphに限らず構造化オーバレイの可用性を高めるためには、ネットワーク上に分散している構造化オーバレイの持つ構造についてなんらかの一貫性管理をする必要があります。構造化オーバレイは不安定なピアを含むP2P環境で動作しないといけない前提があるため、分散構造の一貫性保証は簡単ではありません。 5月に開かれた 3rd Sensor & Overlay Workshop では、クラウドコンピューティングで取り上げられる BASE（Basically Available, Soft-State and Eventual Consistency）をキーワードにこの問題が議論されました。その時の資料の改訂版をここに掲載します。（細かなSkip Graphのアルゴリズムの記述をカットして、unbreakable 構造化オーバレイを追記
DHTについて - WebLab.ota
P2Pのお勉強 適当編 - WebLab.otaの続き？ただのメモ オーバレイネットワークの構築・保守する方式 非構造化オーバレイ Gnutellaやwinnyの検索用ネットワークに代表され，どのノードを隣接ノードとするかについて方式上の制約なし． 構造化オーバレイ 隣接ノードが方式によって決まる．構造化オーバレイの応用としては，検索を行う方式，つまり分散ハッシュ表（DHT）や，マルチキャストを行う方式． 存在するオブジェクトは，（たいてい）発見できる．一般に効率はよいが，柔軟な検索が苦手． key-based routing(KBR) キーを決めるとノードが決まるアルゴリズム（SHA-1などのハッシュ関数を使う） DHT すべてのコンテンツ及びノードにそれぞれユニークなGUID（コンテンツ名のハッシュ値やコンテンツ内容のハッシュ値などが用いられる），NodeID（IPアドレスのハッシュ値
ChordアルゴリズムによるDHT入門 - 情報科学屋さんを目指す人のメモ
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 Chordの解説ページは移転しました。こちらをご覧ください→「ChordアルゴリズムによるDHT入門」 Symphonyの解説を書いたとき、「Chordの理解を前提」にしていたので、今回はChordの細かい解説スライドを作成しました。 Chordの説明はDHTの中でももっともたくさん書かれているものだと思います。 もちろん、それと同じように書いたのではほとんど意味がないと思うので、 論文を読んでもすぐには分からない全体像から、どこが重要か、どの点によってメリットが生まれているかなどに注目しつつ、飲み込みやすいストーリーになるように注意しました。 なおかつ、出来るだけ論文からぶっ飛びすぎないようにも気を付けてみました。 まだ荒削りなのですが、とりあえずどうぞ。
「DHTからAmazon Dynamoまで」プレゼン資料を公開します — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
