P2Pの専門知識ゼロから独自DHTを実装評価するまでの学習方法と参考資料まとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 P2P、特にDHTの前提知識が無い状態から、オリジナルDHTアルゴリズムを実装・評価できるようになるまでの学習方法と参考資料をまとめました。 基本的なアルゴリズムの仕組みから、実装評価に用いるツールキットの使い方までを短期間で学習することが出来ます。 「P2Pに関する卒論を書こうと思っている人」や「P2Pアプリケーションの開発前に、アルゴリズムをテストしたい人」、「なんとなくP2Pアルゴリズムに興味が出た人」などにぴったりだと思います。また、研究室での後輩教育用資料にするのも良いと思います。実際に使いましたし。 ここで紹介する資料一覧は以下の通りです。 資料１：「ChordアルゴリズムによるDHT入門」 資料１ーオプション１：「DHTアルゴリズムSymphony
P2Pの検索技術ならRFC4981 - P2Pとか分散システムとかそういう話
P2Pの検索について学ぶなら, まずはRFC4981. ということで, RFC4981を読んでいこうと思う. Abstract The pace of research on peer-to-peer (P2P) networking in the last five years warrants a critical survey. P2P has the makings of a disruptive technology -- it can aggregate enormous storage and processing resources while minimizing entry and scaling costs. Failures are common amongst massive numbers of distributed peers, though the imp
memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う
「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で
ニコニコ動画のキャッシュを皆で共有するソフト「Genkidama」をリリースしまふ。 - syuu1228's blog
なにこれ ニコニコ動画の動画ファイルのキャッシュファイルを皆で共有しあってより快適にニコ動を楽しめるソフトです。 これで一般会員でも回線混雑時に通常画質で動画が見れるかもしれない・・・！って訳です（誰かが以前その動画を通常画質で見ていてくれれば、の話なんだけどね）。 えいさあさんのNicoCacheをベースにP2P技術を用いてキャッシュ情報をGenkidamaを起動しているPC同士で共有する仕組みを追加してあります。 えいさあさん良いプログラムをソース公開してくれて感謝です。 動作環境 Java 6.0が動くシステム(Windows, Linuxで動作確認済み） たぶんMacでもおｋ。 ルータにグローバルIPが振られていて、UPnPでポート解放出来る必要あり。 使い方 Windows ブラウザのプロキシ設定でlocalhost:8080を指定。 Genkidama.batを実行する。 使い
peer-to-peer $B$NJ}$+$iMh$^$7$? (B (key-value store $BJY6/2q (B, February 20, 2009)
$B 2009 $BG/ (B 2 $B7n (B 20 $BF| (B key-value store $BJY6/2q (B $B%9%i%$%I (B: shudo-keyval-20090220.pdf (PDF $B%U%!%$%k (B, 690 KB) $B4XO";qNA (B: $B%*! $B%&%'%V%Z! (21 pages, HTML) scale out $B$N5;=Q (B $B!A (B consistent hashing $BJT (B: $B%&%'%V%Z! (45 pages, HTML) PlanetLab $B$N $B%&%'%V%Z! (36 pages, HTML) consistent hashing $B$J (B key-value store Overlay Weaver $B%5!
[DHT]DHTとホップ数の関係[その2]～Chordの平均ホップ数を考えよう - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 前回は直感的な方法でDHTのホップ数について推定した。今度はChordに絞ってホップ数を調べる事でより理解を深める事にしよう。 □Chordのリンク数からホップ数を推定 まず、Chordのノード参加数をN=2^xとしよう。2^ｘとは２のｘ乗を表す事とする。ここで1ノード当たりのリンク数はlog(N)＝ｘである事に注意。 平均ホップ数を計算するときに発想を転換しよう。今1ノードｘあたりのリンクがある。すると、P回ホップ数すると、ホップ可能な総ノード数LはだいたいL=x^Pとなる。x^P=Nであれば、P回ですべてのノードにアクセスできると大体考えられる事ができる。つまり、平均
![[DHT]DHTとホップ数の関係[その2]～Chordの平均ホップ数を考えよう - Tomo’s HotLine](https://cdn-ak-scissors.b.st-hatena.com/image/square/b4e38426fa9529bdb687a0c8ea1406a0f5bee683/height=288;version=1;width=512/http%3A%2F%2Ftoremoro.tea-nifty.com%2F.shared-cocolog%2Fnifty_managed%2Fimages%2Fweb%2Fogp%2Fdefault.png)
DHTのセキュリティ考察～その５ ノードIDの偽装対策 - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 今回はＤＨＴのNodeIDの偽装対策について検討しよう。 □Ｃｈｏｒｄの実装 ＣｈｏｒｄはＮｏｄｅＩＤとして、ＩＰアドレスのハッシュ値を取っている。 ＩＰアドレスは（グローバルなら）一意だし、また通信ノードのＩＰアドレスが分かれば、ＮｏｄｅＩＤとＩＰアドレスからノードの正当性が簡単に確認できる。 しかしこの方法は次のような課題点がある [課題点]プライベートアドレスのノードが存在すると、NodeIDが衝突する恐れがある [課題点1-1]NAT-FW、プロキシがある場合、仮にグローバルアドレスをノードが 取得しても ＮｏｄｅＩＤが衝突してしまう。 [課題点1-1-1]グロー
[DHT]DHTのセキュリティ考察～その４ - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 ＤＨＴのセキュリティにおいて、少し見方を変えてみよう。 P2Pシステム代表例であるWinnyではキャッシュが管理者等によって削除されな かったのが問題であった。ＤＨＴで掲示板等を作成すると管理者によってコメン ト変更あるいは削除することが必要であろう。 ここでは管理者（スーパーユーザ）によるＰ２Ｐシステムを管理を提案する。 まず、管理者は付与された電子証明書に管理権限があることを明記される。 これは第三者に管理権限があることを確認させるためである。 今、管理権限があるユーザをスーパーユーザと呼ぶことにする。 スーパーユーザは、データの削除、変更が可能である。 データを削除
[DHT]DHTのセキュリティ考察～その３ - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 前回はＤＨＴにおける完全性について議論を行った。 ここで残課題であった、 [脅威1]登録ノードによって登録データが消去される について議論しよう。 ひとつの簡単な対策として、同じデータを複数ノードに登録することが挙げられる。 つまり、Xという情報については通常Node_ID=Hash(X)となるノードに登録する （これを登録ノード１としよう）が、これ以外にも [登録ノード2]Node_ID=Hash(X+Z) [登録ノード3]Node_ID=Hash(X+2Z) に登録する方法である。（Ｚはシステムが設定した数字） つまり、登録ノード１～３を参照することによって、登録ノー
[DHT]DHTのセキュリティ考察～その2 - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 今回はＤＨＴにおける完全性対策について提案を行ってみたい。 □完全性に対する脅威 ＤＨＴにおいて、情報ＸはＮｏｄｅ_ID=hash(X)というノードに登録される。（これを登録ノードと呼ぶことにしよう） この方法だけではざっと検討しただけでも以下のような脅威が考えられる。 [脅威1]登録ノードによって登録データが消去される [脅威2]登録ノードによって登録データが改ざんされる [脅威3]登録ノード以外の第三者によって登録データが消去される [脅威4]登録ノード以外の第三者によって登録データが改ざんされる 今回は脅威2～脅威4の対策を説明する。 □電子証明書のノードへの配布
[DHT]DHTにおけるセキュリティ考察～その１ - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 P2Pの基幹技術としてDHTが随分認知されてきたが、セキュリティの話になると活発な議論がされてない状況である。 ここでは、9月に開催される第2回DHT勉強会で私が講演する内容の概要をBlogにまとめたいと思う。 □DHTのセキュリティ対策 セキュリティ対策には3要素あり、通称CIAと呼ばれている。 Cは機密性、Ｉは完全性、Ａは可用性である。今回はCIA各要素に対してＤＨＴではどのようなセキュリティ対策をすれば良いのか提案あるいは考察をする予定である。 □DHTの大局的な観点における可用性について 全ノードが信頼できるノードである状況はまれで、通常は悪意のあるノードが存在す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
