ChordアルゴリズムによるDHT入門 - 情報科学屋さんを目指す人のメモ
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 Chordの解説ページは移転しました。こちらをご覧ください→「ChordアルゴリズムによるDHT入門」 Symphonyの解説を書いたとき、「Chordの理解を前提」にしていたので、今回はChordの細かい解説スライドを作成しました。 Chordの説明はDHTの中でももっともたくさん書かれているものだと思います。 もちろん、それと同じように書いたのではほとんど意味がないと思うので、 論文を読んでもすぐには分からない全体像から、どこが重要か、どの点によってメリットが生まれているかなどに注目しつつ、飲み込みやすいストーリーになるように注意しました。 なおかつ、出来るだけ論文からぶっ飛びすぎないようにも気を付けてみました。 まだ荒削りなのですが、とりあえずどうぞ。
TwitterがBitTorrentで高速にデプロイしている仕組みについて
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う
「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で
blog.katsuma.tv
(2008.12.19 22:00追記) peer IDをnear IDに修正 先日のAdobe MAXでFlashの新しいプロトコルRTMFPを扱うことができるサービス「Stratus」について発表がありました。これは簡単に言うと、ブラウザで何もインストールすることなくP2Pを実現できる神がかったプロトコル(=RTMFP)と、RTMFPをサポートするサービス(=Stratus)、という位置づけです。上の写真は実際にStratusを介してRTMFPによる通信で僕の家とオフィス（夜中なので真っ暗ですね）をつないでいるものです。 これらについては、Adobe Labsでの次の文章が非常に分かりやすいです。 Stratus service for developing end-to-end applications using RTMFP in Flash Player で、この文章があまりに分
P4P : P2Pの進化系？:Geekなぺーじ
DCIA : P4P Working Group (P4PWG)が公開している「P4P: Explicit Communications for Cooperative Control Between P2P and Network Providers」という論文を読みました。 ISPがP2Pに協力することによって、ネットワークに対する負荷を大幅に軽減できるという内容です。 アメリカのP2Pは、今後ISPと協力関係を構築していくのかも知れないと思える論文でした。 P4P WG この論文を作成したP4P技術ワーキンググループには、結構豪華なメンバーによって構成されています。 P4Pの論文が話題になっているのは、発表したメンバーが豪華で、実際に実現(採用/デプロイ)されていく技術なのではないかと思えるからかも知れません。 以下、DCIA(Distributed Computing Indust
高木浩光＠自宅の日記 - Winny媒介型ウイルスの放流元を追跡してみた, 追記
ウイルスは .zip ファイル内に潜んでいることも多いことから、拡張子偽装だけ調べてもウイルス全般の調査にはならないが、ここではひとまず拡張子偽装されたファイルについてだけ調べることにした。 まず、時刻順に並んでいるキーのダンプから、ファイル名に「 .」を含むものだけ抽出しながら、ファイルのハッシュID（Winny用語で言うところの「ハッシュ値」）毎に、そのキーを送信してきたWinnyノードを出現順にシリアル番号を振りながら転記することで、データを整理した。 たとえば、2007年1月1日に最初に観測*2した拡張子偽装ファイルのハッシュIDは「%09fdce1365df9fc28dd921faXXXXXXXX」であったが、このIDについての観測記録の冒頭は次のようになっている。「X」は伏字であり、1行目にはファイル名を記載しているがここでは省略している（「tail +2」）。
P2Pニコ動キャッシュ共有プロキシ実装案 - Ryoの開発日記 Neo!
このエントリでは、P2Pニコ動キャッシュ共有プロキシ実験結果(http://d.hatena.ne.jp/kanbayashi/20080101/p1)を読んだことを前提として話を進めます。 まずNico Cacheのおおまかな処理内容を書きますと 1:ユーザがニコ動の動画ページにアクセス 2:Nico Cacheがニコ動サーバとブラウザの通信に割って入る 3:Nico Cacheがローカルの指定されたディレクトリ内にキャッシュされたflvファイルがないか探す 4a:あればその内容をブラウザ内のFlash製動画プレーヤに送信 4b:なければブラウザ内のFlash製動画プレーヤのストリームをニコ動サーバとつなげる というようになっています。 で、私の作ったキャッシュ共有版では上記の4bの処理を以下のように変更したわけです。 4b.1: 用意されたディレクトリサーバに尋ねて、対象動画のflvフ
[P2P]ブラウザだけで分散ハッシュテーブル(DHT)を体感しよう！ - Tomo’s HotLine
IT技術を中心に、暮らしに役立つ情報からクラシック音楽の解説まで気軽に情報発信しています。 WEBサイトはhttp://toremoro21.world.coocan.jp/ Twitterは@toremoro21です。 □はじめに P2Pで注目されている技術として分散ハッシュテーブル（ＤＨＴ）が挙げられますが、仕組みが複雑なこともあって、理解するのはなかなか大変です。またOverlay WeaverのようなDHTシュミレーターをインストールするのも、ちょっと面倒。。という人も多いと思われます。 そこで、ブラウザだけでＤＨＴを体感できる２つのサイトをご紹介したいと思います。 なお、ＤＨＴって何？と思った方は拙著のＤＨＴ入門を見て頂くことをお勧めします。 分散ハッシュテーブル入門～その１（初心者向け） Ｐ２Ｐと分散ハッシュテーブル～その１（ネットワークについてある程度ご存知の方向け） □Ｆｌ
![[P2P]ブラウザだけで分散ハッシュテーブル(DHT)を体感しよう！ - Tomo’s HotLine](https://cdn-ak-scissors.b.st-hatena.com/image/square/b4e38426fa9529bdb687a0c8ea1406a0f5bee683/height=288;version=1;width=512/http%3A%2F%2Ftoremoro.tea-nifty.com%2F.shared-cocolog%2Fnifty_managed%2Fimages%2Fweb%2Fogp%2Fdefault.png)
鵜飼裕司のSecurity from USA : P2PソフトShareの暗号を解析，ネットワーク可視化システムを開発
1. はじめに Shareと呼ばれるP2P型ファイル交換・共有システムがここ二年ほどで急速に普及し、Winnyについで第2の巨大P2Pネットワークを構成している事は皆様もご存知かと思います。以前、ネットワーク脆弱性スキャナ「Retina」(http://www.scs.co.jp/eeye/)にWinnyの検出機能を実装致しましたが、同様にShareの検出機能も実装して欲しいという強い要望を日本の皆様から頂いておりました。このためには、Shareを解析せねばなりません。 どうせShareを解析するならば、利用されている暗号アルゴリズムやプロトコルを詳細に解析し、現在日本で大きな社会的問題となっているShareネットワークでの情報漏えい問題に何か手を打てればと思い、年明けからShare EX2の解析に着手しました(以降、「Share」 = 「Share EX2」とする)。この甲斐あって、Re
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.yomiuri.co.jp/national/news/20080315-OYT1T00038.htm
http://www.yasuhisa.com/could/entries/001207.php
http://yoshida.kuee.kyoto-u.ac.jp/~hm/Site/Blog/924C563F-5B3A-4A59-A814-CCA085AF076A_files/slide-6-15.pdf