感想として、全体に駆け足の講演が多かった。もうちょっと突っ込んで話してほしいと思うこともしばしば。 (1)P2Pアーキテクチャ概要(西谷智広さん) 一発目は西谷さんによる P2P 概要。P2P の概念が生まれた黎明期から現在までの 道筋とキーワードの解説。P2P に詳しく無い人でも楽しめた講演だった。技術系の 情報も織り交ぜていたので、プログラマにも楽しい。 特に力を入れて解説してたのが P2PSIP。あの人は(ネットワーク上の)どこに居る、 ってのを教えるロケーションサーバを置くとなるとコストがかかるから、P2P で 解決すればお安くなりますね、ってのが大きな動機だそうな。 位置情報は P2P の DHT で良いとして、SIP の動作で2つに分かれるらしい。 ・位置だけ教えてもらって自前で INVITE する。 ・INVITE までしてもらっちゃう。 SIP の動作的には後者がもともとの
ドロネー図,平面グラフ型ネットワーク色々 GeoPeer,GPSR,GHT,OPGFR,PartialDelaunay,GenPlaneGraph on UDG他にも探せば山ほど Introduction 非構造型VS構造型 非構造型 基本機能:フラッディング,HOP制限 制御思想:1.コピー,2.繋ぎ換え 構造型 基本機能:ルーティング機構,空間割り当て 制御思想:1.繋ぎ換え,2.コピー 1次元空間管理 ハッシュ型空間分散 VS 確率型リンク分散 DHT:Chord データ分散 Skip:SkipGraph リンク分散 2次元(n次元)空間管理 木リンク構造型 VS 空間充填曲線リンク構造型 VS 隣接領域リンク構造型 木リンク構造型(親子関係化):Quadtree,Rectangle木,LL-Net 空間充填曲線型(1次元化):SFC,Z-ordering 隣接領域リンク構造型:Ge
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました! kumofs@SourceForge kumofs関連資料まとめ kumofsとは? kumofs(クモエフエス)は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)(「ICANNがレジストラとして認定した企業」一覧(InterNIC提供)内に「Japan」の記載があるもの)を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授(1973年生)の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア(またはキー・バリュー型データベース)は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー(PFI)最高技術責任者
DHTについては下記参照 DHTについて - WebLab.ota DHTのアルゴリズム - WebLab.ota DHTの比較図 - WebLab.ota Google File System pure p2pじゃない どっちかっていうと,winMX 単一のマスターノードがファイルの位置とかを知ってる クライアントは,検索したいときマスターノードにファイルの位置を聞く マスターノードがファイルの位置(チャンクサーバのアドレス)を返す クライアントがチャンクサーバが通信してファイルのやり取りをする データの一貫性は無視 dfltweb1.onamae.com – このドメインはお名前.comで取得されています。 世界中のWebのページを格納するには巨大な容量のファイルシステムが必要となりますが、彼らはそれを自分たちで、Scale-outする分散ファイルシステム Google File Sy
Oracle Coherenceの核心、データグリッド技術に迫る! 複数のメモリ空間を横断的に統合する “ミドルウェア・データグリッド”の 先進的テクノロジー オンラインのチケッティングサイトなど、大量のアクセスをリアルタイムに処理しなければならないシステムに、高い可用性と高速なレスポンスを提供するインメモリ・データグリッド基盤の「Oracle Coherence」。複数ハードウェアのメモリ空間を統合して仮想化することで、高いスケーラビリティを持つのも大きな特徴だ。今回はそれらを実現するデータグリッド技術にフォーカスを当てていこう。 なお、Oracle Coherenceが高負荷なWebシステムにどんなメリットをもたらすかは、前編「Oracle Coherenceはミッションクリティカルの常識を変えた!」を参照してほしい。
Oracle Coherence Coherenceは、頻繁にアクセスされるデータを格納する分散型メモリ内システムで、アプリケーションのパフォーマンスを大幅に向上させます。 低レイテンシのデータ・ストレージ キーバリュー・オブジェクト・ストレージ Coherenceは、頻繁にアクセスされるデータをシリアル化されたキーバリューのペアとして、自動シャーディングを使用してJava Virtual Machine(JVM)クラスターに格納します。読み取り、クエリ、書き込みの待機時間は1ミリ秒ほどと高速で、最大限のアプリケーション・パフォーマンスと安定性を実現します。 スケーラビリティと可用性 弾力性 Coherenceは最大限のスケーラビリティとパフォーマンスを確保するために、異なる言語を含む複数のアプリケーションがデータの迅速な読み取りと書き込みを行い、非同期イベント・ストリーミングを大規模な形
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
DHTシステムの仕組みと性能と課題について 報告者 : 駒井秀一 2008 年 9 月 30 日 株式会社ライブドア ネットワーク事業部 通信環境技術研究室 1 はじめに 当報告書では、インターネットシステム、オーバレイネット ワークの概念を整理し、その基礎技術として分散ハッシュテ ーブルと呼ばれる手法を紹介する。分散ハッシュテーブルを 用いたオーバレイネットワークの具体的な一例として、数値 的に探索空間の分割を行う Chord[1]と、経路表を用いる Pastly[2]について詳細に解説する。また、分散ハッシュテー ブルの応用例として、 Pastry アルゴリズムをベースにしてい る BambooDHT[3]実装方法や、実装時の動作について解説 する。 分散ハッシュテーブルに注目が集まる要因の1つは簡潔さ や効率性の高さによる。 分散システム在り方の利点である、耐障害性、規模拡張性、 可
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
今話題のキー・バリュー型データストア(key-value store, KVS)を調べてみたんだけど、どうも見えてこない。 もう1つの、DBのかたち、分散Key-Valueストアとは (1/3) - @IT これ一番良いかも。なぜGoogleの検索で一番上に来ない・・ 「キー・バリュー型データストア」開発者が大集合した夜 - 記者の眼:ITpro これはモノの紹介だけ peer-to-peer の方から来ました (key-value store 勉強会, February 20, 2009) これならちょっと雰囲気は掴める。 OPC Diary: Key-Value Store(s)という流れ 難しく書くとこんな感じ? キー・バリュー型データストア - Float on the flow KVSの概念的なものは分かりやすいかも んー、今ひとつ雰囲気が掴めないけど・・・ 要するに ハッシュ(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く