「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
いま分散システムが面白い理由 - Blog by Sadayuki Furuhashi
最近 クラウド という単語が流行していますが、「大規模な計算資源を低コストで提供してくれるトコロがあるらしいので、自前で持っていた計算資源を委託しちゃえば運用する手間も知識も要らないし、そもそもサーバーを買う費用を省けちゃうから嬉しい」という発想に基づいているらしく、しかし技術的には 大規模な計算資源を低コストで構築する技術 がポイントでしょう。 大規模な計算資源をどうやって安く構築するか。 従来は、システムの能力を高めるためには、高性能・高機能（それゆえ高価な）マシンを導入するというスケールアップの手法が採られていたのだが、この手法では10倍に性能を上げるために、たとえば30倍のコストがかかるかもしれない。スケールアップと比べてスケールアウトでは、導入したコストにほぼ比例して、パフォーマンスの向上が見込める。 『UNIX magazine 2009年4月号』 p.31 *1 何百万円もす
Geekなぺーじ : All-IP Computing (IPバスコンピュータアーキテクチャ) [ORF2008レポート]
CPU中心のコンピュータではなく、ネットワークが中心となるアーキテクチャを作ってしまおう！という研究です。 村井研究室インターネット・リサーチ・ラボの研究です。 詳しくは、http://www.sfc.wide.ad.jp/All-IP/html/をご覧下さい。 平たく言ってしまうと、バス(Bus)そのものをIP(UDP)の上に乗せてしまうという結構強烈なものです。 インターネットそのものを汎用バスとして位置づけており、パーツやデータといった区別をつけずに何でも送受信しています。 例えば、ORF2008ではCPUの数を動的に変更しながらレイトレーシングを行うデモや、メモリをIP経由で接続するというデモが行われていました。 途中から「CPU」であるデバイスをネットワークにつなげるとレイトレーシングを行いながら描画される画像が表示される速度が上昇するというものです。 利用中に「CPU」をネット
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
YLUG 第88回カーネル読書会 Googleの基盤クローンHadoopについて
YLUG 第88回カーネル読書会 Googleの基盤クローンHadoopについて - 52 min - Jul 4, 2008 () Rate: 発表者: 東京大学 太田一樹 さん 内容： Googleでは１日に何Tものデータが処理され、検索・広告等のサ...all » 発表者: 東京大学 太田一樹 さん 内容： Googleでは１日に何Tものデータが処理され、検索・広告等のサービスに活か されています。このような膨大なデータを処理する為の基盤技術としてGoogle File SystemとMapReduce が使われている事が論文で発表されています。今回 はそのオープンソースクローンであるHadoopの概要と実装について発表します。« Embed video <embed id="VideoPlayback" src="http://video.google.com/googlepla
Erlang 分散システム勉強会レポート - Happy New World
Erlang 分散システム勉強会に参加しました。 すごく得るものが多かったです。無理してでも参加してよかった。 Erlangはまりそう。スマートすぎる。 Erlangに興味を持ったのが、FacebookChatのCometサーバがMochiWebだったからでした。 CouchDBは知らなったのですが、FacebookChatはJSONで帰ってきてたのでもしかしてCouchDBベース？ 追記： id:TAKESAKO さんがFlickrに写真をアップしてくれたようです。 追記2： 発表者全員のスライドのリンクを張り終わりました。（kunitさんthx!） Kai/Dynamo のメカニズムと実装 (takemaruさん, 40分) スライド 75Kqps 使い分け 主キーアクセスs：Dynamo 複雑なクエリー：SimpleDB 大きいファイル：S3 key/value 分散ハッシュテーブル
グーグルデータセンターの内側--明らかにされた独自性
サンフランシスコ発--先日、Googleの秘密が少しだけ明らかになった。 Googleがデータセンター業務を公開することは滅多にないが、米国時間5月28日、GoogleフェローであるJeff Dean氏が業務の一部を話題に取り上げた。28日に当地で開催された「Google I/O」カンファレンスの超満員の聴衆に対して講演を行ったDean氏は、Googleのインフラがいかに独特かを説明しながら、Googleの秘密を少しだけ明らかにした。 Googleはごく普通のサーバを使用している。プロセッサ、ハードドライブ、メモリも同様だ。 一方、Dean氏は、1800台のサーバで構成されるクラスタは、たいしたものではないというわけではないが、ごくありふれていると考えているようだ。しかし、Googleがそのようなハードウェアを使って、700〜1000台のサーバが使われる一般的な検索クエリに0.5秒以下で応
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
【本田雅一の週刊モバイル通信】周辺デバイスをネットワーク経由で使えばMIDの価値は高まる
●IDF上海の注目テーマ 一昨年(2006年)まで米サンフランシスコで行なわれていた春のIntel Developers Forumが中国で開催されるようになって2年目。昨年の北京に引き続き、今年は上海国際コンベンションセンターでその幕を開ける。 今年のテーマの1つは、言うまでもなくIntelアーキテクチャの新しい分岐点となると目されるNehalem(ネハーレン)のアーキテクチャについてだ。Intelはイスラエル・ハイファ開発のプロセッサに関して、これまであまり内部アーキテクチャを公開してこなかったが、Nehalemを開発した米オレゴンのチームはアーキテクチャの公開に積極的で、ある程度の事実が公になると見られる(これは会社の方針というよりも、各開発センターの方針のようだ)。 NehalemのパフォーマンスはPenrynに比べ、同一クロック周波数で相当高いレベルにあると聞き及んでいるが、ラデ
分散プロジェクトの誤謬 - steps to phantasien t(2008-02-26)
タネン本を始めとする分散システムの教科書で必ずとりあげられる話題に "分散コンピューティングの誤謬" がある. 以下 Wikipedia から引用. ネットワークは信頼できる. レイテンシはゼロである. 帯域幅は無限である. ネットワークはセキュアである. ネットワーク構成は変化せず一定である. 管理者は一人である. トランスポートコストはゼロである. ネットワークは均質である. ネットワークプログラミングをしたことがあれば, いずれも該当のバグに思いあたる節があると思う. これらはみな複数台の計算機が関わる際の問題であり, いわばコミュニケーションの問題. 同じ問題は計算機同士に限らず, 人と人の間, 組織の間でもおこる. 順番に例を並べてみる. <伝言や連絡は信頼できる> : できない(よね?) ミーティングには欠席者がいる. 後輩は話を聞いてない. メモもとらない. メールはスパムに
Skynet−新しいRubyのMapReduce
データ処理を分散させるMapReduce設計パターン(source)が2004年にGoogleによって導入され、それにはC++の実装がついてきた。今では、Adam Pisoni氏(サイト・英語)がSkynet(サイト・英語)という名称でリリースした新しいRubyでの実装版が利用可能だ。 Skynetは順応性があり、自動アップグレード機能付きで耐障害性の完全分散型システムで、単一障害点は皆無です。 GoogleのデザインペーパーとSkynetには著しく重要な相違点が2つある。 Skynetが生コードをワーカーに送れないこと。 Skynetはピア・リカバリシステムを利用しており、ワーカーがお互いを監視していること(サイト・英語)。 理由が何であれワーカーが故障する、あるいは機能しなくなると、別のワーカーが気付いて、そのタスクを引き継ぎます。また、Skynetには特別な「マスター」サーバは存在せ
分散OS: 人間を抽象化する - Plan9日記
先週は成人式だったが、WIDEプロジェクトも今年で発足20年だそうな。 About WIDE:ヒストリー WIDEはご存知の通り（？）Widly Integrated Distributed Environmentの略で、その名は大規模で広域におよぶ分散型コンピューティング環境を実現しようという思想を表している。 先日、次世代のインターネットを考えようという集まりで、村井先生も出席されたパネルを聴く機会があった。ここ数年、ネットワーク研究者の間では、アメリカのGENIプロジェクトや日本の新世代ネットワークのように、2020年ごろの実現を目指したポストインターネットを研究しようという話題で盛り上がっている。キーワードは"clean slate design"。つまり、過去のしがらみを忘れて、「白紙｣状態からインターネットを設計し直そうとしている。 新しいネット・アーキテクチャー構想『GENI
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 − ＠IT
2007/11/26 2007年11月24日、「楽天テクノロジーカンファレンス2007」において、Ruby言語の開発者で楽天技術研究所フェローのまつもとゆきひろ氏は、開発中の大規模分散処理基盤「Roma」（ローマ）と「Fairy」（フェアリー）のコンセプトを語った。研究段階ではあるものの、米グーグルなど世界トップクラスのネット企業だけが持つ大規模分散処理技術に真っ向から挑戦する試みだ。 米グーグル、米ヤフー、米アマゾンなど世界トップクラスの大手ネット企業は、巨大なトラフィックに対処するため、大規模データセンターの信頼性、可用性、性能などを確保する大規模分散処理基盤の研究開発を進めている。最近では、こうした大規模分散処理基盤は“ウェブOS”と呼ばれることもあり、注目を集めている。つまり世界トップクラスのネット企業は“ウェブOS”を自社開発しているわけだが、楽天でも国産の“ウェブOS”が生まれ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オピニオン：マルチプロセッサ・コンピューティングの課題は、単に技術的な問題の域を越える