GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
MOONGIFT: � 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介
企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindows、Mac OSX向けが用意されている。クライアントはインストールするだけで良いの
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Amazon Dynamo – スケーラブルなハッシュテーブルWebサービス | 秋元@サイボウズラボ・プログラマー・ブログ
via O’Reilly Radar Amazonが来週ACMで話すというDynamoというサービスが面白そうだ。 Amazonのウェブサービスは、たとえばS3は「ファイルを置いて、取り出せる」だけだし、EC2はサーバ一台分だけ見ればただのVPSホスティングサービスだ。だけど、必要に応じて支払いを増やすと、好きなだけスケールさせられるし、不要になれば減らすのも簡単なことから、ネットサービスの運営者が固定費について悩まなくて済むようになるという点で便利だし、そんなサービスを提供するにはたいへんな技術力が必要だということはわかる。 Dynamoも同じで、「キーと値のセットを保存して、取り出せる」、とこれだけ。数が少なければスクリプト内の連想配列とシリアライズでも済みそうな機能だけれど、これを複数サーバに分散させて、たいへんな数のキーを突っ込んでも問題なく動作することを保証したサービス、となるら
MapReduce: 大規模クラスタでの簡単なデータ処理 (#318th PTT) - Ogawa::Memoranda
Posted by: Hirotaka Ogawa @ January 26, 2006 11:55 PM | 久しぶりにPTTに参加した(#318th PTT (in Japanese))。東大に行くのもチョー久しぶりということもあって根津の坂をのぼるときには感慨めいたものを感じすらした。 今回はGoogleの林芳樹さんがMapReduceの話をしてくれるとあって異様に盛況だった。20人を切ることも稀でないPTTにあって60人以上の参加者。和田英一先生がイニシャルオーダーの話をしてくださった回には及ばないものの、Googleのネームバリューはすごいのね。話の内容はOSDI04のスライドとほぼ同じだったので参加できなかった方は以下を参照のこと。 MapReduce:Simplified Data Processing on Large Clusters MapReduceフレームワークで気
Google の MapReduce: steps to phantasien t(2005-11-16)
2005-11-16 近況 情報処理学会誌に "skeletal paralell programming" というのが載っていて, よく読んでいないのだけれど要は並列計算のためのライブラリを 作りましょうという話のようだった. MPI を土台にしているらしい. Google の MapReduce が引用されており, そんなものがあったと思いだす. 読んでなかった. そういえば前回の ACM Queue も並列計算と CMP の特集. どうも並列計算が基本技能として要求される日は思ったより近い気がしてきた. 勉強しておいた方がよさそうだ. 手始めに "MapReduce: Simplified Data Processing on Large Clusters" を読んでみた. MapReduce というのは並列計算のためのライブラリで, Google のインフラ(ファイルシステムやクラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www-masu.ist.osaka-u.ac.jp/~kakugawa/lecture/2006/fcs/note/slide1/index.html
TechCrunch Japanese アーカイブ � ヤフーが検索にHadoop採用、グーグルっぽく脱皮を図る
http://cafelounge.net/dev/?Cluster%2FDRBD%2F8