yebo blog: Google GFSライクなグローバルファイルシステムKFS
2007/10/16 Google GFSライクなグローバルファイルシステムKFS Skrentablogによると、Googleの検索技術を支える根幹技術にGoogle File Systemがある。構造の概略は論文になっているが、Linux上に実装されているといっても、そのソースコードは公開されておらずプロプライアタリになっている(GFSを他に公開するとは思えないが)。そこで、Google File SystemとGoogle Map ReduceをJavaで実装しようというプロジェクトがApache内にあり、Hadoopの開発を進めている(HDFS: Hadoop Distributed FilesystemやMapReduceの実装が進んでいる)。また、これをベースにKosmix社がKFSというファイルシステムをApache Licenseで公開しているとか。KFSは現在アルファリリ
GREE Labs 第16回 オープンソーステクノロジー勉強会 にいって来ました - d.hatena.zeg.la
http://labs.gree.jp/Top/Study/20081125.htmlにいってきました メモ書きです、ほとんど資料の板書に近いです。。。 Hadoopの概要と最新の動向 自己紹介 太田一樹さん http://kzk9.net PFI http://prferred.jp Sedueの開発 はてぶ検索 Hadoop概要 Googe基盤のclone GoogleFS MapReduce Yahoo Research Doug Cutting が丸ぱくりで実装 Hadoop、hBaseで構築する大規模分散データ処理システム http://preferred.jp/pub/hadoop.html NTTレゾナントと共同調査 MapReduceとは 大規模データを集める 200億Page 400TB 大量のマシン プロセス起動,監視,通信,debug,最適化 MPI 並列プログラミン
Hadoopのインストールとサンプルプログラムの実行：CodeZine
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce Fr
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
