yebo blog: Google GFSライクなグローバルファイルシステムKFS
2007/10/16 Google GFSライクなグローバルファイルシステムKFS Skrentablogによると、Googleの検索技術を支える根幹技術にGoogle File Systemがある。構造の概略は論文になっているが、Linux上に実装されているといっても、そのソースコードは公開されておらずプロプライアタリになっている(GFSを他に公開するとは思えないが)。そこで、Google File SystemとGoogle Map ReduceをJavaで実装しようというプロジェクトがApache内にあり、Hadoopの開発を進めている(HDFS: Hadoop Distributed FilesystemやMapReduceの実装が進んでいる)。また、これをベースにKosmix社がKFSというファイルシステムをApache Licenseで公開しているとか。KFSは現在アルファリリ
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
IBMが都内にクラウド検証施設、Hadoopのデモも実施 ― ＠IT
日本IBMは8月1日、都内の日本IBM 晴海事業所内にクラウド・コンピューティングの検証施設「IBM クラウド・コンピューティング・センター＠Japan」を開設したと発表した。クラウド・コンピューティングのビジネスメリットを顧客に提案したり、新しいシステム環境を検証する場として活用する。IBMによるとクラウドの検証施設の開設は日本で初めて。 IBMは世界各地でクラウド・コンピューティングの検証施設を設けていて、東京の開設は5番目。会見した米IBMのIBMソフトウェア・グループ ハイ・パフォーマンス・オンデマンド・ソリューションズ担当ストラテジー・バイス・プレジデントのウィリー・チゥ（Willy Chiu）氏は「このようなセンターを世界中に開設することで、クラウドのメリットを知ってもらい、顧客のビジネスをサポートしたい」と話した。「センターの数は今後数カ月で2倍にしたい」とも述べ、IBMとし
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
カイハツニッキ(2008-02-12)
_ [ソフトウェア] hadoop + hypertable 先日話題になっていたHypertableなのですが、まさにこういうものが欲しいなー、と思ってflaredとかを作り始めてみたわけなので興味津々眺めてみました...。そのうち4台くらいに入れて負荷かけてみたいのですがまだちょっと時間が取れないのでまずはドキュメントを眺めてみました。 そもそもHypertableができること、というのはよくある(?)key-value分散ストレージです(が、単純にkeyからvalueを引くというオペレーションよりは複雑あるいは細かい処理が可能なようです)。 そのHypertableは、Range Serverとよばれる実際のデータを格納するn個のサーバプロセスと、Master Serverとよばれる1つのコントロールプロセス、そしてHyperspaceというn + 2個のプロセスによって成り立つのだ
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
楽天、分散ストレージ「Roma」と分散処理基盤「Fairy」の概要を公開 | gihyo.jp
2007年11月24日、楽天の新社屋である楽天タワーにてイベント「楽天テクノロジーカンファレンス2007」が開かれました。 楽天はプログラミング言語Rubyの開発者まつもとゆきひろ氏を技術研究所のフェローとして迎えているのですが、このカンファレンスにてまつもと氏により、Rubyで開発を進めている分散ストレージ「Roma」と分散処理モデル「Fairy」の概要が発表されました。どちらも数千台ものサーバを使って大規模な処理を効率的に行うための基盤となる技術です。 今後、CPUクロック成長の限界、マシン1台あたりのコストや故障への対応などを考えると、マシンをたくさん並べてスケールする方法がより一般的になることでしょう。そうなると、こういった分散処理技術が必要になるため、楽天にとってRomaやFairyが重要な基盤になっていくことでしょう。 ちなみに、GoogleではGFS（Google File
Matzにっき(2007-10-10)
<< 2007/10/ 1 1. [Ruby] ロゴコンテスト締め切り 2. [Ruby] Rubyで自治体の業務システム構築、松江で実証実験 − ＠IT 3. On Off and Beyond: 何かを好きになるために努力すること 4. U-20プロコン表彰式 5. 経済産業大臣表彰 2 1. [言語] プログラミング言語「ドリトル」 - Dolittle 2. [Ruby] 【CEATEC】東芝がCell上でRubyを使った家電向けユーザー・インタフェースをデモ：ITpro 3 1. [言語] The Transterpreter 2. 5時間以下の睡眠続け死亡率1.7倍に 7時間寝よう｜Ameba News 3. This is making me angry 4. [Ruby] Ruby on Rails Development: Justify Your Choice of R
グーグルキラーとなるか--オープンソースで分散型のグーグルクローンを作る:コラム - CNET Japan
情報開示：本記事の著者であるEmre Sokulluは、2007年3月に検索エバンジェリストとしてHakiaに加わっている。以下の記事はいかなる意味においてもHakiaの見解を代表するものではなく、Emreの個人的な意見である。 Googleは若いマンモスのようなものだ。すでに十分強いが、まだ成長の最中だ。四半期決算は良好で、オンライン広告スペースに対する評価が上がっていることは、GoogleがNASDAQでの勢いを維持する最大の要因になっている。しかし、ここで土俵の外側からGoogleキラーのシナリオを考えてみることにしよう。読者の方はわたしがオープンソースで頭がいっぱいだということをご存じかもしれないが（例えばopenhumanやsimplekdeなどのわたしのプロジェクトから）、これを反映して、わたしの提案はオープンソースに基づくものだ。これをGoogle@Homeと呼びたい。 最初
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBase Leads Discuss Hadoop, BigTable and Distributed Databases
TechCrunch Japanese アーカイブ � ヤフーが検索にHadoop採用、グーグルっぽく脱皮を図る
Apache Hadoop のプロジェクト詳細