NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
グーグルデータセンターの内側--明らかにされた独自性
サンフランシスコ発--先日、Googleの秘密が少しだけ明らかになった。 Googleがデータセンター業務を公開することは滅多にないが、米国時間5月28日、GoogleフェローであるJeff Dean氏が業務の一部を話題に取り上げた。28日に当地で開催された「Google I/O」カンファレンスの超満員の聴衆に対して講演を行ったDean氏は、Googleのインフラがいかに独特かを説明しながら、Googleの秘密を少しだけ明らかにした。 Googleはごく普通のサーバを使用している。プロセッサ、ハードドライブ、メモリも同様だ。 一方、Dean氏は、1800台のサーバで構成されるクラスタは、たいしたものではないというわけではないが、ごくありふれていると考えているようだ。しかし、Googleがそのようなハードウェアを使って、700〜1000台のサーバが使われる一般的な検索クエリに0.5秒以下で応
【詳報】「Google App Engine」ってなんだ − ＠IT
2008/04/08 米グーグルは3月7日、「Google App Engine」を発表し、ついにクラウド向けサービスに参入した。この市場では米アマゾンが先行。フルスタックのWebアプリケーション環境を提供することを武器に、グーグルは新たな開発者の取り込みを狙う。Google App Engineの速報記事はこちら。 公開したGoogle App Engineのプレビュー版は1万人の限定サービス。大量のドキュメントとWindows、Mac、Linux向けのSDKがすでに用意されている。 Google App Engineのメリットはグーグルの各サービスを運用する高信頼なインフラを使って、Pythonで書いたアプリケーションを実行できることだろう。インフラとは具体的には分散ファイルシステムの「GFS」や、データストレージシステムの「BigTable」だ。Google App Engineのブ
plaggerとMapReduce - YuichiTanakaの日記
本屋で日経ソフトウェアという雑誌を立ち読みしてたら、結城浩さんの連載でplaggerについて語っていた。なんとなくplaggerってperlの人たちのための話なんでしょ？と勝手に思ってて、ちょっと敬遠していたんだけど、結城さんの記事を読む限り、plaggerってMapReduceと同じだなと思った。それで俄然興味津々。 MapReduceに関しては、こちらの記事がすばらしいので、私が何も言う必要はないと思うけど、とても簡単に言うと、Googleが提案した、大量の分散したデータそれぞれにある処理を加え、その後に（必要に応じてフィルタリングしてから）それらを一つにまとめる、というプログラミングモデルの事（だと私は理解している）。こういったモデルに基づいてプログラムを書いても結構色々な事ができるみたいで、現にGoogleではMapReduceの論文が書かれた時点でMapReduceライブラリを使
グーグル、無限への挑戦 (BusinessWeek)：NBonline(日経ビジネス オンライン)
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン Stephen Baker （BusinessWeek誌シニアライター、ニューヨーク） 米国時間2007年12月13日更新 「Google and the Wisdom of Clouds」 「データ量が今の1000倍になったとしたら、君ならどうする？」 この質問をされると、それまで自信満々で入社面接に臨んでいた若者はしどろもどろになってしまう。 今や超難関、米グーグル（GOOG）の採用面接でのひとコマである。質問を投げかけるのは、上級ソフトウエアエンジニアのクリストフ・ビシグリア氏（27歳）。ほっそりとした体格と、ウエーブのかかった長髪のビシグリア氏が試しているのは、目の前にいる大学生が「グーグラー（グーグル社員）」流の発想法について来られ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopの解析資料
Amazon.co.jp： Googleを支える技術 ‾巨大システムの内側の世界 (WEB DB PRESSプラスシリーズ): 西田 圭介: 本
PAC Learner: Hadoop Links