jun009のブックマーク - はてなブックマーク

Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansai pm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと　Java 以外でも MapReduce できます。以下のエントリも合
jun009 2008/06/01
mapreduce

google

hadoop
リンク
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
jun009 2008/05/14
later

hadoop

分散ファイルシステム
リンク
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
jun009 2008/05/12
ソースコード

GFS

algorithm
リンク
京都オフィスの写真 - naoyaのはてなダイアリー
京都オフィスの内装が終わりました。快適です。オフィスが綺麗だと会社に来たくなりますし、ついつい居着いてしまいます。昨日は気づけば開発環境をセットアップするのに夢中になってしまい、帰宅が深夜になってしまいした。オフィスの様子を写真で少し、紹介します。入り口です。エンブレムがあります。お花がいっぱい。ありがとうございます。エンブレムわっしょい。聞くところによると、国産車のエンブレムを作っているのと同じ会社で作ってもらったんだとか。質感が良いです。ガラスパーティション。今のところガラスパーティションで区切られたスペースが二つあります。将来的にはこれが増えていくのだと思います。ほぼ同じ角度から二枚目。反対側のブース。まだ人が居着いてない。もう少しすると、古株スタッフと期待の新入社員数名が引っ越してきます。ここも徐々に埋まっていくことでしょう。窓際カウンター。id:kossy のお気
jun009 2008/04/15
office

hatena

naoya
リンク
1