MapReduce::Liteで手軽に分散処理 - はこべにっき ♨
「Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)」を読み終えたので，id:naoyaさんの作ったMapReduce::LiteでMapReduceを試してみた．以下は，MapReduce::Liteを使ってみたメモなど．あくまでもメモなので，くわしくMapReduceの勉強をしたいひとは，id:naoyaさんの記事(MapReduce - naoyaのはてなダイアリー)がおすすめです． MapReduceは，MapとReduceの二つを組み合わせて実現できる処理を，分散処理化するGoogleの技術．すばらしい抽象化ですね． id:naoyaさんの作ったMpaReduce::Liteは，MapReduceの仕組みをPerl上で実現したモジュール．ただ，MapReduce::Liteでは，処理をマシンごとに割り当てて分散しているわけではなく，ス
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
