GoogleのMapReduceはとても便利な技術 - llameradaの日記GoogleのMapReduceはとても便利な技術である（使えないけど）。特に、ある単語（例えばGoogle）が出現した全てのテキスト・ファイル名を抜き出す際に便利だ。 このタスクは、ファイル数が１万ならば簡単に解ける。ワン・ライナーで十分である。例えば、Rubyならばこんな感じだろう。 ruby -rfind -renumerator -e "Find.to_enum(:find, '/tmp/textdir/').each{|fn| \ File.file?(fn) and open(fn).read =~ /google/ and puts fn}" ところがファイル数が10億となった場合、このタスクはとたんに非常に難しいタスクとなる。それは並列処理が要求されるからである。1ファイル10KBとしても、10億のファイルのサイズは10TBとなる。これだけのサイズのデータを取り扱うには並列
