R言語で MapReduce −Hadoop Streaming− - hamadakoichi blog統計解析・データマイニングに特化した言語である R言語。 Hadoop Streaming を使った R言語でのMapReduce実装を以下に紹介。 Hadoop Streaming で標準入出力を用いデータの受け渡しを行い、files オプションで R の mapper, reducer を配布し実行。 例えば、WordCountはR言語のMapReduce実装で以下のように書ける。 mapper.r #!/usr/bin/Rscript con = file(description="stdin",open="r") while (length(line <- readLines(con, n = 1, warn = FALSE)) > 0) { line <- unlist(strsplit(line, "\t")) for(word in line){ cat(sprintf("%
