【感想】Kansai.pm第9回ミーティング - プログラマの思索Kansai.pm第9回ミーティングに行ってきた。 その感想を書く。 【1】Naoyaさんの話～Hadoop Streaming で MapReduce はてなのNaoyaさんの話。 一番興味があったが、期待通りすごく面白かった。 MapReduceとは、GoogleLabの論文に書かれた分散処理の高速アルゴリズムの一つ。 並列計算アルゴリズムの一種で、Googleが使っている。 Googleはこのアルゴリズムを使って、大規模データを多数のサーバーで並列処理させている。 つまり、バッチ処理を高速化したものと言える。 MapReduceのアルゴリズムのイメージは下記のようにすごく簡単。 入力ファイル→map()→シャッフル→reduce()→出力ファイル つまり、計算モデルは、関数型言語の特徴である「map：写像」「reduce：畳込み」の2個の関数を組み合わせただけ。 これは、UnixのP
