【感想】Kansai.pm第9回ミーティング - プログラマの思索

Kansai.pm第9回ミーティングに行ってきた。 その感想を書く。 【1】Naoyaさんの話～Hadoop Streaming で MapReduce はてなのNaoyaさんの話。 一番興味があったが、期待通りすごく面白かった。 MapReduceとは、GoogleLabの論文に書かれた分散処理の高速アルゴリズムの一つ。 並列計算アルゴリズムの一種で、Googleが使っている。 Googleはこのアルゴリズムを使って、大規模データを多数のサーバーで並列処理させている。 つまり、バッチ処理を高速化したものと言える。 MapReduceのアルゴリズムのイメージは下記のようにすごく簡単。 入力ファイル→map()→シャッフル→reduce()→出力ファイル つまり、計算モデルは、関数型言語の特徴である「map：写像」「reduce：畳込み」の2個の関数を組み合わせただけ。 これは、UnixのP

[miya2000]

MapReduce

[terazzo]

成果を共有し、反復を止めて前進を続ける為に出来る事は何だろう。毎日プレプリントをチェックするのが当たり前、という世界に匹敵するような回路を社会に定着させる方法って何だろう。