Hadoopを使うメリットを２つ挙げてみる - (ﾟ∀ﾟ)o彡 sasata299's blog

2010年09月29日19:34 Hadoop Hadoopを使うメリットを２つ挙げてみる 最近では、Hadoop を使ってるよー、という声もちらほら聞こえてきました。しかし、名前ばかりが先行していて、「一体何が凄いのかよくわからない」、「Hadoop を使うと何が嬉しいの？」という人も多いのではないでしょうか。そこで Hadoop を使うメリットとは一体なんなのかを改めて書いてみようかと思います。 Hadoop を使うメリット、僕は２つあると思っています。 (１) たくさんのサーバを使って分散処理できる これは多分ほとんどの方がご存知なのではないでしょうか？というかこれぞまさに Hadoop を使うメリットでしょ？って感じですね。大規模なデータを扱う際に、１台ではなく10台とか20台とか使えばそりゃあ早くなるよねって話です :-D とは言っても Hadoop 登場以前は、特定のサーバが壊

[a2ikm]

「同じ key のデータは必ず同じ Reduce に、しかも sort された状態で渡される」keyをユニークに扱う場合にその直前のkeyと一致するか否かだけを見ればよく、メモリ効率が良い