Hadoopで分散処理するときにはmapとreduceのタスクの数を指定すべし - (ﾟ∀ﾟ)o彡 sasata299's blog

2009年08月21日09:38 Hadoop Hadoopで分散処理するときにはmapとreduceのタスクの数を指定すべし 最近、悪戦苦闘しながら大規模分散計算フレームワークである Hadoop を使っているささたつです。どうもこんにちわ。彡(=ﾟωﾟ)ﾉ彡 ＜ｺﾆﾁﾜ- そもそも Hadoop というのは、 HadoopはApacheの1プロジェクトとして開発が進められているJavaで書かれたソフトウェアで、グーグルの大規模データ処理基盤技術である「Google File System」（GFS）、「MapReduce」をオープンソースで実装したもの。多数のサーバを使って大規模なデータ処理が行える。 というものです。要は大量のデータを処理するときに、複数台のサーバで分散処理してあげれば処理が早くなるでしょーというわけで、そのためのフレームワークです。 分散処理を自分でやるとなると特定

[syou6162]

これ設定したほうがいいのかなぁ?

[hirsato]

i