Hadoop - Tech Note

mapred.child.java.opts の設定は、JobConf実行時に設定可。 (hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある) public class Test { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(Test.class); conf.setMapperClass(Map.class); // 子JVMの最大ヒープサイズを設定 conf.set("mapred.child.java.opts", "-Xmx512m"); ... } } SequenceFile SequenceFile は、<key, value>形式でデータを保持する。テキストをそのままMapで読み込むと、keyにバイトオフセット、

[pandazx]

gzipはファイル単位でしか分散されない。LZOがオススメ