はてなブックマーク

HiveでSequenceFileかつ圧縮しているのに、容量が生の状態より大きいという状態になっていたのですが、セットすべきパラメータが違ったようです。 The right configuration parameter is: set mapred.output.compression.type=BLOCK; http://mail-archives.apache.org/mod_mbox/hadoop-hive-user/200907.mbox/%3C34fd060d0907272234l732f6ed2h70a136f1b611f046@mail.gmail.com%3E これを設定したらきちんと圧縮されました。 HiveWikiには SET io.seqfile.compression.type=BLOCK; -- NONE/RECORD/BLOCK (see below) htt