S3にある数年分のデータが1つのファイルに含まれていて、EMRで年や月単位で分割したいという要望が一部であったので、やってみました。 例として、以下のようなCSVがあるとします。 test.csv 2012,01,12,title1,body1 2012,01,22,title2,body2 2012,02,02,title3,body3 2012,03,01,title4,body4 2012,03,11,title5,body5 2012,03,18,title6,body6 2012,04,04,title7,body7 2012,05,02,title8,body8 2012,05,05,title9,body9 2012,06,13,title10,body10 2012,06,14,title11,body11 2012,06,29,title12,body12 2012,07
![EMRってなんじゃ?(HiveのDynamicPartitionでファイルを分割してS3に出力)](https://cdn-ak-scissors.b.st-hatena.com/image/square/6d81c0d75f336656716154d560f4f6ae87c8c034/height=288;version=1;width=512/http%3A%2F%2F2.bp.blogspot.com%2F-hjRvLId3swE%2FUQZPZilMiqI%2FAAAAAAAADC8%2Fmrnyk2HvIr4%2Fw1200-h630-p-k-no-nu%2FS3%2BManagement%2BConsole-21-1.jpg)