cloudpackブログ - EMRってなんじゃ？（HiveでS3のログをJSTに変換して1日分をまとめる）
S3のwebホスティングで、ログ出力の設定をしていた場合、ログファイルが大量に出力されます。 その際、ログの記録時間は標準時で出力されており、わかりづらく思っていました。 そこで今回はEMRのHiveを利用し、日本時間の0時～翌日の0時までのログを1ファイルにまとめてみたいと思います。 ○HiveScript HiveScriptは以下のようにします。 まずフォーマット解析用のJARを読み込みます。 add jar /home/hadoop/hive/contrib/hive-contrib-0.8.1.jar; 入力用のテーブルを定義します。 LOCATIONは引数から受け取ります。ネックとなるのは、S3のログは基本的に半角スペース区切りですが、項目の値の中に半角スペースが入り込むため、 「FIELDS TERMINATED BY」句ではなく、SERDEを使用して正規表現でログの1行を項
cloudpackブログ - EMRってなんじゃ？（HiveのDynamicPartitionでファイルを分割してS3に出力）
ある数年分のデータがS3上に1つのファイルとして格納されている場合に、 EMRで年や月単位で分割したいという要望が一部であったため、やってみました。 例として、以下のようなCSVがあるとします。 ○test.csv 2012,01,12,title1,body1 2012,01,22,title2,body2 2012,02,02,title3,body3 2012,03,01,title4,body4 2012,03,11,title5,body5 2012,03,18,title6,body6 2012,04,04,title7,body7 2012,05,02,title8,body8 2012,05,05,title9,body9 2012,06,13,title10,body10 2012,06,14,title11,body11 2012,06,29,title12,body1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
