パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
S3のwebホスティングで、ログ出力の設定をしていた場合、ログファイルが大量に出力されます。 ログの記録時間は標準時で出力されていてわかりづらいです。 今回はEMRのHiveを利用して、日本時間の0時〜翌日の0時までのログを1ファイルにまとめてみたいと思います。 HiveScript HiveScriptは以下のようにします。 まずフォーマット解析用のJARを読み込みます。 add jar /home/hadoop/hive/contrib/hive-contrib-0.8.1.jar; 入力用のテーブルを定義します。LOCATIONは引数から受け取ります。 ネックとなるのは、S3のログは基本的に半角スペース区切りですが、項目の値の中に半角スペースが入り込むため、「FIELDS TERMINATED BY」句ではなく、SERDEを使用して正規表現でログの1行を項目分けします。 今回は日付フ
KAIZEN platform社「planBCD」のスマホWEB対応&日本語対応をリリース。スマホサイトのA/Bテストが1分で簡単に実施可能に!技術顧問に元はてな・GREEの伊藤直也氏を迎え、国内事業を加速。 09 Oct 2013 WEBサービスのUI改善を簡単に実現できるプラットフォーム「planBCD」を運営するKAIZEN platform Inc.(本社:米国カリフォルニア州、CEO:須藤憲司、以下 KAIZEN platform)は、これまでPC向けに展開していた「planBCD」のスマートフォン向けWEBサイト対応機能をリリースしました。 それに合わせてこれまで英語版のみだったサービスの日本語化対応も完了し、本格的に国内向けのビジネスを加速させていきます。 8月より大手企業向けにサービス提供を開始しているA/Bテスト管理プラットフォーム「planBCD」は提供企業が10社を超
【野球】落合博満を雇う条件wwwwwwwwww 2013年10月08日14:01 Category : 野球議論/野球雑談 | 監督/コーチ | コメント( 100 ) Tweet 引用元: http://hayabusa.2ch.net/test/read.cgi/livejupiter/1380626652/1: 風吹けば名無し 2013/10/01 20:24:12 ID:bundqZ+q ・監督としての年俸は推定1億+出来高払い ・コーチやスコアラーの給与は落合が決めてそれを支払わなければならない (コーチに関しては最低2000万といわれている) ・コーチ人事など含めて全権委任(球団OBへの配慮などない) これはムリやろ・・・、むしろ中日が8年も我慢したほうがすごいレベル 203: 風吹けば名無し 2013/10/01 20:42:31 ID:mIkPh6yt >>1に間違えてる場
【野球】平田良介 (25) .289 15本 55打点 OPS.853 2013年10月08日07:01 Category : 野球議論/野球雑談 | 中日 | コメント( 57 ) Tweet 引用元: http://hayabusa.2ch.net/test/read.cgi/livejupiter/1381006840/1: 風吹けば名無し 2013/10/06 06:00:40 ID:5wgmMPuG 来年どうなるやろな 3: 風吹けば名無し 2013/10/06 06:01:43 ID:A7857TiE 思ったよりいい 5: 風吹けば名無し 2013/10/06 06:02:22 ID:E70jfXdu なんやこの中距離打者みたいな数字 8: 風吹けば名無し 2013/10/06 06:03:24 ID:q/tYc3BH 打率凄い勢いで上がってるな 10: 風吹けば名無し 201
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く