Hiveでのプレースホルダ置換 - wyukawa's diary
Hiveのテーブルで日付毎にパーティションを作るってよくやりますよね。 でもってこんな感じのクエリなげたりしますよね。 select count(distinct user_id) from daily_log where yyyymmdd='20131201' で、もし１ヶ月分の日ごとのUUが欲しいとか言われたら select count(distinct user_id) from daily_log where yyyymmdd='<<YYYYMMDD>>' という感じのテンプレートuu.templateを用意して、 下記のようなシェルを実行しますよね。てか僕はしてました。要はsedで置換してファイルつくってそれを実行みたいな感じです。 seq -f 2013%g 1201 1231 | while read yyyymmdd do echo ${yyyymmdd} sed -e "
今日からはじめるお手軽 Hive データ移行 - mixi engineer blog
こんにちは． 昨年知人のオーケストラ演奏会で聴いたメンデルスゾーン交響曲第４番「イタリア」が大好きな，技術部の石川有です． そんな「イタリア」大好きな私ですが Hive のデータ移行も大好きという体で， 今回の記事ではオンプレミスで Hive を頑張って運用している方たちに向けて，どうしてもというときの Hive のデータ移行方法を紹介したいと思います． 弊社では最近，Cloudera's Distribution including Apache Hadoop 3 update 2 (CDH3u2) から CDH 4.1.2 にバージョンアップを行なっています． このようにオンプレミスで Hive を運用している方たちの中には，すでに持っているデータをうまく移行したいという方も多いかと思います． Hive には現状 MySQL の mysqldump のような機能が提供されていないのでバ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
