SqoopでMySQLからHadoop+Hiveにパーテション作成しながらデータ転送，ベンチマーク付き - なぜか数学者にはワイン好きが多い
※ここで言うパーティションとは，MySQLのパーティションではなく，Hiveのパーティションです 最初，HiveのALTER TABLE ADD PARTITIONって，既に存在するHiveテーブルにあとからパーティションを追加設定できるのかと思ったら，さすがにそんなことはできなくて，こんなエラーを出してしまいました． $ hive -e 'ALTER TABLE game_db ADD PARTITION (dt="2013-11-08") FAILED: Error in metadata: table is not partitioned but partition spec exists: {dt=2013-11-08}DROP TABLEして，Sqoopを呼ぶスクリプトを叩いてテーブルごと作り直しました． 作ったシェルスクリプトはこんな感じです． #!/bin/sh jdbc="
Hiveで大きめの結果ファイルをエクスポートして相手に渡す話 - wyukawa's diary
いろいろな部署でデータ分析するようになると「うちのデータとおまえんところのデータを結合して解析したいからデータをくれ、もしくはおれのデータをおたくのクラスタにインポートしてくれ」みたいな話が出るようになります、たぶん。 1つのHadoopクラスタにデータが全てあってみんなでそこをいじるのであればこのような話は出ない訳ですが、世の中そう話は単純ではないです。 インポート、エクスポート両方の話があると思いますが、こちらのHadoop上のデータを相手に上げる場合を考えてみます。 データ自体はHiveクエリをちょちょっと投げれば取得できます。 このときHiveクエリの結果が少量なら問題無いですが、10GBとかあったらちょっと面倒です。 というのもhiveでselectした結果をリダイレクトしても遅いですし、ちゃんとリダイレクトできているか怪しいです。 HiveServer経由だとfetchするとき
Hive/Hivemallを利用した広告クリックスルー率(CTR)の推定 - Qiita
Hadoop Advent Calendar 2013 2013 12/25のXmasエントリです。 本記事では私が開発しているHadoop/Hive上で動作する機械学習ライブラリのHivemallについて、KDD Cup 2012, Track 2のデータセットを用いて利用方法を解説します。 https://github.com/myui/hivemall 基本的にプロジェクトのWikiサイトにあるKDDCup 2012 track 2 CTR predictionの説明を丁寧にしたものです。a9a binaryやnews20 binaryの方がよりシンプルの例ですので、そちらも参考にして頂ければと思います。 KDD Cup 2012, Track 2のCTR推定タスク このタスクは与えられたセッション情報（ユーザ属性と広告の属性）をもとに、検索エンジンの広告クリック率(Click-Th
マメ研インタビューシリーズ第1回～産業技術総合研究所 油井誠研究員：マーケターもクエリ言語をやりましょう！～ - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
マーケティングメトリックス研究所ではデータ分析に関わる研究者や実務家の方々をお招きしインタビューシリーズにも取り組む運びとなりました。 当サイトにお越し下さる読者の皆様のデータ活用に少しでもお役に立てれば幸いです。記念すべき第1回目は産業技術の幅広い分野の研究を行う国内最大級の公的研究機関である産業技術総合研究所の油井誠研究員をお迎えしてビッグデータを扱う基盤技術や機械学習についてお話を伺います。 2003年芝浦工業大学工学部卒業。奈良先端科学技術大学院大学博士前期・後期課程をそれぞれ短縮修了し2009年3月博士（工学）を取得。2003年7月IPA未踏ユース、スーパークリエータ認定。2009年日本学術振興会特別研究員 (PD 工学)、早稲田大学IT研究機構客員研究員（兼任）。2010年4月より独立行政法人産業技術総合研究所 情報技術研究部門サービスウェア研究グループ研究員、現在に至る。 [
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Batch and Stream processing with SQL
