Apache Sqoopを使ってみる その2 - Qiita
前回のApache Sqoopを使ってみるに引き続きSqoopネタです。 前回は、インポート（MySQL -> HDFS ）を試しましたが、今回は、MySQLから直接Hiveテーブルに転送します。 とは言うものの、Hiveへの転送は、--hive-importオプションをつけるだで、Hiveテーブルの作成からINSERTまで行ってくれます。 [root@sandbox ~]# sqoop import --connect jdbc:mysql://localhost/sqoopsample --table employees -m 1 --hive-import ... ... Time taken: 3.121 seconds Loading data to table default.employees Table default.employees stats: [numFiles=
Sqoopの動作オプション（import編）
いや多分export編やcodegen編等々は書きませんが、、Sqoopのimportコマンド実行時のオプションについて。 SqoopはHadoop上でのデータのImport/Exportに最適化されており、特に実運用的にはHiveテーブルへのImport/Export機能が便利です。 この記事ではSqoopのRDBMS→HDFS/Hiveへのデータインポート機能について書きます。 ◯基本的な動かし方。 Sqoopの基本機能はコマンドラインツールとして用意されています。 ${SQOOP_HOME}/bin/sqoop import [options…] オプションに色々な設定項目を指定するのですが、このオプションの種類が多い・・・ http://sqoop.apache.org/docs/1.4.1-incubating/SqoopUserGuide.html#_syntax いくつかに分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BCP performance on Sqoop EXPORT to SQL Server from Hadoop
Sqoop Documentation (v1.4.6)
Blog - LINE ENGINEERING
