Apache Hiveにハマり続けている毎日 - なぜか数学者にはワイン好きが多い
私自身はHiveなんていらないんですよ．．．テキストファイルを自前でパースして集計したり統計取ったり，データを学習させるのが仕事なんですが，自分でプログラム組んだ方が早いので． でも，どうしてもSQLライクなアクセス方法は，会社では捨てられないです．なので，入ってくるデータをせっせとHiveに入れているわけです． そこで今日，ハマったのはたくさんあるのですが，大きくは二点． シェルスクリプトとシェルコマンドラインの違いに気をつけよう Sqoopで，MySQLからHiveにスキーマだけ転送しようとしました． 普段はシェルスクリプトの中に，次のようなコマンドを埋め込んでいました． sqoop import --connect "jdbc:mysql://mysqlserver:3306/testDB" --username user1 --password pass1 --query "SEL
Spark SQL with Hadoop Hiveにハマる - なぜか数学者にはワイン好きが多い
Sparkのビルドが簡単に成功したので，調子に乗りました． Sparkのビルドが簡単すぎた件について - なぜか数学者にはワイン好きが多い Spark-shellを使って既にデータがHDFS上に大量に蓄積されているHiveにアクセスしてみようとしてハマりました． scala> val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc) <console>:12: error: object hive is not a member of package org.apache.spark.sql val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc)org.apache.spark.sql.hiveが無いだと．．．？と思ってspark-assembly-1.0.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
