タグ

クラウドとHiveScriptに関するcloudpackのブックマーク (1)

  • cloudpackブログ - EMRってなんじゃ?(HiveScriptの場合)

    以前紹介した記事「EMRってなんじゃ?(HiveのDynamicPartitionでファイルを分割してS3に出力)」では、 EMRクラスタにSSHでログインし、hiveコンソールで直接クエリを実行しました。 通常のプログラムなどからの場合、HiveScriptで起動と同時に実行することが多いと思います。 そこで、以前の手動での実施との違いを紹介します。 HiveScriptの場合、スクリプトファイルの場所とオプションで、入力ファイルのS3ロケーションと 出力ファイルのS3ロケーションなどを設定します。 以前行った通り、入出力のロケーションについてはHiveScript中にEXTERNAL TABLEとして記載できるため、 ここではHiveScriptのみの設定で問題ありません。 ただしHiveScriptの場合、スクリプトのS3ロケーションの内容を以前と少し変える必要があります。 以前は入

    cloudpackブログ - EMRってなんじゃ?(HiveScriptの場合)
  • 1