エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Amazon EMRでCustomJarを作成して実行する方法 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Amazon EMRでCustomJarを作成して実行する方法 - Qiita
今更といえば今更だが、意外と情報が少なかったので、Amazon EMRにて、CustomJarを作成して実行する方法... 今更といえば今更だが、意外と情報が少なかったので、Amazon EMRにて、CustomJarを作成して実行する方法をまとめてみる。 実装する処理は、みんな大好きWord Countです。 手順概要 MapReduceの処理を実装したjarファイルを作る 作成したJarファイルをAmazon S3へアップロードする ログファイル出力ディレクトリ、入力ファイルを用意する EMRクラスターを立ち上げる ジョブを実行する Hadoopの処理を実装したjarファイルを作る Jobの内容を設定するMainメソッド、Mapperクラス、Reducerクラスを実装し、Jarを作成する。 Jarを作るために、今回はMavenを使用する。 ポイントとなるのは、hadoop-core以外で追加で使用するJarがある場合には、「maven-assembly-plugin」などを使って、依存するJarを一つにまと