前回で導入したRuby CLI クライアントツールでコマンドラインからEMRのジョブ実行にトライしたが、しょうもないところでハマりまくった。まずクラスタ作成のため以下コマンドを実行したのだが、”The given SSH key name was invalid” 、keyの名前が不正だよと言われてしまい、起動できない。 $ elastic-mapreduce –create –alive –name “MyTest Cluster” \ –master-instance-type m1.small \ –slave-instance-type m1.small \ –num-instances 3 Keyは前回投稿時に書いた、credentials.jsonファイル内で指定している。AWSのコンソールから確認するKey名、実行環境に設置したKeyファイル名、credentials.jso
今年のテーマの一つはビッグデータということで、そろそろ本格的にMapReduceに手を出そうと思います。 手軽にMapReduceを試してみるのであれば、やはりAWSでしょう。今回はAmazon Elastic MapReduce(Amazon EMR)を動かす方法を簡単にまとめておきます。 実行する処理の例としては、Hadoopのチュートリアルにある処理をそのまま使わせてもらいましょう。与えられたテキスト(英文)に出現する単語を数えるというものです。 実行する処理 与えられたテキストに出現する単語を数える 実行の手順 Amazon EMRにはApache Hadoopが使われています。本来Hadoopを使うためには、Hadoopの環境そのものをセットアップする必要があるのですが、そこをAWSが既にやってくれているわけです。 そのため、手順としては Hadoopのジョブとなるjarファイル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く