cloudpackブログ -EMRってなんじゃ？（別アカウントのS3に入出力）
EMRを使用して、別アカウントのS3バケットにアクセスしたい時があります。 ここでは例として、アカウントAのEMRからアカウントBのS3のログを集計して、アカウントBのS3バケットへ 出力してみます。 まず、アカウントBのS3バケットのACLを設定します。 方法は以前の記事「S3ってなんじゃ？（S3のログファイルを別アカウントでダウンロード）」と同じように SDKで設定します。 $src = 'memorycraft-log';//入力ログバケット $target = 'memorycraft-archive';//出力先バケット $owner_canonical_id = 'オーナー(アカウントB)の標準ユーザーID'; $other_canonical_id = '別アカウント(アカウントA)の標準ユーザーID'; $s3 = new AmazonS3(array('key'=>'オー
cloudpackブログ - EMRってなんじゃ？（HiveでS3のログをJSTに変換して1日分をまとめる）
S3のwebホスティングで、ログ出力の設定をしていた場合、ログファイルが大量に出力されます。 その際、ログの記録時間は標準時で出力されており、わかりづらく思っていました。 そこで今回はEMRのHiveを利用し、日本時間の0時～翌日の0時までのログを1ファイルにまとめてみたいと思います。 ○HiveScript HiveScriptは以下のようにします。 まずフォーマット解析用のJARを読み込みます。 add jar /home/hadoop/hive/contrib/hive-contrib-0.8.1.jar; 入力用のテーブルを定義します。 LOCATIONは引数から受け取ります。ネックとなるのは、S3のログは基本的に半角スペース区切りですが、項目の値の中に半角スペースが入り込むため、 「FIELDS TERMINATED BY」句ではなく、SERDEを使用して正規表現でログの1行を項
cloudpackブログ - EMRってなんじゃ？（Bootstrap Actionで実行時メモリ使用量を設定する）
EMRを実行する際メモリが足りないため、エラーになる場合があります。 その対応として、EMRではクラスタのJavaのメモリ指定ができるので試してみました。 EMRはジョブフローを起動するときに、Bootstrapアクションを指定できます。 また、AWSコンソールでジョブフローを起動する場合は、ジョブフロー作成のダイアログ中にBootstrapアクションを 設定できます。 「BOOTSTRAP ACTIONS」のフェーズで「Configure your Bootstrap Actions」を選択すると以下のような画面が 出てきます。 Action Typeにはいくつかあり、監視ツールの「Install Ganglia」や「Memory Intensive Configuration」などの プリセットとカスタムアクションがあります。 「Amazon S3 Location」欄にS3上のアドレ
cloudpackブログ - EMRってなんじゃ？（EMRの詳細なログをみる）
EMRを使用していてステップ途中でエラーが発生した場合、デバッグ用のログ出力先を設定すると実行ログを AWSコンソール上で確認することができます。 例として、S3のログバケットをまとめるHiveScriptを動かした時のエラーを見てみます。 上記の図にあるようにエラーが発生しています。 LogURIを指定していると、このようにコンソールからLogFileとして確認することができます。 エラーが起こった3番目のステップのそれぞれのリンクを見てみると以下のようになっています。 ・controller 2013-03-11T11:31:41.005Z INFO Fetching jar file. 2013-03-11T11:31:48.146Z INFO Working dir /mnt/var/lib/hadoop/steps/3 2013-03-11T11:31:48.146Z INFO
cloudpackブログ - EMRってなんじゃ？（HiveScriptの場合）
以前紹介した記事「EMRってなんじゃ？（HiveのDynamicPartitionでファイルを分割してS3に出力）」では、 EMRクラスタにSSHでログインし、hiveコンソールで直接クエリを実行しました。 通常のプログラムなどからの場合、HiveScriptで起動と同時に実行することが多いと思います。 そこで、以前の手動での実施との違いを紹介します。 HiveScriptの場合、スクリプトファイルの場所とオプションで、入力ファイルのS3ロケーションと 出力ファイルのS3ロケーションなどを設定します。 以前行った通り、入出力のロケーションについてはHiveScript中にEXTERNAL TABLEとして記載できるため、 ここではHiveScriptのみの設定で問題ありません。 ただしHiveScriptの場合、スクリプトのS3ロケーションの内容を以前と少し変える必要があります。 以前は入
cloudpackブログ - EMRってなんじゃ？（HiveのDynamicPartitionでファイルを分割してS3に出力）
ある数年分のデータがS3上に1つのファイルとして格納されている場合に、 EMRで年や月単位で分割したいという要望が一部であったため、やってみました。 例として、以下のようなCSVがあるとします。 ○test.csv 2012,01,12,title1,body1 2012,01,22,title2,body2 2012,02,02,title3,body3 2012,03,01,title4,body4 2012,03,11,title5,body5 2012,03,18,title6,body6 2012,04,04,title7,body7 2012,05,02,title8,body8 2012,05,05,title9,body9 2012,06,13,title10,body10 2012,06,14,title11,body11 2012,06,29,title12,body1
cloudpackブログ - EMRとMahoutで「この商品を買った人はこんな商品も買っています」
以前、Elastic MapReduceでMahoutを使ってリコメンデーションの記事でEMR上でMahoutを使って、リコメンデーションを試してみました。 今回は、同様にEMR & Mahoutで、「この商品を買った人はこんな商品も買っています」を試してみました。 実際試すにあたり、MahoutのItemSimilarityJobを利用したのですが、下記の情報が大変参考になりました。 (感謝いたします) [Hadoop]Hadoop上でMahoutを使って「このアイテムを見た人は、 こちらのアイテムも見ています」というレコメンドをやってみる | GENDOSU@NET ○S3にMahoutライブラリ(JAR)を配置 ライブラリ自体は、Index of /net/apache/mahout/0.7よりダウンロードしました。 ○S3に作業領域を作成 入力ファイルの配置先(input)とログの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
