Amazon Elastic MapReduceでperlを使った処理をしてみる（その2）
前回でperlで書いた処理をAmazon Elastic MapReduce（略称はなんだろ）に食わせるのができたので、 次はCPANモジュールを使いたい。 というときにやっぱり便利なのがlocal::lib。 とりあえず素のdebianに一般ユーザーを作ってそこでlocal:libを使って~/perl5に必要なCPANモジュールを集めた。 これをjarにまとめる “jar cvf perl5.jar -C perl5 .” これをS3にアップロード。 具体的にはApp::Hacheroというログ集計アプリケーションを動かしたかったので、これが入ってる。 mapper.yml, reducer.ymlの各設定ファイルもS3にアップロード。 以下のように適宜pathを通してやって実行。 [danjou@sylvia] $ ./elastic-mapreduce --create \ - st
Amazon Elastic MapReduceでperlを使った処理をしてみる
http://docs.amazonwebservices.com/ElasticMapReduce/latest/GettingStartedGuide/ を読むとAmazon Paymentに誘導されるけどアメリカ国内向けなので使えないっぽい。 http://kzk9.net/blog/2009/04/reviewing_amazon_elastic_map_reduce.html を読んだら https://console.aws.amazon.com/ から触れるとのことで、既存の決済に合算できた。 #!/usr/bin/perl # mapper.pl use strict; use warnings; while (<>) { my ($uri) = ($_ =~ /"(?:GET|POST|HEAD) ([\S]+?) HTTP/); print "$uri\n"; } #!
Amazon Elastic MapReduceでperlを使った処理をしてみる（その3）
Amazon Elastic MapReduceの例で出てくるのは今まで見た限りでは、みんなs3n://で始まるS3 Native FileSystem上にファイルを置いている。 http://wiki.apache.org/hadoop/AmazonS3 にあるように、もう一つ s3://で始まるS3 Block FileSystemというのがある。 これまでS3fsって言ってたけどこれはs3-fuseと紛らわしいし、名前として正しくないのでS3 Block FileSystemと呼ぶべきでした。 で、これを使いたい。 メリットは、以下のように理解してる。 ファイルがブロックに分割されるので、通常5GBまでというS3のファイルサイズの制限を超えられる ファイルがブロックに分割されるので、HDFSと同様Hadoopの各jobtaskに処理を効率よく分散できる デメリットは、たぶんこんな感じ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
