Amazon S3 を Hadoopの HDFSとして利用するHadoop on Flickr ここ数日こればっかりに悩んでましたが、実際は超簡単。 といってもそこまで詳しくやっていないのでこれできちんと出来ているのかは… Amazon S3をHDFSとして利用する利点は 実質容量無制限 Amazon EC2/S3 間の転送料は不要 クラスタが落ちてもデータは無事? こんなところでしょうか。 AmazonS3 - Hadoop Wiki 実際はここに書いてあるとおりで問題ないです。 これをきちんとわかっていなかったので無駄に苦労してしまった… 今回クライアントで使用したのはHadoop 0.19.1です。 まずは、Amazon EC2上でHadoopを起動させます。 ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 このあたりはbloge
