Pushing the Limits of Amazon S3 Upload Performance
Recently I’ve been working on a project where I’ve got millions of relatively small objects, sized between 5kb and 500kb, and they all have to be uploaded to S3. Naturally, doing a synchronous upload of each object, one by one, just doesn’t cut it. We need to upload the objects in parallel to achieve acceptable performance. But what are the optimal parameters when it comes to the number of simulta
Amazon S3 を Hadoopの HDFSとして利用する
Hadoop on Flickr ここ数日こればっかりに悩んでましたが、実際は超簡単。 といってもそこまで詳しくやっていないのでこれできちんと出来ているのかは… Amazon S3をHDFSとして利用する利点は 実質容量無制限 Amazon EC2/S3 間の転送料は不要 クラスタが落ちてもデータは無事? こんなところでしょうか。 AmazonS3 - Hadoop Wiki 実際はここに書いてあるとおりで問題ないです。 これをきちんとわかっていなかったので無駄に苦労してしまった… 今回クライアントで使用したのはHadoop 0.19.1です。 まずは、Amazon EC2上でHadoopを起動させます。 ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 このあたりはbloge
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
