Pushing the Limits of Amazon S3 Upload Performance
Recently I’ve been working on a project where I’ve got millions of relatively small objects, sized between 5kb and 500kb, and they all have to be uploaded to S3. Naturally, doing a synchronous upload of each object, one by one, just doesn’t cut it. We need to upload the objects in parallel to achieve acceptable performance. But what are the optimal parameters when it comes to the number of simulta
memo: Amazon S3 ベースのEC2をEBSへ移行する。
いまさらな話題だけど、やっとこさAmazon EC2で使っているホストをS3 AMIベースの物から、EBSベース（EBS on root）の物へ移行したので、その時のメモ。 基本的にはAmazon EC2 User Guide – Converting an Amazon S3-Backed AMIに書いてある通りなんだけど、これは、ちょっと情報が少なすぎる。 １）まず、一時的なEBSボリュームを作る。（AWS Management Cosole 等から） ２）そのボリュームを動いているS3ベースのホストにマウントして、ホストの内容をそのままrsyncでコピーする。 スクリプト #!/bin/sh ec2-attach-volume vol-XXXXXXXX --instance i-XXXXXXXX --device /dev/sdh sleep 5 mount /dev/sdh /mn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
