Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
Amazon S3をバックアップストレージに使う - rabbit2goのブログ
パソコンのデータの消失には気を使っているので、複数のバックアップ策を講じている。 各MacにはTime Machine 複数のパソコン間でのバックアップ共有にはDropbox 遠隔地のサーバのバックアップはrsync しかしながら、東日本大震災の被害状況を見ていると「家の中にあるパソコンやストレージ機器が全滅」という事態もあり得るので、いくら複数の機器にデータを分散させていても効果が無いようだ。抜本的には、物理的に離れた場所にデータを保存しておく方が望ましいわけだ。 そんな訳で、バックアップ対策としてAmazon S3を本格的に使い始めた。転送ツールとしては、rsync同様な形で使えるs3syncを使い、cronで定期的にアップロードするように設定した。 「S3Sync」は、rsyncのような使い方で、ローカルディスクの特定部分と「Amazon S3」のストレージ間を同期（ミラーリング）で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
