Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
ローカルファイルを S3 に同期する init スクリプト | はったりエンジニアの備忘録
Auto Scaling を使っているとスケールインによってインスタンスが Terminate されるので、ログファイルは Fluentd などを使ってログサーバ（もしくは S3 などのストレージ）に集約していると思います。 基本的に Fluentd を使っておけばいいのですが、 ログ集約にリアルタイム性を求められない（バックアップ用途など） ユーザーがアップロードしたバイナリファイルを集約したい といった場合には向いていません。 もっと簡単にローカルのファイルを S3 に同期したかったので Amazon Linux 向けの init スクリプトを書きました（最初のコミットは 2014 年ですが最近まで放置してました…）。 manabusakai/s3-sync: Upload the log file to Amazon S3. 使い方は init スクリプトと conf ファイルを置く
Amazon S3をバックアップストレージに使う - rabbit2goのブログ
パソコンのデータの消失には気を使っているので、複数のバックアップ策を講じている。 各MacにはTime Machine 複数のパソコン間でのバックアップ共有にはDropbox 遠隔地のサーバのバックアップはrsync しかしながら、東日本大震災の被害状況を見ていると「家の中にあるパソコンやストレージ機器が全滅」という事態もあり得るので、いくら複数の機器にデータを分散させていても効果が無いようだ。抜本的には、物理的に離れた場所にデータを保存しておく方が望ましいわけだ。 そんな訳で、バックアップ対策としてAmazon S3を本格的に使い始めた。転送ツールとしては、rsync同様な形で使えるs3syncを使い、cronで定期的にアップロードするように設定した。 「S3Sync」は、rsyncのような使い方で、ローカルディスクの特定部分と「Amazon S3」のストレージ間を同期（ミラーリング）で
EC2 での AMI 作成手順 - hyoromoのブログ
前々回は、インスタンスの起動・停止・確認まで進みました。そして、今回は AMI の作成を行いたいます。 作成理由は、EC2 をシャットダウンするとディスクに保存した内容が失われてしまうのですが。AMI を作成することにより、作成した時点のディスク内容でインススタンス起動できます。*1 今回も CodeZine に沿った形で作業を進めて行きます。今回の内容は２ページ分ですね。 事前情報 AMI は S3 に転送して保存する EC2 から S3 への転送料は課金対象外 イメージ化されるディレクトリは「/dev/sda1」のみ インスタンス 前々回の方法で、インスタンス起動まで進めます。 ssh 接続 今回は『AWS Management Console』を利用した手軽な接続方法を解説します。 AWS Management Console/EC2 から、左メニューの [Instances] をク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
