Amazon S3でjava.util.concurrentを使って高速アップロードを実現する | DevelopersIO
Amazon S3で大量のファイルを高速にアップロードしたい 前回の記事で、Amazon S3でオブジェクトをまとめて削除する機能が追加されたことをご紹介しました。その際に作ったプログラムではファイルのアップロードに時間が掛かっていました。今回は、このアップロードを高速に行います。 AWSのAPIは処理が独立している まず始めにどのような方法で高速にアップロードしようか考えました。まずはAPIリファレンスを見て、「bulk upload」とか「batch upload」とか「multi upload」などのキーワードを探しました。結果、Multipartファイルアップロードが見つかりましたが、これは1つの大きなファイルを分割してアップロードする高レベルの機能でした。そこで、APIとして提供されていないならば、呼び方を工夫すればよいのかなということで、並行処理に行き着いたわけです。 以下は完
クラウドとサーバーを同期できる便利ツール「S3Sync」 ～Amazon EC2/S3環境構築のすべて～
はじめに 前回は、「Amazon EC2」のバックアップまわりの話題として、「Amazon EBS」の概要や使い方を紹介しました。 今回は「Amazon EC2」を取り巻くデータバックアップの方法の付録として、「Amazon EC2」のデータを「Amazon S3」と同期するツール「S3Sync」を紹介します。 前提条件 今回も「Amazon EC2 Command-Line Tools」を利用した方法を紹介していきます。作業前提として、基本的なセットアップが終了し、「Amazon EC2」インスタンス（仮想マシン）は起動しているものとします。セットアップや「Amazon EC2」でのインスタンス起動については、前回までの記事を参考にしてください。 また、今回紹介するツール「S3Sync」の利用には、別途Rubyが必要となります。「Amazon S3」への接続にHTTPSを利用している場合
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
