Amazon S3 のアップロード速度比較(AWS Management Console vs S3 クライアント)|Smart-PDA.net 管理者のブログ
Amazon Amazon S3 のアップロード速度比較(AWS Management Console vs S3 クライアント) 本格的に Amazon S3 + Glacier へのバックアップをしたいところですが、テスト的にバックアップをしてみたところ、アップロード速度が遅いので色々調べています。 まず結論からですが、 ブラウザで AWS Management Console でアップロードすると 2MB/s 程度でオレゴンにアップロードできた DragonDisk (S3 クライアント) だとほぼ同じ時間に同じファイル、同じバケットにアップロードしても 55KB/s 程度のアップロード。 CyberDuck を使用すると 1.2MB/s のアップロードが出来た。 というわけで何故かブラウザでアップするのと、S3 クライアントでアップするのでは最大40倍、また S3 クライアントでも
Amazon S3をバックアップストレージに使う - rabbit2goのブログ
パソコンのデータの消失には気を使っているので、複数のバックアップ策を講じている。 各MacにはTime Machine 複数のパソコン間でのバックアップ共有にはDropbox 遠隔地のサーバのバックアップはrsync しかしながら、東日本大震災の被害状況を見ていると「家の中にあるパソコンやストレージ機器が全滅」という事態もあり得るので、いくら複数の機器にデータを分散させていても効果が無いようだ。抜本的には、物理的に離れた場所にデータを保存しておく方が望ましいわけだ。 そんな訳で、バックアップ対策としてAmazon S3を本格的に使い始めた。転送ツールとしては、rsync同様な形で使えるs3syncを使い、cronで定期的にアップロードするように設定した。 「S3Sync」は、rsyncのような使い方で、ローカルディスクの特定部分と「Amazon S3」のストレージ間を同期（ミラーリング）で
Amazon S3編～ファイルサーバのバックアップ～
先日、米国Amazon Web Services（AWS）がストレージサービスの「Amazon S3（Simple Storage Service）」において、Cross Origin Resource Sharing（CORS）のサポートを開始すると発表しました。 S3については後ほど説明したいと思いますが、このサポートによって異なるドメインで提供するWebアプリケーションから、S3上にあるデータへのアクセスができるようになります。 CORSとは、主コンテンツと異なるドメインにあるリソースへのリクエストを行うWebアプリケーションの開発を可能にする仕様のことです。 今回S3がCORSをサポートしたことで、S3上に保存されたWebフォントや画像などを、異なるドメインで提供しているWebページやスタイルシート、アプリケーションなどで参照できるようになるというものです。 さらに、ドラッグ＆ドロ
MT から簡単に AmazonS3 でサイトを公開する - ToI
作業前の準備 amazon web servicesに登録し、S3 を利用できるように設定します。 公開するドメイン名を用意します。(※1) MTを信頼のできるサーバー(Amazonのアクセスキーを登録する必要があるため)にインストールします。 (※1) Amazon が用意したサブドメインを利用すればドメイン名がなくとも公開はできます。 公開手順 ドメイン名で bucket を作成する Management Consoleに入り、公開するドメイン名で bucket を作成します。(今回は s3site.toi-planning.net を設定します) bucket の設定を変更する 作成した bucket を右クリックして Properties を開き、Website のタブで「Enabled」にチェックを入れ、「Index Document」を「index.html」に設定します。 C
_%25E3%2581%25AB%25E3%2582%25B5%25E3%2583%25BC%25E3%2583%2590%25E3%2583%25BC%25E3%2581%25AE%25E3%2583%2590%25E3%2583%2583%25E3%2582%25AF%25E3%2582%25A2%25E3%2583%2583%25E3%2583%2597%25E3%2582%2592%25E8%25A1%258C%25E3%2581%2586_)
Amazon S3 (Tokyo) にサーバーのバックアップを行う - Prototype[beta]
tags S3 (1) action mailer (1) acts-as-taggable-on (1) backup (2) coffeescript (1) cron (1) devise (1) disqus (1) form (1) guard (1) lion (1) livereload (1) mac (3) monthly archives (1) mountain lion (2) nginx (2) paperclip (1) rails (12) rss (1) rsync (1) rubytter (1) ssl (1) textmate (1) theory (1) thinking (1) tiny_mce (2) twitter (1) ubuntu (4) unicorn (2) 以前、rsyncとcronでバックアップという記事を書きました。 今回はそれ
Amazon S3からGlacierを使うアレで請求額が激減してたとか | 怠けblog
Amazon S3にバックアップする仕組みをずっと動かしてたんだけど、Amazon GlacierのAPIに切り替えるのめんどくせーから、S3からGlacierを使える奴で0日でGlacier化する設定にして一ヶ月使ってみて請求額を見てみよう、という話の続き。 まあ、普通に激減であった。以前は9.233GB使って$1.16だったのが、10.449GB使って$0.14に下がるのはなあ。 ちなみにS3自体のお値段もこないだ地味に値下げがあったんだけど、それは10GB程度じゃ影響ほとんど無し。もしも10.449GBをGlacier化せずにS3の値下げ後で計算すると、$1.01になっていたと思う。Glacier化だけで1/7以下である。 つーか10GB程度だと何かほんとどうでもいい請求額だな。まあ試しておきたくはあったし、鯖関係の支払いは俺持ちなので100円でも嬉しいけど（笑）。あとあれだな、ゲー
s3cmd syncで既にあるファイルまで同期されてしまう
s3cmdの同期機能であるs3cmd syncなのですが 既に存在しているファイルまでご丁寧にダウンロードしてくれてしまい嵌まったのでメモ。 2. Conditional transfer — only files that don’t exist at the destination in the same version are transferred by the s3cmd sync command. By default a md5 checksum and file size is compared. This is similar to a unix rsync command, with some exceptions outlined below. Filenames handling rules and some other options are common for
Amazon S3へデータの格納・取得を行う【AmazonS3Client】 Java編 | DevelopersIO
こんにちは。LeapMotionが届いてる人がチラホラいるようですね。正直うらやましい。こむろです 今回は、AWS SDK for Javaを利用して、S3へのファイル転送の機能を作る際に、一箇所ハマった箇所があるので忘れないように記事にしておきます。 S3とは Amazon S3とは、Amazonが提供するクラウドストレージサービスです。バケットと呼ばれるプライベートな領域にどんなファイルでも格納することができ、さらに数テラバイトに及ぶデータ容量でも容易に格納・取得が可能です。当然、認証により守られているので、許可されていないとファイルは見ることはできません。詳しくはこちら JavaでS3へファイルの格納・取得を行う JavaなどのプログラムからAmazon S3にファイルをアップロード、ダウンロードする操作は簡単です。SDKに含まれているAmazonS3Clientというクラスを利用し
blog
遡ること、約1か月前。 （そんな昔の話じゃないです） 今の時代、『一家に一台』はあるという3Dプリンターを当社でも導入しました！ すみません。『一家に一台』は冗談ですが、『一家に一台』は欲しくなるカッコ良さです。 まず、無料の3Dモデルを使用して『タコ』を作成してみました。 その『タコ』を作る様子を収めたタイムラプス動画がこちら。 「折角なら、自分たちで作った3Dデータを実際に出力したい！」 という事で、『3Dモデリング』のハンズオン勉強会を開催しました。 Tinkercad https://www.tinkercad.com/ 3Dモデリングに使ったソフトです。 個人的には、UIが直感的で分かりやすく、操作がしやすかったです。 チュートリアルもあるので、私のような初心者の方におススメです。 CREALITY https://www.creality.com/pages/download-
Welcome to Ceph — Ceph Documentation
Welcome to Ceph¶ Ceph uniquely delivers object, block, and file storage in one unified system. Ceph Object Store RESTful Interface S3- and Swift-compliant APIs S3-style subdomains Unified S3/Swift namespace User management Usage tracking Striped objects Cloud solution integration Multi-site deployment Multi-site replication Ceph Block Device Thin-provisioned Images up to 16 exabytes Configurable s
S3アップロード時のサブフォルダ配下のファイル名の付け方 注意事項
Old Bodie Bucket / donjd2 AWS SDK for JavaでS3にアップロードするプログラムのところでちょこっとハマったのでメモしておきます。 アップロードの際にこんな感じでセットします。 PutObjectRequest request = new PutObjectRequest(bucketName, key, file); s3.putObject(request); 第一引数がバケット名、第二引数がキー、第三引数がファイルで、これまで同じメソッド使っていて、問題なくS3にアップロードできてた。 今回、マネジメントコンソール上でバケット配下にサブフォル作って、そこにデータアップロードしようとしたんだけど、ちょっとうまくいかなかった。 bucketNameにサブフォルダまでどのようにセットするのかなって。。。 結局、S3にはサブフォルダという概念は無いらしい
Amazon S3でjava.util.concurrentを使って高速アップロードを実現する | DevelopersIO
Amazon S3で大量のファイルを高速にアップロードしたい 前回の記事で、Amazon S3でオブジェクトをまとめて削除する機能が追加されたことをご紹介しました。その際に作ったプログラムではファイルのアップロードに時間が掛かっていました。今回は、このアップロードを高速に行います。 AWSのAPIは処理が独立している まず始めにどのような方法で高速にアップロードしようか考えました。まずはAPIリファレンスを見て、「bulk upload」とか「batch upload」とか「multi upload」などのキーワードを探しました。結果、Multipartファイルアップロードが見つかりましたが、これは1つの大きなファイルを分割してアップロードする高レベルの機能でした。そこで、APIとして提供されていないならば、呼び方を工夫すればよいのかなということで、並行処理に行き着いたわけです。 以下は完
Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
Glacierで思い出よ永遠に。 - サーバーワークスエンジニアブログ
みなさんこんにちは、ストレージはハードで持ちたくない羽柴です。 早速ですがみなさん個人でのストレージってどうしてますか？ 私は一部NASはありますが、基本的にはS3を利用しています。 ただ最近、S＊NY製のビデオカメラを買ってしまったことで徐々に動画ファイルが多くなり、持っているHDDレコーダーもSO＊Y製のためレコーダーへの転送は超簡単なのですが、HDDを信用していない私としては動画ファイルもS3にあげようかと思っていたところで、動画ファイルは容量が結構あるためS3の料金もさすがに不安になってくるなぁと思っていました。 そうだ Glacier に入れておけばいいか。 Glacierは Amazon Web Services社 が提供する低価格ストレージサービスです。高い耐久性と低コストが特徴であり、取り出しに４時間程度かかることから長期におけるデータのアーカイブ・バックアップに適していま
Amazon S3 + Glacier + DragonDisk による低価格＆高信頼性バックアップ環境の構築 (2 - 料金の考察)|Smart-PDA.net 管理者のブログ
Amazon インターネット Amazon S3 + Glacier + DragonDisk による低価格＆高信頼性バックアップ環境の構築 (2 - 料金の考察) Amazon Glacier がリリースされたとき「1GB = 月1円！」という感じでニュースサイトに出ていたので、私もそう思っていましたが、実際に「1GB = 月1円」なのは保管料金だけで実際には転送料金やリクエスト料金が別途かかります。転送料金などは 1GB = 月1円ではありませんので注意が必要です。 詳しくは、 Amazon Glacier 料金表 Glacier の FAQ の料金について 勘違いしないようにしたい､Amazon Glacierのデメリットあれこれ ややこしすぎるAmazon Glacierのデータダウンロード料金まとめ のあたりを見ると書かれていますが、私も説明を試みます。 こんなページは初心者の方
s3cmdでS3に簡単アップロード - MakeitSmart!
S3話題続きです。現在仕事でもS3(とCloudFront)使ったりしてますがs3cmdの使い方を簡単に紹介します。 s3cmdとは s3cmd --helpとして出てくる通りS3を管理できるツールです。 バケットを作成したりファイルやフォルダをアップロードしたり公開設定を指定したりといった事が簡単にできます。 S3cmd is a tool for managing objects in Amazon S3 storage. It allows for making and removing "buckets" and uploading, downloading and removing "objects" from these buckets. s3cmdのインストール Amazon EC2インスタンス(Amazon Linuxを想定)の場合は以下のコマンドでyumインストール
S3: Amazon Linuxにs3cmdをインストールしてコマンドラインでS3を操作する - aws memo
S3は、まずは Management ConsoleやCloud Berry Explorer、CyberDuckといったGUIツールから使うか、 AWS SDK for PHP, Java, Ruby, .NET といったAPI経由で使うことが多い。(参考：S3の関連ツール・ライブラリ等 - aws memo ) バックアップ処理など、cronなどでスクリプトから操作したい場合は、s3cmdが便利。 インストール Amazon Linuxでデフォルト無効になっている epelリポジトリからインストール $ sudo yum -y --enablerepo epel install s3cmd もしくは、ここからyumのリポジトリファイルを取得して、/etc/yum.conf.d/にコピーした後にyum installする。 $ wget http://s3tools.org/repo/R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://old.keiichi.st/archives-2962.html
BarWare Deluxe for Mac - Free download and software reviews - CNET Download
s3cmdとs3syncをさわってみる
