cloudpackブログ - S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
以前、S3ってなんじゃ？(s3cmd編)の記事を紹介しましたが、先日s3cmdで調査が必要な場面に遭遇したため、 今回はその件について紹介したいと思います。 ○問題 WEBサーバからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 しかし、linuxのサーバからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、 その同期がとても遅いというのです。 ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 確認してみたところ、同期対象のS3バケットに数百万という数のファイルが存在しており、 それが問題となっているようでした。 そこで、対処方法を調べてみました。 ○再現 まず、手元のEC2環境で同じ状況を再現してみます。 適当なディレクトリにgitからある程度サイズのあるプロジェクトをいくつかcloneします。 # mkdir /r
Amazon S3 Tools: Command Line S3 Client and S3 Backup for Windows, Linux: s3cmd, s3express
Amazon S3 Tools: Command Line S3 Client Software and S3 Backup AWS S3 Command Line Clients for Windows, Linux, Mac. Backup to S3, upload, retrieve, query data on Amazon S3. S3cmd : Command Line S3 Client and Backup for Linux and Mac Amazon S3 is a reasonably priced data storage service. Ideal for off-site file backups, file archiving, web hosting and other data storage needs. It is generally more
S3,CloudFrontのアクセスログをとる - すらいむがあらわれた
S3やCloud Frontにファイルを置いて閲覧させるようにしたならば、当然「アクセスログはどうなるの?!」と聞かれることでしょう。 もちろんアクセスログを取得することができます。 ■S3 ログについてのドキュメントはこちら。 Amazon Simple Storage Service Developer Guide - Server Access Logging http://docs.amazonwebservices.com/AmazonS3/latest/dev/ServerLogs.html ログのフォーマットは一般的なWebサーバーのログとは違っています。 Amazon Simple Storage Service Developer Guide - Server Access Log Format http://docs.amazonwebservices.com/Amaz
S3にデータをバックアップ (s3sync) | RISIN'
2011-02-08 aws, s3, backup さくらVPSサーバからAmazon S3へのバックアップ方法をまとめました。 現時点(2011-02)のAmazon S3の価格は以下の通りです。今回はシンガポールにバケットを作ってみようと思います。価格は低冗長化ストレージだと、$0.093/GB! 安いですねぇ。 では早速バックアップしてみましょう。今回の環境は以下の通り: サーバ Ubuntu 10.04.1 LTS on さくらVPS Ruby ruby 1.8.7 (2010-04-19 patchlevel 253) [i686-linux], MBARI 0x8770, Ruby Enterprise Edition 2010.02 1. 保存先のバケットを作成する AWS Management Console > S3タブを選択し、「Create Bucket」をクリッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
