cloudpackブログ - S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）

以前、S3ってなんじゃ？(s3cmd編)の記事を紹介しましたが、先日s3cmdで調査が必要な場面に遭遇したため、 今回はその件について紹介したいと思います。 ○問題 WEBサーバからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 しかし、linuxのサーバからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、 その同期がとても遅いというのです。 ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 確認してみたところ、同期対象のS3バケットに数百万という数のファイルが存在しており、 それが問題となっているようでした。 そこで、対処方法を調べてみました。 ○再現 まず、手元のEC2環境で同じ状況を再現してみます。 適当なディレクトリにgitからある程度サイズのあるプロジェクトをいくつかcloneします。 # mkdir /r

[Metaphone]

s3cmd と inotify の合わせ技

[tksmd]

s3cmd sync が重い時の対応

[tilfin]

バケット内に大量のファイルがあるときの同期での問題

[toritori0318]

nrhd