タグ

ブックマーク / memocra.blogspot.com (1)

  • S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put))

    S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put)) 追記 2012/02/06:1ファイルずつなので普通にアップするだけならinotify + s3cmd putでいいかもと思い、題名変更しました。 以前に s3cmdの記事 を書きましたが、先日s3cmdで困った場面に遭遇したので、そのことを書きたいと思います。 問題 WEBサーバーからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 linuxのサーバーからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、その同期がとても遅いというのです。ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 状況を確認すると、同期対象のS3バケットの中には数百万ファイル存在していて、どうやらそれが問題のようです。 今回はそれを調べてみ

    S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put))
    yass
    yass 2013/10/13
    " 今回のように同期先のS3にファイルが大量にあったり、更新ファイル数がすくない場合などはinotifyで1つずつファイルを指定してsyncまたはputするほうがはるかに高速 "
  • 1