Rclone
Rclone syncs your files to cloud storage About rclone What can rclone do for you? What features does rclone have? What providers does rclone support? Download Install About rclone Rclone is a command-line program to manage files on cloud storage. It is a feature-rich alternative to cloud vendors' web storage interfaces. Over 70 cloud storage products support rclone including S3 object stores, busi
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
Minimal Race-free Deployment
Race-condition-free deployment with the "symlink replacement" trick On Unix, mv is an atomic operation. This enables a well-known "symlink replacement trick" for race-condition-free website deployment, among other things. Let's create a script that encapsulates the process for general-purpose use. Motivation When deploying an update to a website, if we do something like git pull within our deploym
rsyncの負荷を抑える方法 - 理想未来ってなんやねん
リモートサーバーとのファイル同期の際にrsyncコマンドを使用すると便利ですが、特に何も指定しない場合は全力で働いてくれるため負荷が掛かります。 rsyncの負荷を抑える方法について、いくつか記載したいと思います。 1. 転送速度を調整する bwlimitオプションを付けることで、転送する速度を調整できます。 指定する値の単位はKbps単位で指定すします。 例えば、1MB/secの場合は 1024KB/sec→8192 Kbps/secなので --bwlimit=8192を指定します。 rsync -e "ssh" --bwlimit=8192 remotehost:/remote_srcdir/ /local_destdir 2. sshを使用する場合、負荷の低い暗号方式でCPU負荷を抑える ssh経由でrsyncを使用する場合、セキュリティ上特に問題がなければ arcfour(RC4)
rsync でディレクトリの同期（バックアップ） - maruko2 Note.
rsync でディレクトリの同期（バックアップ） 提供：maruko2 Note. 移動： 案内, 検索 目次 1 書式 2 option 3 使用例 3.1 source ディレクトリ内のファイルを、backup ディレクトリへコピーする 3.2 ディレクトリの同期 3.3 SOURCE で指定するディレクトリ名の最後にスラッシュを付けるか付けないか 3.4 ssh と組み合わせリモートマシンにコピーする 4 rsync サーバ 4.1 rsyncd.conf 4.2 デーモンモードで起動 4.3 rsync サーバとの同期方法 4.4 モジュールの指定例 4.5 rsync サーバのセキュリティ対策 4.5.1 同期元アドレスを限定する設定 4.5.1.1 設定例 4.5.2 同期時にユーザー認証を必要とする設定 4.5.2.1 rsync サーバ側の設定 4.5.2.2 クライアント
Re: rsync で削除すると速い (?) 件 - いちいの日記
こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。 rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dtrace スクリプト aggregation の key に wall からの経過時刻 (秒単位) を入れることで秒ごとに出した。 quantize したいけど @ を数えんのめんどいし、あんまり printf しまくると drop されちゃうし。 avg いるの? というのは excel の pivot table の都合。 #!/usr/sbin/dtrace -s int start_wa
The rsync algorithm
Next: The problem The rsync algorithm Andrew Tridgell Paul Mackerras Department of Computer Science Australian National University Canberra, ACT 0200, Australia Abstract: This report presents an algorithm for updating a file on one machine to be identical to a file on another machine. We assume that the two machines are connected by a low-bandwidth high-latency bi-directional communication
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://mah.everybody.org/docs/mysql-rsync
Atomic rsync at directory level with minimum temporary storage