Re: rsync で削除すると速い (?) 件 - いちいの日記

こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。 rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dtrace スクリプト aggregation の key に wall からの経過時刻 (秒単位) を入れることで秒ごとに出した。 quantize したいけど @ を数えんのめんどいし、あんまり printf しまくると drop されちゃうし。 avg いるの? というのは excel の pivot table の都合。 #!/usr/sbin/dtrace -s int start_wa

[mib-dbsinfra]

興味深い

[y-kawaz]

なかなか面白い検証。でもとりあえず高速で削除したい（どかしたい）とき自分は普段こうする＞mv target target_del; mkdir target; rm -rf target_del &

[nakag0711]

削除しながら同じDIR *でreaddirし続けた場合OS側でリストを作り直したりしてるのかな

[kiyoshi_net]

zfs流行ってんだ。

[mapk0y]

Debian でやる限りは、rm と rsync では呼んでる systemcall が違うから速度に差が出る

[monochrome_K2]

存在確認のいらないrmよりrsyncの方が削除が早い不思議

[tmsanrinsha]

http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html

[dokodajp]

Re: rsync で削除すると速い (?) 件 - いちいの日記

[ya--mada]

rsyncダメて言われたアレはメモリの問題だったのかな

[gikazigo]

Re: rsync で削除すると速い (?) 件 - いちいの日記

[katsuren]

勉強になった

[tmatsuu]

うおおお、グラフ素晴らしい。rsyncはメモリを多く消費するけど速い。ファイルシステムで大きく変わる可能性あり。なるほどー。