Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U

[y_uuki]

コメントのあったZFSとDRBDについて追記しました。

[starpos]

これ一度デバイスへの IO を止めないとバックアップできないように見える。だって一貫性の議論が論文内にないもの。

[n314]

どうせブロックデバイス使うなら実績のあるDRBDでいいんじゃないかと思う。非同期モードで。/追記見た。DRBDセカンダリをLVMの上に作って定期スナップショットで問題なさそうだけどもどうだろう。実運用したことはないが

[m-bird]

ファイルシステムレイヤでやるべきこと、のような気もする。CoW FSが、まとも？につかえるのがZFSくらいなもんだし、実績のあるFSを使いつつ、高速な差分バックアップしようと思ったら、こうなっちゃうんだろうけども…

[matsumoto_r]

内容もですが、論文をサーベイしようとする姿勢がまず素晴らしい。真面目に調べると宝の山ですよね。

[dankogai]

zfs send | zfs receive # ですでに実現されている>id:y_uuki; 「zfsが特殊」?「ext4が壊れにくい」?

[meech]

btrfsにもsend/receiveがあるよ！よ！

[itochan]

よくわからないまま読んだ。　MSDOSのA属性を思い出した。そんだけ。　／　追記：これねhttp://home.impress.co.jp/magazine/dosvpr/q-a/0009/qa0009_1.htm

[lp008962]

DRBD・・・って既に書かれてた。せっかくだから比較して欲しいなぁー

[ganaware]

MacOS X の FSEvent (TimeMachine の実装に利用されている) との比較があると嬉しい

[yzee]

いつか使いそう

[nilab]

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

[kgbu]

dsyncというやつ。標準化されておほしい。napshotからの差分が出来るたびに記録しておく。LVMとrsyncの協調というかんじ。

[tokida]

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - | 社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。

[kasumani]

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて 社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 Tags: feedly, ifttt, recently read, saved for later from Pocket May 28,

[tmatsuu]

理屈はわかるけども、DRBDやLVMスナップショットは普段の読み書き速度低下が気になる(ZFSはよく知らない)。rsyncの代わりならlibrsyncでどうよ。

[outotsu]

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

[stantsiya_iriya]

デバイスマッパーとか差分バックアップという単語を、ひさしぶりに見ました。

[tengo1985]

そりゃZFS使えるなら使いたいよねって話。どう考えてもLinuxにマージできないと思うけど。

[yosuke_furukawa]

すごい、これはメインラインに取り込まれて欲しい。

[mitsuru888]

ZFSを使う場合、バックアップ先のディスクサイズが違ってもいいし、バックアップ先は圧縮して容量削減もできるとか、機能的には全然違うね。既存のFSでバックアップという意味では有用性あるけど。

[ya--mada]

Large Installation System Administration Conference の論文 dsync vmwareの CBT ちゅーことか。ZFSを選択したくないけどっちゅー要件か。

[indication]

lvmにも触れてほしかったな

[sakon310]

メモ

[harumaki_net]

興味深い。あとでLISAも見てみよう

[stanaka]

最近、週一で論文輪読会やってます

[a2ikm]

rsyncのハッシュ値計算に時間がかかるような、ギガバイト単位のファイルが対象

[porcaro]

ぜひLinuxにくみこんでもらいたいですねーーー

[UDONCHAN]

有用情報

[moryo0109]

LISAも見なければ。負荷の将来予測とトラフィックの依存関係の可視化はマストで読まなあかんわ。

[graceful_life]

そもそもそんな大きいファイルを差分とりたいシーンって何かあるのかな？