rsyncを高速に

1TBのデータをrsyncでインターネット経由でAzureに同期したいわけですが、普通に $ rsync source_directory/ rsync://myrsyncserver.japaneast.cloudapp.azure.com/target_directory/なんてやってたら、超絶時間がかかるわけで、何とかしたい。 拙宅ではauひかりホーム10Gを導入しているので、Azure東日本リージョンまでそこそこのスピードが出るはず。 Standard_D16s_v3のVMにUbuntu 18.04-LTS、OS DiskはIOPSをある程度確保するために512GBのPremium_SSD、Data DiskはPremium SSDではIOPSの限界である7,500を出せる2TB(P40)を2本付けてRAID0に。Read/Writeキャッシュ共に設定しておくこと。Azure Ma

[n2s]

parsyncfp / 分割転送したら速くなるぜーって2000年前後にタイムスリップした気分になった

[katsyoshi]

ftpは使っていない。と言い張ってるが、sftp,scpはよく利用しているのでそろそろrsyncちゃんと使えるようにならないと

[yatta47]

すごいな。こんなことができるのか。

[yarumato]

“1TBのデータをrsyncでAzureに同期に超絶時間がかかる。Ubuntu18.04にrsyncサーバ設定。まず34GBのデータ転送rsyncすると15.4MB/s。parsyncfpで139.2MB/s（9倍速）。要はrsyncのラッパーなのでサーバ側は何も変更不要”

[leiqunni]

rsyncが遅いんじゃなくて、Azure側の設定？

[tmatsuu]

１つのファイルを複数ファイルに分割して転送するparsyncfpを使って高速化。ほー初耳。