OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記
2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言している 転送速度は (1GB のファイル転送の計測では) rsync >> scp > sftp Twitter でコメントをいただき, 転送ファイルの削除を都度していないので, rsync が差分転送になっているとのご指摘をいただきました。 ただいま検証中ですので, rsync の速度比較結果については判断をお待ちください。 -> 再検証しました, 画面上部の再検証記事をご確認ください rsync は多機能 かつ速い ので rsync
rsyncをGit for Windowsに混ぜる
Windowsでrsyncをインストールする方法はいくつかあって、一番簡単なのはmingw-getでパッケージとして導入する方法。またはrsyncは諦めてChococaltely経由でcwRsyncパッケージをインストールするのが簡単。両者ともrsyncのためだけに入れるには大仰なので、既に導入されているGit for WindowsにMinGWパッケージと手作業で混ぜてインストールするのも悪くない。 必要な物は以下の4つの実行ファイルとDLLファイル。 rsync.exe(rsync-*-bin.tar.lzma より) msys-iconv-2.dll (libiconv-*-dll-2.tar.lzma) msys-intl-8.dll (libintl-*-dll-8.tar.lzma) msys-popt-0.dll (libpopt-*-dll-0.tar.lzma) それぞれ
Vagrant 1.5 で追加された Rsync Synced Folder が良い
Vagrant 1.5 がリリースされました。1.1 以来の big change ということで、目新しい機能が追加されています。 目玉はやはり Vagrant Share だと思うのですが、その他にも Web システムの開発に Vagrant を使っている人には嬉しい機能が追加されています。 その一つが Rsync Synced Folder です。 Vagrant には、ホストマシンとゲストマシンとでファイルを共有、同期する機能があります。 これにより、開発はホストマシンで行い、実行は LA(MP)P 環境であるゲストマシンで行うという、いいとこ取りができました。 この機能を実現する方法として、shared folder（VirtualBox の機能）や NFS を利用することができたのですが、これに rsync による同期が追加されました。 ホストマシンからゲストマシンへ rsync
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
＠IT：Windows TIPS -- Tips：SyncToyツールで手軽にバックアップを行う
無償で提供されているSyncToyツールを利用すると、5種類のバックアップ・モードを使って、簡単にバックアップが行える。 ネットワーク上での共同作業やデジタル・カメラで撮影した写真のデータなど、大量のファイルやフォルダが日々更新されていく状況で、バックアップを取るのはとても手間がかかる。エクスプローラでのドラッグ操作、XCOPYコマンド、NTBACKUP（Windows OS付属の標準バックアップ・ツール）、有償であればサード・パーティによるバックアップ製品を利用する方法がオーソドックスだろう。 上に挙げた無償で利用できる方法は、エクスプローラであれば手作業が増えること、XCOPYであればコマンド・プロンプト上で操作する必要があること、NTBACKUPであればバックアップを1つのアーカイブ・ファイルにまとめてしまうため取り扱いが面倒、といった不便がある。 削除やリネームの反映といった細かい
Re: 若者がパッケージ管理について思うこと - （ひ）メモ
若者がパッケージ管理について思うこと - As a Futurist... 「パッケージ」を あまり入れ替えしないし、入れ替えたくもないもの 好きに入れ替えしたいもの の2つに分類して、ここ数年自分がどう管理してきたかを書いてみたいと思います。主に構成管理の切り口の話になります。 あまり入れ替えしないし、入れ替えたくもないもの 具体的には、 基本的なソフトウエア coreutilsとかtarとかそういった類のもの です。 これらは最初の最初にサーバーをセットアップするときに、ディストリのバイナリパッケージを入れて基本的にはそれでおしまいです。 バージョン管理、依存関係の管理はディストリのパッケージシステムにお任せです。 セットアップ後はよっぽどのことがない限り、アンインストール、ダウングレードは基本的にしません。アップグレードも本当に本当に影響のあるセキュリティ修正のみ。追加インストールは
rsyncで再開可能なファイル転送 - karasuyamatenguの日記
結論： rsnc --partial --appendで再開可能なファイル転送ができる 転送中に障害が発生 takao$ rsync -av --progress --partial --append bigfile 192.168.1.181:/var/tmp/ bigfile 562823168 52% 43.22MB/s 0:00:11 ^C rsync error: unexplained error (code 130) at rsync.c(541) [sender=3.0.7] 約六割が転送済み takao$ ls -l bigfile /var/tmp/bigfile -r-xrwsr-x 1 www-data www-data 1073709056 2011-11-24 23:48 bigfile -rw------- 1 tengu tengu 605552640 20
rsync の使い方、オプションについてのまとめ
rsync についてかなり深く調べる機会があったので、そのまとめです。この記事を書いている時点の最新版は 3.0.7 で、すでに 3.0.8pre1 が出ています。 Red Hat Enterprise Linux 5.x (CentOS5 )に付属しているのは 2.6.8 です。 2系と3系での違いとして、2系では差分比較がすべて終わってからファイルの転送が開始されていましたが、3系ではファイルの差分比較をしながら並行してファイル転送されるようになっています。 転送元、転送先ともに rsync コマンドがインストールされている必要があります。ファイルを取ってくることも、送ることもできます。 基本的なオプション rsync -acvz -e ssh --delete server1:/var/log/hoge/ /var/backup/log/hoge/ server1 の /var/lo
地雷だらけのrsyncを理解する。 - こせきの技術日記
rsync -avz --exclude-from=pattern-file --delete SRC/ DEST SRCの末尾に/をつける。たいてい必要。 SRCスラッシュの有無は、mv SRC DEST と mv SRC/* DEST の違いと一緒。スラッシュの後ろに*が省略されているものと考える。 DESTのスラッシュの有無は関係なし。 --dry-run(-n)をつけて試す。 SRC、DESTともローカルのディレクトリを指定して試す。 DESTはまず空ディレクトリで試す。DESTが同期済みだと何が更新されるのか正確にわからないので。 --list-onlyをつけてファイル一覧を得る。 DESTを省略してファイル一覧を得る。 --list-onlyと同じ？ --deleteはDESTのファイルを根こそぎ削除する可能性がある。注意。 --delete-excludedは使わない。--d
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
熟練管理者御用達のバックアップツール「rsync 3.0」 - Mac対応強化 | エンタープライズ | マイコミジャーナル
rsync開発チームは3月1日 (米国時間)、オープンソースのファイル転送ユーティリティ「rsync 3.0」を正式にリリースした。同チームWebサイトでは、各種UNIX系OSでコンパイル可能なソースコードのほか、LinuxやWindows向けのバイナリパッケージが公開されている。 前バージョンの2.6.9以来約1年4ヶ月ぶりとなる今回のリリースでは、ファイル転送アルゴリズムを改良。同じrsync 3.xと通信するときには、転送速度が大幅に向上するほか、メモリ消費量も軽減される。 商用UNIXを中心に普及しているACL (アクセス制御リスト) もサポート。UNIX系OSのファイルシステムでは一般的なパーミッション情報に加え、特定ユーザ / グループの詳細なアクセス権情報を扱えるようになった。「--iconv」オプションも新たに追加、同期時におけるファイル名 / 文字エンコード形式の変換が可
高機能なファイル同期ツール rsync の使い方 - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 最近、 Infosketch の開発などで rsync を利用する機会が増えてきました。 rsync はネットワーク経由のコピーも可能なファイル・ディレクトリ同期ツールで、コマンドひとつでディレクトリツリーを一気に転送できるほか、差分のみの転送やコピー対象の条件指定といった多彩な機能を搭載しています。 rsync という名前に反してローカル間のコピーも可能で、 m
Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) - ITmedia エンタープライズ
rsyncを使いこなせば、あなたが想定するバックアップのニーズのほとんどに対応できるようになる。ここでは、あなたをrsyncマスターにするためのポイントを解説する。 この2カ月でわたしはあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでにわたしのデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間が掛かるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsync の素晴らしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのバックアップ運用について色々
Gitと出会って人生変わった テックヒルズ2013-03-22
RealSync
rsyncのちょっとイイ話