Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) - ITmedia エンタープライズ
rsyncを使いこなせば、あなたが想定するバックアップのニーズのほとんどに対応できるようになる。ここでは、あなたをrsyncマスターにするためのポイントを解説する。 この2カ月でわたしはあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでにわたしのデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間が掛かるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsync の素晴らしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記
2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言している 転送速度は (1GB のファイル転送の計測では) rsync >> scp > sftp Twitter でコメントをいただき, 転送ファイルの削除を都度していないので, rsync が差分転送になっているとのご指摘をいただきました。 ただいま検証中ですので, rsync の速度比較結果については判断をお待ちください。 -> 再検証しました, 画面上部の再検証記事をご確認ください rsync は多機能 かつ速い ので rsync
rsync でディレクトリの同期（バックアップ） 提供：maruko2 Note. 移動： 案内, 検索 目次 1 書式 2 option 3 使用例 3.1 source ディレクトリ内のファイルを、backup ディレクトリへコピーする 3.2 ディレクトリの同期 3.3 SOURCE で指定するディレクトリ名の最後にスラッシュを付けるか付けないか 3.4 ssh と組み合わせリモートマシンにコピーする 4 rsync サーバ 4.1 rsyncd.conf 4.2 デーモンモードで起動 4.3 rsync サーバとの同期方法 4.4 モジュールの指定例 4.5 rsync サーバのセキュリティ対策 4.5.1 同期元アドレスを限定する設定 4.5.1.1 設定例 4.5.2 同期時にユーザー認証を必要とする設定 4.5.2.1 rsync サーバ側の設定 4.5.2.2 クライアント
rsync -avz --exclude-from=pattern-file --delete SRC/ DEST SRCの末尾に/をつける。たいてい必要。 SRCスラッシュの有無は、mv SRC DEST と mv SRC/* DEST の違いと一緒。スラッシュの後ろに*が省略されているものと考える。 DESTのスラッシュの有無は関係なし。 --dry-run(-n)をつけて試す。 SRC、DESTともローカルのディレクトリを指定して試す。 DESTはまず空ディレクトリで試す。DESTが同期済みだと何が更新されるのか正確にわからないので。 --list-onlyをつけてファイル一覧を得る。 DESTを省略してファイル一覧を得る。 --list-onlyと同じ？ --deleteはDESTのファイルを根こそぎ削除する可能性がある。注意。 --delete-excludedは使わない。--d
目的と環境条件 このテキストでは、 rsync を使ったリモートバックアップ（遠隔バックアッ プ）の方法、特に ssh と cron を利用して、暗号化された経路を経由しての バックアップを自動的に行うための手順を示します。 ここで ssh の認証には、パスフレーズを空にし、かつ実行できるコマンドを 限定した ssh 鍵ペアを作成し使用します。これにより、 ssh-agent や eychain を利用する方法、ホストベース認証を利用する方法よりも安全なバッ クアップ体制が整えられる……はずです。 なお、このドキュメントの内容の正確さについては無保証です。なんせ、備忘 録みたいなものですので……。また、このドキュメントに書かれていることを 実行した結果直接的および間接的に発生した損害について、私（佐藤裕介）は 何ら責任を負いかねます。 用語の説明 ローカルホスト、ローカルマシン、ローカル
scpでダサい作業していたら、riywoさんのポストを見つけて質問してみた。 そしてscpをパラレルにしてしまったのが判断ミスだったなー。けど検証する為には時間なかったから仕方ないな 2012-07-27 18:36:17 via YoruFukurou scp使わない派 2012-07-27 18:36:40 via YoruFukurou @riywo お、何使う派ですか？ 2012-07-27 18:38:13 via YoruFukurou to @riywo @kenjiskywalker rsyncですね。scpはアトミックに更新できないので。 2012-07-27 18:38:31 via YoruFukurou to @kenjiskywalker 複数のファイルとかはrsync使うけど ギガバイトくらすの大きいファイルはscpで使い分けてた。 あれ、何で使い分けてるんだっ
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
scpとrsyncでパスのケツスラッシュのありなしの挙動を毎回迷うのでメモ - 俺たちのブログ
scpとrsync、ケツにスラッシュがあるかないか毎回確認するのでメモしておく。 個人的にはscp使わないで rsync option from/ dest/で 両方共ケツスラッシュ付けてやってる。 例 from/files_dirをdest/files_dirに持って行きたい % tree . . ├── dest └── from └── files_dir └── file 3 directories, 1 file % まとめ PATH scp rsync from/files_dir/ dest/ NG NG from/files_dir dest/ NG OK from/files_dir/ dest/files_dir/ OK OK from/files_dir dest/files_dir OK NG from/files_dir/ dest/files_dir OK OK
フレッツ光ネクスト + IPoE で scp, cvs, rsync の SSH通信ができない問題:tsutsuiの作業記録置き場 - ブロマガ
5か月くらいハマっていた問題が解決したのでメモ。 環境ホスト: NetBSD/i386 8.0 (OpenSSH 7.6) 回線: フレッツ光ネクスト (NTT西日本) + DTI IPv6 (IPoE) 接続サービス接続: VDSLモデム + ホームゲートウェイ RT-500KI （ファームウェア 05.00.0020)問題ホストの NetBSD/i386 8.0 からインターネット上の外部ホスト (IPv4, IPv6 ともに持つ VPS上のホスト) への操作が、以下のようになる。 ssh -6 での IPv6 の外部ホストへのログイン： → 問題なしscp -6 での IPv6 の外部ホストへのコピー： → パスフレーズの入力画面までは進むが、パスフレーズ入力後の転送が開始されず、 progress meter も表示されないcvs, rsync での IPv6 の SSH 経由転送
rsync - オプションなどの基礎
1 Mar 1999 NAMErsync - rcp よりも速くて、柔軟性に富んでいます SYNOPSIS rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... SRC [SRC]... DEST rsync [OPTION]... [USER@]HOST::SRC [DEST] rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 説明 rsync は rcp とほとんど同じ方法で動くプログラムですが、より多くの オプションを持っています。目的のファイルが既に存在する場合に、 rs
rsync (+ ssh) で簡単バックアップ
Miscellany Top > Linux Memo > backup by rsync Backup by rsync (+ssh) 2000.12.8 updated Linux/UNIX 上のデーターを（別の Linux/UNIX マシンに）バックアップしたり、２つのマシンのあるディレクトリどうしの内容を同期するのに、どうしているでしょうか？私の場合、以前は NFS でマウントして、cp -a （コピー）したりしていたのですが、環境が変わってから NFS を利用できなくなってからは、rsync を使うようになりました。 この rsync によるバックアップというのは、使うまでは「設定その他が必要で面倒そう...」と思っていたのですが、実際にやってみると手動でバックアップ・同期するだけなら設定も必要なく、あっさり使えました。 また、ssh と併用することでポートフォワーディング先のマ
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 最近、 Infosketch の開発などで rsync を利用する機会が増えてきました。 rsync はネットワーク経由のコピーも可能なファイル・ディレクトリ同期ツールで、コマンドひとつでディレクトリツリーを一気に転送できるほか、差分のみの転送やコピー対象の条件指定といった多彩な機能を搭載しています。 rsync という名前に反してローカル間のコピーも可能で、 m
Capistrano + rsync で省エネデプロイ - 肉とビールとパンケーキ by @sotarok
こんにちは。 タイトルの通りなんですが、Capistrano みんなつかってるよねー。 ってことで独自のデプロイシステムをもってなくてさすがにFTPでUPはしてませんって人は結構使ってるもんだと思ってるんですけど、Capistrano ってなんかデフォルト各サーバで vcs の update 的なことをするか、ローカルにソースツリーを用意してやる場合に使えるのは scp で、なんかエコじゃないよねと言う話で、いちいちソースツリー全部配布されてたら転送量も時間もかかってしょうがないので、まーrsyncがいいんだよね、ということで、そんな時は capistrano_rsync_with_remote_cache (なげえよ) を使えばいいよね！ってお話です。 *1 luisparravicini/capistrano_rsync_with_remote_cache · GitHub このご時世
Vagrant 1.5 がリリースされました。1.1 以来の big change ということで、目新しい機能が追加されています。 目玉はやはり Vagrant Share だと思うのですが、その他にも Web システムの開発に Vagrant を使っている人には嬉しい機能が追加されています。 その一つが Rsync Synced Folder です。 Vagrant には、ホストマシンとゲストマシンとでファイルを共有、同期する機能があります。 これにより、開発はホストマシンで行い、実行は LA(MP)P 環境であるゲストマシンで行うという、いいとこ取りができました。 この機能を実現する方法として、shared folder（VirtualBox の機能）や NFS を利用することができたのですが、これに rsync による同期が追加されました。 ホストマシンからゲストマシンへ rsync
多段 ssh / rsync するために ProxyCommand を使ってみる - daily dayflower
以前 2.（gateway で netcat を ssh 経由で実行することによる転送）はよくわからないけど失敗 多段 rsync がめんどくさい - daily dayflower と書きましたが，なんとなく仕組みがわかってきたので書きます。 2年前くらいに流行ってたネタなので今更感満点。 まとめ 単純に到達できない場所に ssh でつなぐために ProxyCommand という [http://www.openbsd.org/cgi-bin/man.cgi?query=ssh_config:title=ssh_config] の設定子が使える ProxyCommand とは ssh クライアントと標準入出力でやりとりする 多段 ssh をする際に ProxyCommand で指定すると有用なものとして下記のものがある nc (netcat) OpenBSD や RedHat 系には（お
rsyncはオプションを駆使すれば、差分バックアップも簡単に行えます。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介します。 前回は、rsyncにかんする基本的な事項について説明しました。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介したいと思います。なお、本稿でサンプルとして示しているディレクトリ名やアカウント名は前回と同様以下のようにしています。 ローカルのバックアップ対象：~/dir1もしくは~/dir2 バックアップ先のリモートホスト：xxx.backup.com リモートホスト接続時のアカウント名：backupuser 基本形のおさらいと一部例外 まずはrsyncコマンドの基本形をおさらいしておきましょう。次のような形
こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。 rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dtrace スクリプト aggregation の key に wall からの経過時刻 (秒単位) を入れることで秒ごとに出した。 quantize したいけど @ を数えんのめんどいし、あんまり printf しまくると drop されちゃうし。 avg いるの? というのは excel の pivot table の都合。 #!/usr/sbin/dtrace -s int start_wa
Rsyncによるデータバックアップ
少し前からバックアップをしないとまずいなと思っている矢先に、現用機が再インストールするような事態に追い込まれてしまいました。幸いにもバックアップテストをしていたので、前日のHPのデータはバックアップできていたので、つなぎで運用を維持できました。ということで、備えあれば憂いなしということで、rsyncでデータのバックアップをすることにしました。RAIDを使ったり、CPUや電源を二重化したりしてサーバ機自体を高信頼化する方法もありますが、ホットスワップ等を考えるとかなりの費用がかかるのと、当然維持費(電気代)も高くなります。また、壊れるのはHDDやCPU、メモリだけとは限らず、奥さんパソコンで経験したようなマザーボード障害となると、簡単には復旧できません。 従って、障害時にとりあえずサーバを復旧させ、時間があるときにサーバを復旧できるよう、他のパソコン(奥さんのパソコン)にLinuxを入れ、不
この2か月で私はあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでに私のデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間がかかるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsyncのすばらしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転送を高速化している点だ。たとえば、この記事を書いているときも、rsyncで今すぐコピーを行い、後でまたコピーすることができる。2回目（あるいはそれ以降）にrsyncでこのファイ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
rsync でディレクトリの同期（バックアップ） - maruko2 Note.
地雷だらけのrsyncを理解する。 - こせきの技術日記
rsync + cron + ssh （rsyncd を立てない編）
scpとrsyncの所作の違い。気をつけるところ - さよならインターネット
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
高機能なファイル同期ツール rsync の使い方 - WebOS Goodies
Vagrant 1.5 で追加された Rsync Synced Folder が良い
rsyncで差分バックアップを行うための「--link-dest」オプション
Re: rsync で削除すると速い (?) 件 - いちいの日記
Open Tech Press | rsyncを使った熟練者レベルのバックアップ