この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記
2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言している 転送速度は (1GB のファイル転送の計測では) rsync >> scp > sftp Twitter でコメントをいただき, 転送ファイルの削除を都度していないので, rsync が差分転送になっているとのご指摘をいただきました。 ただいま検証中ですので, rsync の速度比較結果については判断をお待ちください。 -> 再検証しました, 画面上部の再検証記事をご確認ください rsync は多機能 かつ速い ので rsync
ファイル同期のシミュレーション機能を備えた、rsyncのGUIラッパーアプリ「grsyncx for macOS」がリリース。
フォルダ同期のシミュレーションも可能なMac用rsyncラッパーアプリ「grsyncx」がリリースされています。詳細は以下から。 UNIXやLinuxにはファイルやフォルダの差分同期/バックアップを行うのに便利な「rsync」というコマンドラインツールがりますが、このrsycnのMac用GUIラッパーアプリ「grsyncx」をチェコSygic TravelのエンジニアMichal Zelinkaさんが新たに公開しています。 My first macOS app published on App Store is out! 🎉#grsyncx is a brain-free GUI built on top of #rsync, well-tested UNIX tool, allowing easy folder synchronisation! Go grab it here: htt
GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.
This crate offers three major APIs: Signature::calculate, which takes a block of data and returns a "signature" of that data which is much smaller than the original data. diff, which takes a signature for some block A, and a block of data B, and returns a delta between block A and block B. If A and B are "similar", then the delta is usually much smaller than block B. apply, which takes a block A a
Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-02-01 07:45 「Linux」は市場で最も柔軟なOSだ。このオープンソースプラットフォームでは、ソフトウェアに全くお金を使わずに、プロプライエタリーなOSよりもはるかに多くのことを実行できる。 Linuxを使い始めたばかりの人は、おそらく、コマンドラインを避けたいと思うはずである。少し威圧感があるからだ。しかし、しばらくすると、自分の選んだディストリビューションから、どれだけの性能と柔軟性を引き出せるのか確かめてみたくなる人もいるかもしれない。そういうときに実行できる非常に便利な（そして役に立つ）ことの1つが、rsyncコマンドを使用して、ローカルディレクトリーをリモートディレクトリーにバックアップする方法を学ぶことだ。本記事では、その手順を解説する。 準備はいいだろうか。それでは、
This post is the third article in a series of blog posts about rsync, see the Series Overview. With rsync up and running, it’s time to take a peek under the hood of rsync to better understand how it works. How does rsync work? When talking about the rsync protocol, we need to distinguish between: protocol-level roles: “sender” and “receiver” TCP roles: “client” and “server” All roles can be mixed
GitHub - linuxmint/timeshift: System restore tool for Linux. Creates filesystem snapshots using rsync+hardlinks, or BTRFS snapshots. Supports scheduled snapshots, multiple backup levels, and exclude filters. Snapshots can be restored while system is runni
Timeshift for Linux is an application that provides functionality similar to the System Restore feature in Windows and the Time Machine tool in Mac OS. Timeshift protects your system by taking incremental snapshots of the file system at regular intervals. These snapshots can be restored at a later date to undo all changes to the system. In RSYNC mode, snapshots are taken using rsync and hard-links
GitHub - dusanx/saf: Rsync-based time machine for Linux, written in Python, for local and remote backups.
Basic concepts | Installation | Usage | Commands | File manager integration | Contributing | Related projects | Changelog | License "one backup is saf, two are safe, three are safer" Current saf version is 0.16, saf requires Python 3.10 or newer saf is a simple, reliable, rsync-based, battle tested, well rounded backup system, written in Python. It uses rsync to incrementally back up your data to
GitHub - hjmangalam/parsyncfp: follow-on to parsync (parallel rsync) with better startup perf
NB: If you don't want to transfer at least 10s of GB across a network, this is probably not the the tool you want. Use rsync alone if a sync, 'tar and netcat' if a fresh copy, or scp if the copy needs to be encrypted. parsyncfp is the offspring of my parsync (more info here) and Ganael LaPlanche's fpart, which collects files based on size or number into chunkfiles which can be fed to rsync on a ch
補足記事: 「OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた」の再検証 (2020/05/27 キャッシュクリア方法を変えて更新) - 寒月記
2020/05/27 更新 2020/05/27, コメント欄のご指摘を受け, ShellScript 内のキャッシュクリアコマンドを変更して再計測し, 結果を更新しました (方法変更前後で結果に大差はありませんでした)。matoken さんありがとうございました！ 本日 (もはや昨日). 以下の記事を inductor さんがリツイートされたことをきっかけに, いろいろな方が以下記事を読んでくださいました。 www.kangetsu121.work この記事の内容はタイトルの通りで, OpenSSH 公式が 2019/4/17 のリリースノート で, 「scp は非推奨」宣言をしています。 ですが, この記事の中で私が行った scp, sftp, rsync の転送速度比較結果について, rsync の速度に疑問を持って検証してくださった方がいて, 転送ファイルを削除していないために r
nixCraftは12月11日(米国時間)、「How to set rsync speed limit from eating all bandwidth with -bwlimit option - nixCraft」において、rsyncコマンドでデータをコピーする際に通信速度を指定する方法を紹介した。 rsyncコマンドに用意されている通信帯域幅を指定するオプションを利用する方法、ioniceコマンドでI/Oスケジューリングクラスを指定する方法、trickleコマンドで通信帯域幅を指定する方法などが紹介されている。 紹介されているコマンドの主な使い方は次のとおり。
Version control for game developers Coming 2024 Announcement coming soon, stay tuned on Discord for details! Email zach@jamhub.dev for more information.
フレッツ光ネクスト + IPoE で scp, cvs, rsync の SSH通信ができない問題 - tsutsuiの作業記録置き場
5か月くらいハマっていた問題が解決したのでメモ。 環境 ホスト: NetBSD/i386 8.0 (OpenSSH 7.6) 回線: フレッツ光ネクスト (NTT西日本) + DTI IPv6 (IPoE) 接続サービス 接続: VDSLモデム + ホームゲートウェイ RT-500KI （ファームウェア 05.00.0020) 問題 ホストの NetBSD/i386 8.0 からインターネット上の外部ホスト (IPv4, IPv6 ともに持つ VPS上のホスト) への操作が、以下のようになる。 ssh -6 での IPv6 の外部ホストへのログイン： → 問題なし scp -6 での IPv6 の外部ホストへのコピー： → パスフレーズの入力画面までは進むが、パスフレーズ入力後の転送が開始されず、 progress meter も表示されない cvs, rsync での IPv6 の SS
[Linux] rsyncで進捗を確認する
時間経過で変わる可能性のある進捗でもいいなら rsync -a --info=progress2 時間が多少かかっても確実な進捗が欲しいなら rsync -a --info=progress2 --no-inc-recursive 方法1(進捗は適宜でもいいですよ派)¶ rsync では進捗状況を確認するオプションに ver.3.10 から対応 した。 そのオプションは --info=progress2 である。
![[Linux] rsyncで進捗を確認する](https://cdn-ak-scissors.b.st-hatena.com/image/square/9116f32a54245fe97e9185ea1a85fe661b223631/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEhiXB6axjaZWUgzQY-XBS9SOJOonC71q3o5NCYyg2k2LK6trhdP_cziO0xrl4ms5HIJ4EirJ1Ujv8BDjqQWNqUnp9q_0Ql4FJLlZgczKQrEzHgVIRGICLVckegCanaYYPBAtUCAGmDCji4n%2Fw1200-h630-p-k-no-nu%2Fnewrsynclogo.jpg)
syncの標準出力の改行コードがCR sync コマンドの標準出力をログファイルにリダイレクトすると、 aws s3 sync --delete --exact-timestamps {EC2のバックアップ元パス} s3://{S3のパス} > ${LOGFILE} 2>&1 改行コードがなぜかCRなのです。 余計な行をgrepで除外できないので困る syncコマンドは、ファイル同期の途中経過も標準出力します。 Completed 645.3 KiB/652.1 KiB with 8 file(s) remaining Completed 645.4 KiB/652.1 KiB with 8 file(s) remaining upload: {EC2パス} to {S3パス} ファイルが正常に同期できたかどうかだけ知りたいので、1行目と2行目は不要です。それにAmazon SESでログを
![[AWS]S3へのバックアップで使うAWS CLI S3 syncはrsyncと挙動が異なるので注意 | アーザスBlog](https://cdn-ak-scissors.b.st-hatena.com/image/square/262e8512bacae69987f74c475b621b6061987c82/height=288;version=1;width=512/https%3A%2F%2Fa-zs.net%2Fwordpress%2Fwp-content%2Fuploads%2F2100%2F09%2Faws-s3-sync-eyecatch.jpg)
Linux やMacなどでも、ファイル転送に便利な「rsync」。でも、SSHで接続する際オプションを忘れて、何回もぐぐってしまうので、こちらに網羅的にまとめます。 rsync で SSH 接続するオプション「-e ‘ssh ‘ 」 rsync といえば、SSH接続ですが、書式がやや覚えにくいです。ssh 接続には、「-e」もしくは 「-rsh」というオプションから、SSH接続コマンドを追加することで、リモート接続前に指定したコマンドを行ってくれます。 SSH プライベートキーを指定する rsync コマンド 当然ですが、リモート側にSSHが起動している、かつSSH接続できる状態に準備が整っている事が前提です。SSHのプライベートキーを直接指定します。まだ SSH config を設定してないとき時はこれが必要ですが、普通は config を設定した利用が多いと思います。 SSHでは、キ
rsync の delete オプション各種
rsync は、高速な差分ファイル転送ができるコマンドラインツールです。 さまざまな用途に使えるツールですがとくに、ディレクトリ間の同期を行ったり、ディレクトリのバックアップを作成したりする場合に使われることが多いです。その際によく使われるオプションとして -a（--archive）と --delete があります。 このうち --delete については、細かい挙動が異なるいくつかのオプションが存在しています。このオプションを紹介します。 deleteオプションとは rsync の --delete オプションは、転送元のディレクトリに存在せず転送先のディレクトリに存在するファイルがあれば削除する、というオプションです。 典型的な使い方を挙げます。src ディレクトリを backup ディレクトリの下にバックアップするには、以下のようにオプションを指定して実行すれば良いです。 このコマン
ここでは、rsyncとsshを利用してリモートサーバのバックアップを取る方法を説明する。 rsyncは指定されたフォルダ間の同期を高速に行うことができる。sshを利用するとリモートサーバとの間でディレクトリの同期処理を行える。
実現したいこと 複数のサーバ間で任意のディレクトリを同期（双方向）したい 環境 サーバ１ OS：CentOS release 6.5 (Final) ip：10.102.55.101とします。 サーバ２ OS：CentOS release 6.8 (Final) ip：10.102.55.103とします。 同期したいディレクトリ /opt/share rsync バージョン：Version 3.0.6 protocol version 30 rsync を デーモンモードで動作させ、rsyncd(サーバ)として利用する lsyncd バージョン：Version: 2.1.5 xinetd バージョン：Version 2.3.14 libwrap loadavg 前提 1.同じタイムサーバで、時刻が同期できていること! 2.rsyncdは、xinetdのサービスとして使用する rsyncとは
rsyncのサンプル例集 - Qiita
Linux環境運用していると、rsyncでファイルだったりディレクトリ同期をする機会多いけどオプションとか忘れる事多いのでメモ よく使うサンプルを挙げてみた。 /の意味 まずは、このスラッシュの使い方で久々にやるとまずはまるので整理 有無 動作
GitHub - claytongulick/bit-sync: Bit-sync is a utility for synchronizing arbitrary data using the rsync algorithm in pure js
This is a simple utility to synchronize two pieces of data, the source and the destination, using the rsync algorithm. The reason you might want to use this utility rather than just copying the source to the destination is to save on bandwidth. The rsync algorithm is really clever about only sending the parts of the file that have changed, rather than the whole file. For small files, this isn't th
rsync: Series Overview
For many years, I was only a casual user of rsync and used it mostly for one-off file transfers. Over time, I found rsync useful in more and more cases, and would recommend every computer user put this great tool into their toolbox 🛠 🧰 ! I’m publishing a series of blog posts about rsync: rsync, article 1: Scenarios. To motivate why it makes sense to look at rsync, I present three scenarios for w
EC2 インスタンス上のデータをバックアップするのに root しか読み取り権限がないファイルやディレクトリをどうコピーするか、という問題にあたった。Amazon Linux では root のログインを禁止しているため何らかの方法でユーザをスイッチしなくてはならない。んで、rsync のマニュアルを読み返して考えたところ --rsync-path オプションで rsync を sudo で実行すれば良いことに気づいた。 なお、このサーバは踏み台を利用しており、ホストや秘密鍵の設定などは ssh/config に書いてあるためそれを -e "ssh -Fssh/config" で呼び出している。--compress は無くてもいいが EC2 インスタンスからグローバルへの転送は料金がかかるので圧縮しておいた方がコストが減らせる。 rsync -av --progress --compres
ディレクトリどうしをまるごとコピーしたい場合 コピー元・先両方に末尾に / をつけて、コピー先のディレクトリまで指定する。 rsync -av /path/to/dir/ remote:/path/to/dir/ rsync -av /path/to/dir remote:/path/to とか別の書き方もあるけどパット見わかりづらいので ダメ 。 ディレクトリの末尾に / をつけるのが肝要。 ファイルをコピーしたい場合 コピー元・先両方をファイルのパスで指定する、 もしくは、 コピー元をファイルのパスで、コピー先を末尾に / をつけたディレクトリのパスで指定する。 rsync -av /path/to/file remote:/path/to/file もしくは rsync -av /path/to/file remote:/path/to/ おまけ コピー元・先でパスが同じ場合 コピー
【Mac・ファイル同期】rsync・sshfs・fswatchを使ってローカルとサーバーを同期したら色々便利だった | 感情的プログラミング伝記 | タウン情報誌 AIR函館 - 北海道函館市の食・呑・遊をご紹介！
2019.12.11 13:00:00投稿 【Mac・ファイル同期】rsync・sshfs・fswatchを使ってローカルとサーバーを同期したら色々便利だった shell 自動化 サーバーにファイルをアップロードする基本として ローカルのファイルを編集FTPでそのファイルをサーバーへアップロード っていう作業がありますよね？ 私もつい最近までの数年間この作業をしておりました。 絶対自動化できることは分かっていたのですが、それを組むのが面倒でやってなかったんですよねー。 ということで今回重い腰を上げて自動化に踏み切ったので、その軌跡を残したいと思います。 環境 ローカルOS: macOS X Catalina (10.15.1)Shell: Bashサーバーcentos 6系 sshでローカルとサーバーが接続できること。 MacにHomebrewが入っていることを前提としてお話していきますよ
macOS 15 Sequoiaやインポート/エクスポート機能をサポートしたrsyncのSwiftUI実装「RsyncUI v2.1」のRC版が公開。
macOS 15 Sequoiaや新しいインポート/エクスポート機能をサポートしたrsyncのSwiftUI実装「RsyncUI v2.1」のRC版が公開されています。詳細は以下から。 RsyncOSX(旧RsyncGUI)はノルウェーのThomas EvensenさんがSwift言語を学ぶため2015年にオープンソースで開発を開始したアプリで、ファイル同期/バックアップコマンドrsyncをGUIで設定/実行でき、現在はSwiftUIを利用した「RsyncUI」が公開されていますが、このアプリのメジャーアップデートとなる「RsyncUI v2.1」のRC版が公開されています。 RsyncUI and RsyncOSX are GUI´s on the Apple macOS platform for the command line tool rsync. The main differe
(2023/7 注釈） この内容は３年近く前に書かれたものなので、ダウンロードするパッケージのバージョンやURLなどが変わっている可能性があります。最近はWSLしか使ってないので特に最新情報を調べたりはしておりません。この情報を見る方はそこに留意して参考程度にご利用ください。 現時点で最も簡単にWindows環境にUnixライクなシェル環境をインストールする方法の一つが、「Git for Windowsをインストールする」ではないかと思います。 gitという単機能アプリをインストールするのかと思いきや、スタートメニューに「Git Bash」とかいうのが追加されて、Mintty上でbashを使うことができます。 ですが、手軽さのトレードオフといいましょうか。あまりにもコマンドが少ないのです。パッケージマネージャ的なモノも一切入ってないので簡単に追加することもできません。 git over s
ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有
Package rsync contains a native Go rsync implementation. This repository currently contains: gokr-rsyncd, a read-only rsync daemon sender-only Go implementation of rsyncd. It implements the rsync daemon network protocol (port 873/tcp by default), but can be used over SSH or locally as well. gokr-rsync is an rsync receiver implementation that can download files via rsync (daemon protocol or SSH). T
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
「Linux」ディレクトリーを「rsync」を使用してリモートマシンにバックアップするには
rsync, article 3: How does rsync work?
rsyncコマンドによるバックアップで通信帯域専有を避ける方法
Jamsync: A version control system based on rsync
Apple、セキュリティアップデート2020-004のコンテンツをアップデート。PDFやUSDファイル、rsyncなど13件以上の脆弱性を追加。
[AWS]S3へのバックアップで使うAWS CLI S3 syncはrsyncと挙動が異なるので注意 | アーザスBlog
rsync で ssh 接続するオプション | WWWクリエイターズ
rsyncとsshを利用したリモートサーバの高速バックアップ
rsyncとlsyncdを使ったディレクトリの双方向同期 - Qiita
リモートでsudoしてrsyncしたい - mattintosh note
これだけ覚えればOK、rsyncのディレクトリ、ファイルパスの指定方法 - （ひ）メモ
Git Bashにrsyncとnetcatをインストールする
『rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜』へのコメント
GitHub - gokrazy/rsync: gokrazy rsync