rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
docker-syncでホスト-コンテナ間を爆速で同期する - Qiita
2020/05/26 追記 Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善した Mutagen単独で試してみたことがあって、すごく速くてよかったんですが、 Docker for macに統合されそうな感じになってるんですね。 これは期待。 2017/3/15 追記 先日この問題のissueに対して、 というコメントがつけられ、それに関する というプルリクが 本体にマージされたようです。 まだ詳しく見ていませんが、マウント時に同期方法オプションが指定できるようになり、そのオプションによってキャッシュするレベルを制御して同期を軽くしよう、というような感じになるようでした。 実際にリリース版で使えるのはいつなのかわかりませんが、やはり本体が早くなるのが一番いいのでちょっと期待ですね。 ========== 追記ここまで
SSHの公開鍵認証の設定とrsyncの設定まとめ
SSHを利用する場合、パスワード認証と公開鍵認証の2つの認証方式が使用できます。公開鍵認証とは秘密鍵と公開鍵のペアで認証を行う方式のことです。ローカル環境で秘密鍵と公開鍵のペアを生成し、公開鍵をリモート環境に保存、ローカルの秘密鍵とリモートの公開鍵で認証を行うので、ネットワーク上にパスワードが流れることがなく、セキュリティリを高めることができます。秘密鍵は漏洩してはいけませんが、公開鍵は公開しても問題ありません。 設定方法 ローカル側での設定 ローカルで秘密鍵と公開鍵のペアを生成し公開鍵をリモートに保存します。リモートで鍵を生成し、秘密鍵をローカルに転送することも可能ですが、転送中に秘密鍵が漏れると、公開鍵認証の意味がなくなってしまうので、ローカル側で生成したものを使用するようにします。 # リモートのユーザー名 : hoge # リモートのホスト名 : example.com # リモー
PC関係のメモ - rsyncで巨大ファイルの転送に失敗する
https://bugzilla.samba.org/show_bug.cgi?id=2187 2.6.3で発生していたバグ。こんな感じのエラーが出力される。 file WARNING: file failed verification -- update discarded (will try again). file ERROR: file failed verification -- update discarded. fileは転送しようとしているファイル名。RHEL4.7環境で発生した。 RHEL4.x/Centos4.xではRPMのrsyncが2.6.3であるため発生する。 そのようなサーバではソースからrsyncを入れてあげればいい。 まず、パッケージを削除 # rpm -e rsync ソースをダウンロードしてインストール。最新のリリースはrsync3.xであるが、互換性が
rsync でディレクトリの同期（バックアップ） - maruko2 Note.
rsync でディレクトリの同期（バックアップ） 提供：maruko2 Note. 移動： 案内, 検索 目次 1 書式 2 option 3 使用例 3.1 source ディレクトリ内のファイルを、backup ディレクトリへコピーする 3.2 ディレクトリの同期 3.3 SOURCE で指定するディレクトリ名の最後にスラッシュを付けるか付けないか 3.4 ssh と組み合わせリモートマシンにコピーする 4 rsync サーバ 4.1 rsyncd.conf 4.2 デーモンモードで起動 4.3 rsync サーバとの同期方法 4.4 モジュールの指定例 4.5 rsync サーバのセキュリティ対策 4.5.1 同期元アドレスを限定する設定 4.5.1.1 設定例 4.5.2 同期時にユーザー認証を必要とする設定 4.5.2.1 rsync サーバ側の設定 4.5.2.2 クライアント
【CentOS】【バックアップ】SSHでパスワードなしでログイン＋rsyncでファイルの同期（バックアップ） - カンタンWEBぷろぐらみんぐ<?=tageo;>
サーバ2台構成でファイルの同期（バックアップ）を行う場合の設定。 ※ここでは同期≒バックアップとする A→B Aサーバ(192.168.0.1)：バックアップ元 Bサーバ(192.168.0.2)：バックアップ先 概要： rsyncuser(rsync専用ユーザ)で全てのファイルの同期をrsyncによって行う。 sudoにrsyncコマンドの実行権限を設定することで権限のないファイルも同期を可能にする。 という具合いにAサーバのファイルをBサーバにバックアップするときのメモ。 1.ユーザの作成[Aサーバで] rsync専用ユーザrsyncuserを作成する。 # useradd rsyncuser # passwd rsyncuser Changing password for user rsyncuser. New UNIX password: Retype new UNIX passw
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
rsyncの簡単な使い方いろいろ - hogehoge foobar Blog Style Beta
最近rsyncを使う機会があったので、備忘録として書いておきます。 rsyncとは？ rsync は、ファイル・ディレクトリのバックアップやミラーリングを行うコマンドである。ミラーリングやバックアップを行うだけなら cp コマンドでも実現可能だが、rsync コマンドには以下のようなメリットがある。 ミラーリングが可能 (単純な cp だと、削除されたファイルがコピー先に残ってしまう) リモートマシンへ/リモートマシンからのバックアップが可能 2回目以降の実行では、前回実行時との差分を調べ、必要なファイルのみ転送するため高速である UNIXの部屋rsyncより つまりはディレクトリの同期を行うためのコマンドになります。 同期元のディレクトリ構造 今回同期を行うディレクトリ構造は以下のような形のものを使用します。 /home/user/work/ -- css `-- style.css -
Linuxコマンド【 rsync 】高速なファイル同期（バックアップ） - Linux入門 - Webkaru
以下ではこれらの使用方法を例示しながら、rsyncコマンドについて解説します。 ローカルのディレクトリを高速にバックアップ ディレクトリ（dir1）をバックアップディレクトリ(backup)にコピーします。 $ rsync -av dir1/ backup/ sending incremental file list ./ debian-6.0.6-amd64-netinst.iso debian-7.0.0-amd64-netinst.iso debian-testing-amd64-netinst.iso … sent 640896052 bytes received 247 bytes 28484279.96 bytes/sec total size is 640680152 speedup is 1.00 追加分のみコピーする場合 上の使用例に続き、追加したファイル（dir1/ad
CentOS flow-toolsの設定
ホーム CentOS6 OTRSのインストール CentOS6 VNC Serverのインストール CentOS6 iperfでスループット計測 CentOS6 IPv6アドレスの設定および無効化 CentOS6 IPv6のスタティックルートの追加 CentOS6 スタティックルートの追加 CentOS6 2TB以上のHDを使う カーネル起動の視覚化 カーネル起動オプション CentOS6 Quota CentOS6 Mondorescue CentOS6 NTP CentOS6 Kdump CentOS6 NIC Bonding CentOS6 SNMP Trap Manager CentOS6 ext4ファイルシステム CentOS6 yum CentOS6 リソース管理 CentOS6 iptablesによるパケットフィルタ CentOS6 Tripwire CentOS6 chkr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CentOS 6 - Rsync - ファイル/ディレクトリの同期 : Server World