rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
自前のDropboxを実現する1ファイルのシェルスクリプト·vbox MOONGIFT
vboxはシェルスクリプトで作られたDropboxライクなソフトウェア。 vboxはシェルスクリプト製のオープンソース・ソフトウェア。みんな大好きDropbox。指定されたフォルダを自動的に同期してくれて、別なPCともファイルが共有できる上にバージョン管理までしてくれる。普段は何もしないというのが良い所だ。 動作中 しかしそんなDropboxが便利だと感じる反面、自分だけのDropboxサーバを立てたいと感じている人も少なからず存在する。そんな方はvboxを使ってみるといいだろう。 vboxは何とたった一つのシェルスクリプトファイルでできている。技術的に言うと、自分でサーバを立てて、そこにある特定のディレクトリとローカルのディレクトリをrsyncで同期する。それでは単なるバックアップであり、vboxはリモートではGitを使ってバージョン管理を行っている。 複数のコンピュータで同期することも
lsyncdでファイルを同期してみよう
こんにちは、熊谷です。 最近、複数のサーバでファイルを同期しなければいけないということがありました。出来るだけ手軽で簡単にそれを行いたいということで、何か良い方法がないものか、聞いたり調べたりしたところ、lsyncdなるものがあるのでそれを使用してみるのも良いのではないかと、アドバイスを受けました。 そんなことで、こちらのサイトを参考に実際に使ってみました。 例として、同期元は192.168.1.10、同期先は192.168.1.20とします。 まずは、同期元（192.168.1.10）にてlsyncdをダウンロードしてきてインストールです。makeするなりパッケージを作るなりしてインストールします。 設定ファイルは/etc/lsyncd.conf.xmlとしてこんな感じで記述しました。 <lsyncd version="1"> <settings> <logfile filename="
rsync - MacWiki
rsync とは？[編集] ネットワーク経由で、更新されたファイルのみを転送して同期してくれる賢いバックアップツールです。ネットワーク越しだけでなく、ローカル内のバックアップにも利用できます。 コマンドラインで動作するので、ファイルサーバ等で crontab と併用すれば定期的に自動バックアップを行えます。 使用例[編集] 例えば、 rsync -auv --delete Documents remotehost:mirror を実行すると、remotehost サーバー上のディレクトリ mirror（無ければ作られる）の中に Documents が丸ごとコピーされます。同じコマンドを再実行すれば、変更されたファイルのみがコピーされる。また、--delete オプションのおかげで、Documents 内から削除されたファイルがあれば、mirror 内の当該ファイルも削除され、結果的に Do
rsyncw - ミワラボ
Mac OS X（10.4以降） の Dashboard ウィジェットです。 大きなファイルやたくさんのファイルを、効率よく転送（同期）できます。 Time Machine にも技術が使われている、コマンドラインユーティリティー「rsync」のGUIラッパーになります。 ダウンロード ダウンロード [496K] 使い方 対象の設定 転送（同期）の対象を設定します。 転送元と転送先のフォルダをドラッグアンドドロップ（または詳細設定ボタンを押下）して設定します。 オプション 転送（同期）のオプションを設定します。 delete オプションを使用する場合は、必要なデータを消してしまわないようにご注意ください。 同期 転送（同期）を開始します。 ToDo スケジュール機能の追加。除外設定の追加。日本語以外へのローカライズ。 既知の不具合 転送に時間がかかる場合などに、強制的に終了してしまう場合
robocopyでフォルダをバックアップ／同期させる － ＠IT
robocopyコマンドとは 2つのフォルダの内容を同期させ、ファイルやフォルダの内容を同じ状態に保つ機能は、ファイルサーバのバックアップや個人的なデータのバックアップ、リモートオフィス同士でのデータの同期など、システム管理のさまざまな場面で利用される。 このような用途に利用できるコマンドとして、Windows OSにはcopyやxcopyコマンドが標準装備されている。 フォルダの同期に利用できる標準装備のツールとしては、この他にも「robocopy.exe」というコマンドラインツールがある。 robocopyは、もともとはリモートのファイルサーバ同士でファイルやフォルダ、ユーザープロファイルデータなどを同期させるために作られたコマンドである。その名前は「Robust File Copy」の略であり、堅固（robust）で確実なファイルコピーという意味を持つ。具体的な機能の例を以下に記す。
地雷だらけのrsyncを理解する。 - こせきの技術日記
rsync -avz --exclude-from=pattern-file --delete SRC/ DEST SRCの末尾に/をつける。たいてい必要。 SRCスラッシュの有無は、mv SRC DEST と mv SRC/* DEST の違いと一緒。スラッシュの後ろに*が省略されているものと考える。 DESTのスラッシュの有無は関係なし。 --dry-run(-n)をつけて試す。 SRC、DESTともローカルのディレクトリを指定して試す。 DESTはまず空ディレクトリで試す。DESTが同期済みだと何が更新されるのか正確にわからないので。 --list-onlyをつけてファイル一覧を得る。 DESTを省略してファイル一覧を得る。 --list-onlyと同じ？ --deleteはDESTのファイルを根こそぎ削除する可能性がある。注意。 --delete-excludedは使わない。--d
MOONGIFT: » rsyncを使った同期ウィジェット「rsyncw」:オープンソースを毎日紹介
データのバックアップを行う際に、rsyncを利用することは良くある。サーバ間でも使えて、削除したファイルを消してしまう同期や、消さないバックアップなど様々なオプションが存在するのが便利だ。 フォルダをドラッグアンドドロップで登録できる これは何もサーバのみならず、個人でも十分利用できる。例えばMac OSXのTimeMachineでも使われている技術だ。そんなrsyncをウィジェットから扱うのがこのソフトウェアだ。 今回紹介するフリーウェアはrsyncw、rsyncのウィジェット版フロントエンドだ。 rsyncwはMac OSXのウィジェットとして動作するソフトウェアで、二つのディレクトリを登録し、後は同期ボタンを押すだけでデータの同期処理を行ってくれる。ごく手軽で、非常に分かりやすいソフトウェアだ。 同期中 さらに、rsyncのオプションをそれぞれ指定できるのが良い。細かなオプションは抜
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
7594591200220899443 on Twitter: "なお rsync -a src dst のかわりに rsync -a --link-dest=dst src hoge とかやると、dstは弄らないままでとなりにhogeができる(けど差分だけ)。豆知識な。"