複数台のサーバをリアルタイムに同期する方法 | 株式会社ヌーラボ(Nulab inc.)
はじめまして。林と申します。 lsyncd と rsyncd を使って、複数台のサーバをリアルタイムに同期する方法をご紹介します。 同期元ディレクトリ内のファイルやディレクトリに更新があると、同期先のディレクトリと同期します。 イメージとしてはこんな感じです。 cronでもできますが、即時性が求められる場合はこちらがいいと思います。 ほぼリアルタイムで同期できます。 lsyncd はファイルシステムの更新をリアルタイムに監視し、更新があると rsync コマンドで同期します。 同期先のサーバで rsyncd を動かし、同期元のサーバで lsyncd を動かすことになります。 設定手順は以下のようになります。 同期先サーバの設定（rsyncdの設定） rsyncd.confを作成します。 [root@web1 ~]# vi /etc/rsyncd.conf uid = root gid =
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
Macでの開発効率をアップする、マウントせずにローカルのソースコードをサーバーと同期するスクリプト書いた。 - しかじろうがプログラム作るよ！
しかだよ。 変更があったローカルのソースコードをサーバーのソースコードと同期しながらwebアプリを開発できるスクリプトを作りました。 shikajiro/eventsync.py 2012/07/10 追記 下で説明するソースコードは古いので、shikajiro/eventsync.pyの方を見てくださいね。 webアプリ開発の問題点 マウントしたりsshでサーバーに接続してwebアプリを開発してると、回線が遅くて画面が固まることがあり、ストレスフルなコーディングを強いられている。 ローカルのソースをgitでpushしてサーバーに反映するのは複数人の場合はいいけど、一人用の場合は毎回add commit push がめんどい。 プログラマーが楽しくプログラミングできないのは罪です。直ちに懺悔するか解決しましょう。 開発中のwebアプリを動かす場所を比較検討 実行場所 公開範囲 反応スピード
WEB上からrsyncを実行する方法 - sanonosa システム管理コラム集
各サーバ群にソースコードを配信するためにrsyncを使っているところも多いと思います。この操作をWEB上から行えるようになれば、例えばデザイナーがちょっとした画像データを配信するといった場面などで便利そうです。そこで今回はrsyncをWEB上から実行する方法について記してみたいと思います。 【ハマりどころ確認】 WEB上からrsyncを実行するのって、簡単に見えて実はちょっと難しいのです。ハマりどころは2つあります。それは (1) rsyncを実行するユーザがパスワードなしで配信先サーバにSSH接続できるようにしておかなければならない。 (2) 配信先サーバでは、rsyncを実行するユーザと同じ名前のユーザで、該当ファイルやディレクトリの書き込み/編集権限を持っていなければならない。 というものです。 (1)については、こちらでも記したような方法で、パスワードなしで他のサーバにSSH接続で
明日から現場で役立つ極選 rsync filter レシピ大全集からマニア向けのを2つ - （ひ）メモ
#!/bin/bash # Time-stamp: <2010-01-26 21:32:06 JST, hirose31> beginning_of_the_world() { files=" hrpc/oreno/katsu/chikin/recipe.txt hrpc/oreno/katsu/pork/recipe.txt hrpc/oreno/soup/recipe.txt hrpc/oreno/dry/recipe.txt hrpc/oreno/hayashi/recipe.txt " rm -fr hrpc mnpc for fp in $files; do fpd=${fp%/*} mkdir -p $fpd touch $fp done } end_of_the_world() { tree -F mnpc rm -fr hrpc mnpc } ### oreno/katsu
Makuosan - KLablabWiki
概要 MAKUOSAN (Multicasts All-Kinds of Updating Operation for Servers on Administered Network) makuosan（まくおさん：通称「まくお」）は、複数のサーバへ同時にファイルを転送するソフトウエアです。 以下のような特徴があります。 サーバが増えても転送時間が変わらない サーバが増えても、転送にかかる時間はほとんどかわりません。10台のサーバに転送しても、20台のサーバに転送しても、ほとんど同じ時間で完了します。ただし、転送時間は一番応答が遅いサーバの性能に引っ張られるので、同程度のスペックのサーバで構築された環境で利用することが望ましいです。 すべてのサーバで同時にファイルが更新される マルチキャストを使って全サーバへ同時にファイルを転送するため、「このサーバのファイルは更新されてるけど、あのサ
リアルタイムミラーリングツール導入(lsyncd+rsyncd) - Fedoraで自宅サーバー構築
lsyncdを使用してマシン間でリアルタイムにディレクトリのミラーリングを行う。 lsyncdはLinuxカーネルのinotify機能を利用して、ファイルの更新時にミラー先のrsyncサーバーへrsyncを実行することにより、リアルタイムにディレクトリのミラーリングを行う。 ここでは、例として/rootディレクトリをミラー先の/tmp/rootディレクトリへミラーリングする。 [root@to ~]# mkdir /tmp/root ← ミラー先ディレクトリ作成 [root@to ~]# chown nobody:nobody /tmp/root/ ← ミラー先ディレクトリ所有者をnobodyに変更 [root@to ~]# vi /etc/rsyncd.conf ← rsyncサーバー設定ファイル作成 [root] ← 任意のモジュール名(ミラー元から接続時の名前) path = /tm
rsync で pdumpfs みたいなことをする - daily dayflower
いままで履歴つきのバックアップは pdumpfs*1 でとっていたのですが，rsync のオプション（--link-dest）を使うと同等のことをできるらしいと知りました。 バックアップにrsync --link-destを使うと良い場合もあるよ | rutoの日記 | スラド rsyncで差分バックアップを行うための「--link-dest」オプション - ITmedia エンタープライズ サンプル バックアップ元のファイル群をサンプルとして作成します。 $ mkdir -p work/src/foo $ echo "baz" > work/src/foo/barこれで， - work/ - work/src/ - work/src/foo/ - work/src/foo/barのような構造ができました。これのバックアップをとっていきます。 まずは普通に rsync 履歴つき（差分）バッ
地雷だらけのrsyncを理解する。 - こせきの技術日記
rsync -avz --exclude-from=pattern-file --delete SRC/ DEST SRCの末尾に/をつける。たいてい必要。 SRCスラッシュの有無は、mv SRC DEST と mv SRC/* DEST の違いと一緒。スラッシュの後ろに*が省略されているものと考える。 DESTのスラッシュの有無は関係なし。 --dry-run(-n)をつけて試す。 SRC、DESTともローカルのディレクトリを指定して試す。 DESTはまず空ディレクトリで試す。DESTが同期済みだと何が更新されるのか正確にわからないので。 --list-onlyをつけてファイル一覧を得る。 DESTを省略してファイル一覧を得る。 --list-onlyと同じ？ --deleteはDESTのファイルを根こそぎ削除する可能性がある。注意。 --delete-excludedは使わない。--d
DSASのファイル転送システムをオープンソースで公開します : DSAS開発者の部屋
DSASのファイル転送システムを、オープンソースで公開します。 その名は、makuosan（まくおさん：通称「まくお」）っていいます。 名前は冗談っぽいですが、内容はわりと真面目です(^^; MAKUOSANプロジェクトサイト Webサイトの運用に欠かせない作業のひとつに、「デプロイ」という作業があります。 これは、新しいプログラムやデータなどをWebサーバに設置して利用できるようにす ることを指していますが、サイトの規模が大きくなってWebサーバの台数が増えると、 それに比例してファイル転送にかかる時間も長くなっていきます。 一般的な話として、サイトの規模が大きくなるほど運用コストは増大しますが、 その要因のひとつとして「デプロイ時のファイル転送に時間がかかる」という 点がありました。そこで、できるだけ運用コストを抑える（作業者の負担を減 らす）ために、独自のファイル転送システムをこしら
duplicity: Encrypted bandwidth-efficient backup
duplicity Encrypted bandwidth-efficient backup using the rsync algorithm What is it? Duplicity backs directories by producing encrypted tar-format volumes and uploading them to a remote or local file server. Because duplicity uses librsync, the incremental archives are space efficient and only record the parts of files that have changed since the last backup. Because duplicity uses GnuPG to encryp
サーバのリモートバックアップをさせたい ～大容量になったハードディスクにバックアップ～
rdiff-backupのインストールと使い方 rdiff-backupはミラーリングと差分バックアップが可能なバックアップツールで、リモートバックアップにも対応しています。操作も非常に簡単で、もちろんバックアップデータの復元も簡単に行うことができます。 しかも単純なバックアップと違い、ディスク容量を効率的に使うことやネットワーク帯域を効率的に使うことが配慮されていますので、貧弱なディスクやネットワークでも安心です。 また、特殊なデータフォーマットで保存されているわけではないので、ほかのバックアップツールを使うようになったときもデータの復元を簡単に行うことができるようになっています。
rsyncで差分バックアップを行うための「--link-dest」オプション
rsyncはオプションを駆使すれば、差分バックアップも簡単に行えます。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介します。 前回は、rsyncにかんする基本的な事項について説明しました。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介したいと思います。なお、本稿でサンプルとして示しているディレクトリ名やアカウント名は前回と同様以下のようにしています。 ローカルのバックアップ対象：~/dir1もしくは~/dir2 バックアップ先のリモートホスト：xxx.backup.com リモートホスト接続時のアカウント名：backupuser 基本形のおさらいと一部例外 まずはrsyncコマンドの基本形をおさらいしておきましょう。次のような形
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
rsync 3.0 - 酒日記 はてな支店
rsync 3.0 がリリースされたそうです。 差分更新の時に、転送元と転送先を同時に走査し、すぐに差分の転送を始める。 rsync 3.0: uyota 匠の一手 という、素晴らしい機能強化が。 今までは rsync は一旦全ての転送元ファイルをチェックしていたので、巨大なディレクトリを rsync しようとするとかなり長時間待たされる。だけならまだしもメモリもがんがん喰う、という問題があった。会社のファイルサーバを丸ごと転送しようとしたら、rsync が out of memory で死んだことも……(仕方ないのでサブディレクトリ単位で実行したり) 実際に 3.0.0 をインストールして試してみたところ、ファイルが大量にあるディレクトリでもすぐに転送が始まって、メモリ使用量も全然増加せず。これは素晴らしい。 が、いきなり本運用中のサーバで使うのは怖い (ただの印象) 気がするので、いく
rsyncでアプリケーションを配備
こんにちは、たかはらです。10月になって急に涼しくなってきましたね。私は一年半前からMacのPowerBook G4をつかっています。G4の発熱に加えた今年の夏の暑さは本当に厳しいものがありましたが、最近は涼しくなってずいぶん楽になりました。 私は、ほとんどのソースコードをこのPowerBook G4で書いています。このPowerBook G4からサーバへのアプリケーションの転送(配備:deploy)にはrsyncを利用しています。(少々強引な前フリですが)今日はrsyncをつかったデプロイについてのちょっとした工夫をご紹介します。 rsyncの基本 rsyncはたくさんのオプションがあり複雑で敬遠されがちですが、基本ファイルコピーをする為のコマンドです。下のようにcpコマンドの様に扱えます。
高機能なファイル同期ツール rsync の使い方 - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 最近、 Infosketch の開発などで rsync を利用する機会が増えてきました。 rsync はネットワーク経由のコピーも可能なファイル・ディレクトリ同期ツールで、コマンドひとつでディレクトリツリーを一気に転送できるほか、差分のみの転送やコピー対象の条件指定といった多彩な機能を搭載しています。 rsync という名前に反してローカル間のコピーも可能で、 m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
x.com
rsync で ssh のポートを指定する方法 - Pistolfly
GitHub - tach/hlbackup: Delta backup system using rsync
