rsyncで圧縮転送したいけどpigzみたいに並列にならなくて困る - なんかかきたいので、tarとsshをパイプでつないで並列で圧縮しながら転送する君を作りました。 tar には指定したファイルのみをアーカイブに含める -T オプションがあるので、 rsync -nの結果をリストにして渡すことで、rsyncの対象になるファイルだけを転送できるようにしてます。 現場からは以上です。
websync - rsyncのWeb管理インタフェース
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 今でこそバックアップを取る方法は色々と出ていますが、やはり昔ながらのrsyncが一番使いやすくて安心というサーバ管理者は多いのではないでしょうか。しかしそのUIがいつまでもコンソールベースというのはちょっと残念です。 そこで使ってみたいのがwebsyncです。rsyncにWeb管理インタフェースを追加するソフトウェアです。 websyncの使い方 rsyncでは様々なフラグが存在します。設定画面ではそれらを選択するだけで指定が出来るので、色々と使えるフラグを洩れなく設定できるのではないでしょうか。またスケジューリングも指定できるのでwebsyncがあればバックアップ、同期設定が簡単にできるようになるでしょう。 websyncはnode/JavaScript製のオープンソース・ソフト
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
パスワードなしでrsyncする方法 - sanonosa システム管理コラム集
他のサーバにrsyncしたいときがあります。その場合考えなければならないのが認証です。よく見られるのは送信先のSSH公開鍵を送信元に登録することで認証をスルーする方法です。しかしrsyncの場合、そんなことをせずともパスワードなしでrsyncできるということを最近知りましたので記録を残しておきます。 【送信先での設定】 まずはパスワードなしでrsyncするために、送信先サーバに下記の要領で/etc/rsyncd.confに追記します。rsyncdの再起動は不要です。 [USERDATA] comment=user data path=/home/user read only=false uid=user gid=user hosts allow=送信元サーバのIPやFQDN hosts deny=* 【送信元でのrsync実行】 続いて送信元でのrsync実行となります。下記の要領でrsy
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。 （集約というよりはバックアップといった意味合いの方が強いかもしれません） サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、 サービスの成長にあわせて、サーバー台数が増え
![fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/13cbb956f277bb369e639692ef1987a2efa4d0df/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Ff0e4ac3a.png)
Re: rsync で削除すると速い (?) 件 - いちいの日記
こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。 rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dtrace スクリプト aggregation の key に wall からの経過時刻 (秒単位) を入れることで秒ごとに出した。 quantize したいけど @ を数えんのめんどいし、あんまり printf しまくると drop されちゃうし。 avg いるの? というのは excel の pivot table の都合。 #!/usr/sbin/dtrace -s int start_wa
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
scpとrsyncの所作の違い。気をつけるところ - さよならインターネット
scpでダサい作業していたら、riywoさんのポストを見つけて質問してみた。 そしてscpをパラレルにしてしまったのが判断ミスだったなー。けど検証する為には時間なかったから仕方ないな 2012-07-27 18:36:17 via YoruFukurou scp使わない派 2012-07-27 18:36:40 via YoruFukurou @riywo お、何使う派ですか？ 2012-07-27 18:38:13 via YoruFukurou to @riywo @kenjiskywalker rsyncですね。scpはアトミックに更新できないので。 2012-07-27 18:38:31 via YoruFukurou to @kenjiskywalker 複数のファイルとかはrsync使うけど ギガバイトくらすの大きいファイルはscpで使い分けてた。 あれ、何で使い分けてるんだっ
lsyncdでファイルを同期してみよう
こんにちは、熊谷です。 最近、複数のサーバでファイルを同期しなければいけないということがありました。出来るだけ手軽で簡単にそれを行いたいということで、何か良い方法がないものか、聞いたり調べたりしたところ、lsyncdなるものがあるのでそれを使用してみるのも良いのではないかと、アドバイスを受けました。 そんなことで、こちらのサイトを参考に実際に使ってみました。 例として、同期元は192.168.1.10、同期先は192.168.1.20とします。 まずは、同期元（192.168.1.10）にてlsyncdをダウンロードしてきてインストールです。makeするなりパッケージを作るなりしてインストールします。 設定ファイルは/etc/lsyncd.conf.xmlとしてこんな感じで記述しました。 <lsyncd version="1"> <settings> <logfile filename="
rsync の使い方、オプションについてのまとめ
rsync についてかなり深く調べる機会があったので、そのまとめです。この記事を書いている時点の最新版は 3.0.7 で、すでに 3.0.8pre1 が出ています。 Red Hat Enterprise Linux 5.x (CentOS5 )に付属しているのは 2.6.8 です。 2系と3系での違いとして、2系では差分比較がすべて終わってからファイルの転送が開始されていましたが、3系ではファイルの差分比較をしながら並行してファイル転送されるようになっています。 転送元、転送先ともに rsync コマンドがインストールされている必要があります。ファイルを取ってくることも、送ることもできます。 基本的なオプション rsync -acvz -e ssh --delete server1:/var/log/hoge/ /var/backup/log/hoge/ server1 の /var/lo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
