Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
最新のDRBDを使ってみなイカ？ « Linux-HA Japan
橘べるちぇです。こんにちわ。 この度、DRBD8.3.10rc1が公開されていたので、ソースからコンパイルして使ってみようと思い立ち、そういえばDRBDのコンパイル方法とか記事が無いなぁ…と思ったのでここに公開することにいたしました。 みなさんも、最新のDRBDを使ってみましょう。 あ、ちなみに今回のこの記事ではRPMを作ります。なので開発環境用意してRPM作ってそれをもって別のシステムにインストールするなんていうような感じでやってみてください。 動作環境 もうお約束のCentOS5.5(final)の32bit版を使います。（仮想環境でやったので32bit版なの許してください。）DRBDのバージョンはLINBIT社から公開されている、8.3.10rc1を使います。 仮想環境は、VirtualBoxを使っています。構成としては開発環境1台、ミラーリング環境をインストールする2台の計3台にC
3. LVM（Logical Volume Manager）(第2章ディスク管理〜上級:基本管理コースII)
物理ボリュームの作成 物理ボリュームはパーティション単位で管理されます。したがって、1つのディスクを1パーティションとし1つの物理ボリュームとしても構わないし一部分だけをLVM用のパーティションとして確保して、1つの物理ボリュームとしても構いません。もちろん、1つのディスクを複数のパーティションに分割して、複数の物理ボリュームを作成することもできます。 次に物理ボリュームの作成方法を説明します。 LVM用のパーティションとするためには、最初に/sbin/fdiskを使用して、作成したパーティションのIDを0x8Eに設定します。 # /sbin/fdisk /dev/sdc コマンド (m でヘルプ): p Disk /dev/sdc: 1073 MB, 1073741824 bytes 64 heads, 32 sectors/track, 1024 cylinders Units = シ
リモートファイルシステムを使ってRAID-1を構成できるChiron FS | OSDN Magazine
LinuxカーネルはRAID-1の実行をソフトウェアでサポートしている。RAID-1では、1つのファイルシステムを2台以上のディスク装置で保持するため、障害が発生しても最後のディスクさえ生き残っていればすべてのデータを復旧できる。すばらしい仕組みだが、メモリや電源ユニットなど、ほかのハードウェアコンポーネントが故障した場合にはやはり貴重なデータが失われる可能性がある。だが Chiron FS を使えば、ネットワーク上の2台のマシンが持つディスクで1つのRAID-1を構成でき、一方のマシンがダウンしてもファイルシステムにアクセスし続けることができる。 RAID-1構成が維持された状態で一方のマシンに障害が発生した場合でも、ネットワーク接続が無事であれば、障害で破損したファイルがChiron FSによって他方のマシンに複製（レプリケーション）されるおそれがある。だが、2台のローコストPCとネッ
SELinuxでいろいろバックアップ／リストアしてみた― ＠IT
第2回 SELinuxでいろいろバックアップ／リストアしてみた 面 和毅 サイオステクノロジー株式会社 OSSテクノロジーセンター 開発支援グループ グループマネージャー 2007/6/20 今回は、前回セットアップしたPlone／Zopeのコンテンツ管理システムを基に、SELinuxを有効にした場合のバックアップに関して考察してみましょう。引き続き、前回作成したCentOS 4.4＋Plone用にカスタマイズしたSELinuxを用います。 SELinuxのバックアップにこだわる理由 バックアップ／リストアはLinux運用の基礎の基礎では？ と思われたかもしれません。あえてSELinuxのバックアップにこだわった理由は、SELinuxにはファイルシステム上で「拡張属性（XATTR）」情報を持つという特徴があるからです。 従って実際に運用していくうえでは、各種バックアッププログラムによって取
Linux Ext2fs Undeletion mini-HOWTO
次のような状況を想像してほしい。ここ 3 日間、飲まず食わすでシャワーも浴びずに 作業を続け、ようやくその抑えきれないハッキングの衝動が実を結んだ。ついに、 プログラムが完成したのだ。世界的な賞賛と名声をもたらすだろうほどの。 あとは tar でかためて、Metalab にあげるだけだ。おっと、Emacs の バックアップファイルの削除を忘れていた。ここであなたは、rm * ~ とコマンドを打つ。そして、嗚呼、コマンドに余計な スペースを入れてしまったことに気付くのである。世紀の逸品 を削除してしまった！ しかし、万策尽きたわけではない。この文書は、Ext2 ファイルシステム上で削除してしまったファイルを復旧する方法について解説して いる。おそらく、最後にあなたはそのプログラムをリリースできるはず.... Table of Contents1. はじめに1.1. 更新歴1.2. この文書
LVMをXenを使ってサルベージする
RHEL/CentOS、Xenを中心にメモを残していきます。内容は無保証。適用する場合は、十分確認の上、自己責任で。 指摘、質問、要望をコメントしてもらえると喜びます。 Xenで遊んでいると、DomUが起動しなくなった。起動しなくなった原因は不明なのだが、とりあえずそのDomUのサービスを復活させねばならない。サービスの設定や内容(コンテンツ)は、そのDomUのディスクイメージファイルに入っている。なので、古いDomU(以下、旧DomU)から設定や内容をサルベージして、新しく構築したDomU(以下、新DomU)に突っ込んでやればいいわけだ。 ちなみに、旧DomUのサービスは、MediaWikiなので、ApacheとMySQL、それとMediaWiki自身の設定と内容を復活させることになるが、ここではその詳細は触れない。 普通に考えれば、ディスクイメージをlosetupで/dev/loop1
rsync + cron + ssh （rsyncd を立てない編）
目的と環境条件 このテキストでは、 rsync を使ったリモートバックアップ（遠隔バックアッ プ）の方法、特に ssh と cron を利用して、暗号化された経路を経由しての バックアップを自動的に行うための手順を示します。 ここで ssh の認証には、パスフレーズを空にし、かつ実行できるコマンドを 限定した ssh 鍵ペアを作成し使用します。これにより、 ssh-agent や eychain を利用する方法、ホストベース認証を利用する方法よりも安全なバッ クアップ体制が整えられる……はずです。 なお、このドキュメントの内容の正確さについては無保証です。なんせ、備忘 録みたいなものですので……。また、このドキュメントに書かれていることを 実行した結果直接的および間接的に発生した損害について、私（佐藤裕介）は 何ら責任を負いかねます。 用語の説明 ローカルホスト、ローカルマシン、ローカル
[debian-users:38231] (ほぼ解決済) 削除してしまったファイルの復旧(undelete)について
From: WATANABE Takashi <lieuML@xxxxxxxxxxx> Subject: [debian-users:38231] (ほぼ解決済) 削除してしまったファイルの復旧(undelete)について Date: Sat, 13 Sep 2003 04:15:40 +0900 List-help: <mailto:debian-users-ctl@debian.or.jp?body=help> List-id: debian-users.debian.or.jp List-owner: <mailto:debian-users-admin@debian.or.jp> List-post: <mailto:debian-users@debian.or.jp> List-software: fml [fml 4.0.3 release (20011202/4.0.3)]
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rdiff-backup - ローカル/リモートのミラーと差分バックアップ