Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
最新のDRBDを使ってみなイカ？ « Linux-HA Japan
橘べるちぇです。こんにちわ。 この度、DRBD8.3.10rc1が公開されていたので、ソースからコンパイルして使ってみようと思い立ち、そういえばDRBDのコンパイル方法とか記事が無いなぁ…と思ったのでここに公開することにいたしました。 みなさんも、最新のDRBDを使ってみましょう。 あ、ちなみに今回のこの記事ではRPMを作ります。なので開発環境用意してRPM作ってそれをもって別のシステムにインストールするなんていうような感じでやってみてください。 動作環境 もうお約束のCentOS5.5(final)の32bit版を使います。（仮想環境でやったので32bit版なの許してください。）DRBDのバージョンはLINBIT社から公開されている、8.3.10rc1を使います。 仮想環境は、VirtualBoxを使っています。構成としては開発環境1台、ミラーリング環境をインストールする2台の計3台にC
A few key problems in Redis persistence
Today I read this article about Redis with interest. It's a legitimate point of view on databases, you may agree or not, but the author has a solid idea about what he is looking for and about the database scene. I don't agree with everything, but there is something I especially like about this article: it actually identifies very well what I think are actually the strength and deficiencies of Redi
3. LVM（Logical Volume Manager）(第2章ディスク管理〜上級:基本管理コースII)
物理ボリュームの作成 物理ボリュームはパーティション単位で管理されます。したがって、1つのディスクを1パーティションとし1つの物理ボリュームとしても構わないし一部分だけをLVM用のパーティションとして確保して、1つの物理ボリュームとしても構いません。もちろん、1つのディスクを複数のパーティションに分割して、複数の物理ボリュームを作成することもできます。 次に物理ボリュームの作成方法を説明します。 LVM用のパーティションとするためには、最初に/sbin/fdiskを使用して、作成したパーティションのIDを0x8Eに設定します。 # /sbin/fdisk /dev/sdc コマンド (m でヘルプ): p Disk /dev/sdc: 1073 MB, 1073741824 bytes 64 heads, 32 sectors/track, 1024 cylinders Units = シ
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
Let’s stop talking about “backups”
I’m Joel Spolsky, a software developer in New York City. More about me. Read the archives in dead-tree format! Many of these articles have been collected into four books, available at your favorite bookstore. It’s an excellent way to read the site in the bath, or throw it at your boss. Ready to level up? Stack Overflow Jobs is the job site that puts the needs of developers first. Whether you want
特定のデータベースだけをmysqldumpで作成したダンプファイルから抜き出すawkスクリプト
タイトルのまんまのプチトリビアを紹介しようと思う。mysqlの--one-databaseオプションを使えば「mysqldumpで--all-databasesとか--databasesオプションを使って作成したダンプファイルに含まれる複数のデータベースから、一つのデータベースだけを選択してリストアする」という操作ができるけど、毎回ダンプファイル全体を読み込むのは無駄じゃないか？と思われることもあるだろう。だったら事前にダンプファイルを分けちゃいたい！と考えるのが人情というもの。そんなときはawkコマンドを使うといい。 #!/usr/bin/awk -f BEGIN { dump_current_db = 0; num_db = split(databases, db_arr, ",") for (i = 1; i <= num_db; i++) { db_arr[i] = "`" db_
エンタープライズ・バックアップ＆リカバリ・ソフトウェア15製品（1/17） - ＠IT
ハードディスクに代表されるハードウェアの故障、操作ミスによるファイルの誤削除、ソフトウェア・トラブルによるファイル・システム損傷などによって、データ損失やサービス停止という重大な事態を招く可能性は、どのコンピュータ・システムにもあることだ。 最近の例としては、NTTデータが提供しているブログ・サービスの「Doblog」で、2009年2月8日にデータベース・サーバのRAIDボリュームでハードディスク2台が同時に故障するなどのハードウェア障害により、記事データが損失してサービス停止に陥った件が挙げられる（概要はITmedia News「『Doblog』5月に終了 障害で3カ月投稿不能、一部データ復旧できず」参照）。 それでも、障害発生の前日未明までのバックアップ・データからほとんどの情報をリカバリできたという。もしバックアップ・データがなければ、あるいはリカバリに失敗したら、被害はより甚大にな
「包括的なリカバリ体制を、低価格で“後付け”可能」、日本CA
「包括的なリカバリ体制を、低価格で“後付け”可能」、日本CA：リカバリ・マネジメント製品の最新版を発表 日本CAは5月11日、リカバリ・マネジメント・ソリューション「CA ARCserve r12.5シリーズ」を発表した。バックアップ製品「CA ARCserve Backup」と、レプリケーション製品「CA ARCserve Replication」「CA ARCserve High Availability」の3製品からなるが、「今回のバージョンから各製品を連携可能としたことで、従来よりもストレージ管理者の負荷を抑えながら、よりハイレベルなデータ保護を狙えるようになった」という。 CA ARCserve Backupは2008年5月に発売したCA ARCserve Backup r12の最新版となる。物理・仮想の両環境に対応し、企業のデータを一元的に管理・保護できるほか、統合アンチウイル
howm on ZumoDrive - 西尾泰和のはてなダイアリー
2009-04-14 追記: 2回もファイル消滅が起きたのでZumoDriveはやめてDropBoxにした。履歴が残っているから大惨事にはならなかったけども、いちいち履歴から復帰させるのが面倒。 howm(ひとりお手軽Wikiもどき)を1GB無料のZumoDriveの上で動かすと、 オフラインで自分だけのWikiに色々書けて自由度の高いタスク管理&プロジェクト管理ができ、 かつオンラインになったときに自動的に暗号化されてAmazonS3上に保管されるので自分の他のマシンなどともシェアでき、 自分のマシンがクラッシュした場合はもちろんたとえ家ごと火災で丸焼けになったとしても失われないバックアップになる ってわけでアイデアのメモをがんがんためておく場所としては最適なんじゃないかと思ったので試してみる。 1: ZumoDriveのサイトに行ってSign upする http://zumodrive
リモートファイルシステムを使ってRAID-1を構成できるChiron FS | OSDN Magazine
LinuxカーネルはRAID-1の実行をソフトウェアでサポートしている。RAID-1では、1つのファイルシステムを2台以上のディスク装置で保持するため、障害が発生しても最後のディスクさえ生き残っていればすべてのデータを復旧できる。すばらしい仕組みだが、メモリや電源ユニットなど、ほかのハードウェアコンポーネントが故障した場合にはやはり貴重なデータが失われる可能性がある。だが Chiron FS を使えば、ネットワーク上の2台のマシンが持つディスクで1つのRAID-1を構成でき、一方のマシンがダウンしてもファイルシステムにアクセスし続けることができる。 RAID-1構成が維持された状態で一方のマシンに障害が発生した場合でも、ネットワーク接続が無事であれば、障害で破損したファイルがChiron FSによって他方のマシンに複製（レプリケーション）されるおそれがある。だが、2台のローコストPCとネッ
How to back up your Gmail on Linux in four easy steps
I really like Gmail, but I also like having backups of my data just in case. Here’s how to use a simple program called getmail on Unix to backup your Gmail or Google Apps email. We’ll break this into four steps. Step 0: Why getmail? If you browse around on the web, you’ll find several options to help you download and backup your email. Here are a few: If you use Windows, you can back up your email
SELinuxでいろいろバックアップ／リストアしてみた― ＠IT
第2回 SELinuxでいろいろバックアップ／リストアしてみた 面 和毅 サイオステクノロジー株式会社 OSSテクノロジーセンター 開発支援グループ グループマネージャー 2007/6/20 今回は、前回セットアップしたPlone／Zopeのコンテンツ管理システムを基に、SELinuxを有効にした場合のバックアップに関して考察してみましょう。引き続き、前回作成したCentOS 4.4＋Plone用にカスタマイズしたSELinuxを用います。 SELinuxのバックアップにこだわる理由 バックアップ／リストアはLinux運用の基礎の基礎では？ と思われたかもしれません。あえてSELinuxのバックアップにこだわった理由は、SELinuxにはファイルシステム上で「拡張属性（XATTR）」情報を持つという特徴があるからです。 従って実際に運用していくうえでは、各種バックアッププログラムによって取
rdiff-backup: Main Page
_// Reverse differential backup tool, over a network or locally Rdiff-backup backs up one directory to another, possibly over a network. The target directory ends up a copy of the source directory, but extra reverse diffs are stored in a special subdirectory of that target directory, so you can still recover files lost some time ago. The idea is to combine the best features of a mirror and an incr
Linux Ext2fs Undeletion mini-HOWTO
次のような状況を想像してほしい。ここ 3 日間、飲まず食わすでシャワーも浴びずに 作業を続け、ようやくその抑えきれないハッキングの衝動が実を結んだ。ついに、 プログラムが完成したのだ。世界的な賞賛と名声をもたらすだろうほどの。 あとは tar でかためて、Metalab にあげるだけだ。おっと、Emacs の バックアップファイルの削除を忘れていた。ここであなたは、rm * ~ とコマンドを打つ。そして、嗚呼、コマンドに余計な スペースを入れてしまったことに気付くのである。世紀の逸品 を削除してしまった！ しかし、万策尽きたわけではない。この文書は、Ext2 ファイルシステム上で削除してしまったファイルを復旧する方法について解説して いる。おそらく、最後にあなたはそのプログラムをリリースできるはず.... Table of Contents1. はじめに1.1. 更新歴1.2. この文書
P2Vによるサーバー統合「Acronis True Image 9.1 Server for Windows」
複雑化してしまったシステムにかかる運用コストは多大です。これを解決する鍵を握る新たな流れが、サーバーリソースの統合化と仮想化です。しかし、サーバ・アプリケーションが稼働しており、それらを別のサーバ環境に移行するとなると、きわめて大きなコストがかかってしまう。 VMwareとAcronisを組み合わせた仮想化ソリューションを活用すれば、既存のサーバ環境を停止することなく移行できるうえ、移行もスムーズです。こうしたサーバ環境移行に伴う手間やコスト、時間を大幅に削減できることがVMwareとAcronisの連携で提供する仮想化によるサーバ統合ソリューションです。 ●VMwareとAcronisの連携で仮想マシン上にサーバを統合 VMwareとAcronisを連携することにより稼動中のシステムを停止することなく仮想マシン上に移行します。増大したサーバの場所代・管理費・保守費用をサーバ統合で大幅にコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hot Off the Compiler: PowerShell SnapIn for XenServer Snapshots « Shannon Ma Virtualized
VM Snapshots Code Released | Xen Project Blog
Citrix to open the beta of next (free) XenServer – virtualization.info
http://wiki.rdiff-backup.org/wiki/index.php/Installations