Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
ハードディスクを交換した | Carpe Diem
本番サーバで、運用当初から使っていた 1U サーバの 160GB のハードディスクの容量がアクセスログでいよいよいっぱいになってきた。アクセスログは、何かあったときのためにできる限りとっておきたいので、1TB のハードディスクに交換してみることにした。 LVM になっているので、普通に 1TB を 2 台目のハードディスクを追加して増設してもよかったけれど、2 台ハードディスクがあると故障率も 2 倍になるので、1 台目のハードディスクを交換してみることにした。 OS は、CentOS 5.5 x86_64 既存のハードディスクは、次のようなパーティンション構成になっている。 /boot ext3 100MB / LVM 残りすべて dd でコピーすればいいだと思っていたけれど、ちょっと調べてみるとより高速らしい dd_rescue を見つけたので、次のような手順でハードディスクを交換した
Xenのディスクイメージファイルを拡張してみた - harry’s memorandum
Xenのディスクイメージファイルを拡張してみました。]]Ubuntu Japan[[ にXenのディスクイメージの拡張方法が書いてあったので試してみたのですが、なかなかうまくいきませんでした。 # cd /etc/xen/images # mv sarge-root.img sarge-root.img.old # dd if=/dev/zero of=zero-1gb.img bs=1024k count=1024 # cat sarge-root.img.old zero-1gb.img > sarge-root.img # e2fsck -fv sarge-root.img # resize2fs sarge-root.img # e2fsck -fv sarge-root.img # xm create /etc/xen/sarge -c上記の手順だと少なくともOSがLinuxでL
3. LVM（Logical Volume Manager）(第2章ディスク管理〜上級:基本管理コースII)
物理ボリュームの作成 物理ボリュームはパーティション単位で管理されます。したがって、1つのディスクを1パーティションとし1つの物理ボリュームとしても構わないし一部分だけをLVM用のパーティションとして確保して、1つの物理ボリュームとしても構いません。もちろん、1つのディスクを複数のパーティションに分割して、複数の物理ボリュームを作成することもできます。 次に物理ボリュームの作成方法を説明します。 LVM用のパーティションとするためには、最初に/sbin/fdiskを使用して、作成したパーティションのIDを0x8Eに設定します。 # /sbin/fdisk /dev/sdc コマンド (m でヘルプ): p Disk /dev/sdc: 1073 MB, 1073741824 bytes 64 heads, 32 sectors/track, 1024 cylinders Units = シ
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
XenとLVM・その3・スナップショットLVの利用
RHEL/CentOS、Xenを中心にメモを残していきます。内容は無保証。適用する場合は、十分確認の上、自己責任で。 指摘、質問、要望をコメントしてもらえると喜びます。 前回および前々回で、Logical Volume Manager (LVM)の論理ボリューム(logical volume, LV)に直接XenのDomUイメージを作成する方法について述べた。このときのLVは、いわゆるリニア(linear)LVだったが、代わりにスナップショット(snapshot)LVを使うとディスクをケチることができる、と言う話。 スナップショットLVは通常、LVをバップアップするのに使用される。オリジナルのLVのスナップショットを撮ると、その後オリジナル側が変更されても、スナップショット側はスナップショットを撮った時点の内容が保持されている。ただし、スナップショットLVに割り当てた容量以上にオリジナルが
LVMをXenを使ってサルベージする
RHEL/CentOS、Xenを中心にメモを残していきます。内容は無保証。適用する場合は、十分確認の上、自己責任で。 指摘、質問、要望をコメントしてもらえると喜びます。 Xenで遊んでいると、DomUが起動しなくなった。起動しなくなった原因は不明なのだが、とりあえずそのDomUのサービスを復活させねばならない。サービスの設定や内容(コンテンツ)は、そのDomUのディスクイメージファイルに入っている。なので、古いDomU(以下、旧DomU)から設定や内容をサルベージして、新しく構築したDomU(以下、新DomU)に突っ込んでやればいいわけだ。 ちなみに、旧DomUのサービスは、MediaWikiなので、ApacheとMySQL、それとMediaWiki自身の設定と内容を復活させることになるが、ここではその詳細は触れない。 普通に考えれば、ディスクイメージをlosetupで/dev/loop1
くわぞうメモ: xenアーカイブ
パフォーマンスを向上させるために、 Domain-Uを、Domain-0上の仮想HDDファイルにインストールするのではなく、 Domain-0の使用していないHDD領域にDomain-U専用のLVMパーティションを作成し、 そのパーティションに直接Domain-UのCentOS5をインストールする方針である。 ただし、これをするとライブマイグレーションなどの恩恵にはあずかれない（と確か思った） 【Domain-0】 Xenの場合、語弊があるのですが、一般に「ホストOS」などと言われるやつです。 ■CentOS5インストール CentOS5のインストール時に「仮想化」のパッケージが必要なだけである。 それ以外はほとんど最小限にする。 GUIもいらない。 そうすれば、Domain-0は64MBのメモリでも運用できる。 ○パーティションは特に考えず、 /dev/sda1 ex
sanonosa システム管理コラム集: LinuxでLVMのデータを抜き出す方法
keyword: Linux,LVM,HDD,抜き出し 最近久しぶりにLinux(CentOS)をインストールする機会がありまして、いつの間にかLinuxにもLVM(論理ボリュームマネージャ)が導入されていることを知りました。LVMを使うとソフトウェアRAIDが組めたりパーティションのサイズを変えられたりできるので便利といえば便利です。が、最近ちょっとした事件がありました。オペミスでOSが死亡してしまい、データだけでも救出しようとしたときの話しです。旧来の方法であれば、別HDDにLinuxを入れて、OSが死亡したHDDのデータ用パーティションをmountすれば簡単にデータが抽出できたのですが、LVMだとちょっと面倒くさいです。そこで今回はLinuxでLVMのデータを抜き出す方法をまとめてみました。(今回は多分一部ケアレスミスが含まれていると思います。その場合ご指摘いただけたら幸いです) 【
Pantora Networks » 3章 LVM操作 応用編
※1 ext2用のオンラインリサイズパッチは過去に存在していました。 (1) LVのリサイズするには LVのリサイズには、lvresize、lvextend、lvreduceといったコマンドを使います。また、LVのリサイズの中にも、マウントしたままサイズ変更される「オンラインリサイズ」と、一度アンマウントした後にリサイズを行う「オフラインリサイズ」があります。 Linux上の一般的なファイルシステムはオンラインリサイズができます。 (2) LVのサイズ拡大 サイズの拡大は、まず入れ物であるLVを先に大きくし、その後、中身のファイルシステムを大きくします。(図9) LVのサイズを拡大には、lvresizeコマンドか、lvextendコマンドを使います。(図10) 次にファイルシステムを拡大します。この場合、ファイルシステム固有のコマンドを使います。(表1を参照) 図9 LVのサイズ拡大 図1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PDF DRBDとPacemakerによるLinux-HA環境
unixconsult.org