Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
最新のDRBDを使ってみなイカ？ « Linux-HA Japan
橘べるちぇです。こんにちわ。 この度、DRBD8.3.10rc1が公開されていたので、ソースからコンパイルして使ってみようと思い立ち、そういえばDRBDのコンパイル方法とか記事が無いなぁ…と思ったのでここに公開することにいたしました。 みなさんも、最新のDRBDを使ってみましょう。 あ、ちなみに今回のこの記事ではRPMを作ります。なので開発環境用意してRPM作ってそれをもって別のシステムにインストールするなんていうような感じでやってみてください。 動作環境 もうお約束のCentOS5.5(final)の32bit版を使います。（仮想環境でやったので32bit版なの許してください。）DRBDのバージョンはLINBIT社から公開されている、8.3.10rc1を使います。 仮想環境は、VirtualBoxを使っています。構成としては開発環境1台、ミラーリング環境をインストールする2台の計3台にC
HA Xen Cluster with DRBD, LVM and heartbeat
We have implemented a 2-node HA Xen cluster, which consists of two physical machines (hosts,) and runs several virtual servers (guests) each, for our company's internal services (mail, web applications, development, etc.) When one host gets down unexpectedly, the other host physically kills it (STONITH - power down or reset) and then takes over all the guests the failed host was running. When we w
drbd.conf
ストレージには寿命があり、保存された情報は永遠に正常性を保証されるわけではありません。その為に別のストレージにデータをバックアップしたり、ストレージそのものを多重化してデータを保護することが重要です。今回紹介するは、ストレージデバイスを多重化し、データを複数のストレージに保存する仕組みで、DRBD(Distributed Replicated Block Device)と呼ばれているものです。同様の仕組みにソフトウェア／ハードウェアRAIDがあります。 DRBD(Distributed Replicated Block Device)とは、TCP/IPネットワークを通じて複数のサーバのストレージ（パーティション）をリアルタイムにミラーリング（複製）するソフトウェアです。RAID1のようなミラーディスクを構築することができます。ソフトウェア／ハードウェアRAIDは同じサーバ内のストレージを使
Xen DomU上でDRBDを使う・その0・概要
RHEL/CentOS、Xenを中心にメモを残していきます。内容は無保証。適用する場合は、十分確認の上、自己責任で。 指摘、質問、要望をコメントしてもらえると喜びます。 DRBDは、ネットワーク越しにディスクのミラーリング(RAID1)を実現するソフトウェア。Xen DomU上でこの動作検証を行う。以下は今回検証環境の概念図。 今回は、『The DRBD User's Guide』の『Chapter 5. Configuring DRBD』を実行・検証する。 CentOSのRPMパッケージには、drbd 8.0系であるdrbdおよびkmod-drbd-xenと、8.2系であるdrbd82およびkmod-drbd82がある。今回は、8.2系を使用する。 検証内容は以下の通り。 Xen Dom0 fs1上にDomU dc[23]を作成する。 DomU dc[23]に対して、それぞれDom0 f
疎結合なディスクレスサーバ - （ひ）メモ
「そもそもOSインストールするのも面倒だよね、ディスクあると障害確率も上がるし。」という話もあって、今後は iSCSI か NFS かでマスタファイルサーバーを作り、PXE ブートしてそれを root ごとマウントしてディスクレスにしようかなと計画しています。 http://d.hatena.ne.jp/naoya/20070328/1175067451 これだとマスタファイルサーバとディスクレスサーバの結合度が密なんじゃないすかね。その弊害として、マスタファイルサーバが停止するとディスクレスサーバが全滅しちゃうんじゃないかと思うんす。（マスタファイルサーバがステキにフェイルオーバできるなら話は別ですが） なので、 マスタファイルサーバはrootファイルシステムのイメージを保持して配信するだけ。 ディスクレスサーバはもらったrootファイルシステムをメモリ上に展開後、pivot_rootし
DRBD/FAQ - Linux-HA
This MoinMoin wiki is deprecated. Please consider moving still relevant content, and of course adding new content, to the Linux-HA Media Wiki. Once you migrated a page, you may either delete the page in this wiki, or edit it to start with REDIRECT {Optional_New_Page_Title} where the {Optional_New_Page_Title} is to avoid CamelCase in the new wiki -- default would be the same page name as in the old
DRBDベンチマーク - NO LIMIT Is. はてな支部'
DRBDのパフォーマンスを評価する機会があったのでメモしておきます。 DRBDはTCP/IPネットワーク越しにディスクのミラーリングを行うソフトウェアで、Linuxのカーネルモジュールとして実装されています。ネットワーク経由のRAID1と考えるとわかりやすいと思います。Heartbeatなどと組み合わせると擬似的な共有ディスクを持ったクラスタを構築することができます。 5年くらい前に話に聞いたときは（主にネットワークが）遅すぎて使えない印象でしたが、今日ではGigabit Ethernetが当たり前に使えるのでどのくらいのパフォーマンスが出るのか興味深いところです。 環境 以下のような環境を用いました。 サーバハードウェア 機種 IBM x3650 2台 CPU Intel Xeon 1.6GHz Memory 5GB HDD SAS HDD 146GB RAID1 ネットワーク構成 10
DRBD+Heartbeatでお手軽HA Cluster VA Linux Systems Japan
サーバを運用する際の問題の一つとして故障時の対応があります。高価なシステムを構築すればストレージはSANで構築し、サービスのフェイルオーバーも高価な商用ソフトを導入することで実現することは可能です。しかしながら、「そこまでコストをかけて構築しなくても、、、」といった場合もあるかと思います。そのような場合の解決策の一つとして、本編ではDRBD + Heartbeatというオープンソース・ソフトウェアを用いて、HA Clusterを構築する方法を解説します。以下、<host_m>と<host_s>という2台のサーバを用いた構成手順を紹介します。 DRBDとは、Distributed Replicated Block Deviceの略で、本家WEBサイトは http://www.drbd.org/ になります。具体的にDRBDは何をするものか？というと、パーティション
Heartbeatでかんたんクラスタリング（4）：ミラーリングツール「DRBD」によるデータ保護 (1/3) - ＠IT
1つの例として「SAN」（Storage Area Network）があります。データを格納するストレージ自体が冗長化されている製品も多いですし、サーバをSANに接続するためのHBA（Host Bus Adapter）を二重化することも可能ですが、コストもかさみます。 現在ならば、SCSIブロックをIP化してしまう「iSCSI」も選択肢として挙げられるでしょう。ですが最近までiSCSIは、「iSCSi接続を確立するためのイニシエータが不安定だ」などといわれることもありました。また、データを共有する「NFS」（Network File System）を用いてほかのサーバにデータを保存することもできます。しかし外部にデータを置くとなると、どうしても、その分コストも高くなってしまいます。 最もコストを抑える方法を考えた場合に浮上してくる選択肢がDRBDです。Heartbeatによるサービスの冗長
DSASのあそこ
Copyright © KLab Inc. All rights reserved. 2007年6月22日 KLab 株式会社 Kラボラトリー ひろせ まさあき DSASのあそこ ～ストレージサーバ編～ 第２回 KLab 勉強会 http://dsas.blog.klab.org 1 Copyright © KLab Inc. All rights reserved. 自己紹介 2 Copyright © KLab Inc. All rights reserved. 自己紹介 名前：ひろせ まさあき はてなID：id:hirose31 KLab株式会社 Kラボラトリーに所属 3 Copyright © KLab Inc. All rights reserved. http://d.hatena.ne.jp/hirose31/ amount of curry I drank 4 Copyri
ウノウラボ Unoh Labs: DRBDによるコンテンツの相互バックアップ
こんにちは satoです。 DRBDは誤解を恐れないで、簡単に言ってしまうと、ネットワーク越しにRAID1を構築できるオープンソースのソフトウェアです。 DRBDには以下の特徴があります。 ・カーネルモジュールで動作し、有償でサポートが受けられます ・電源等が壊れても、ソフトウェアRAIDやPICカード型のRAIDと違ってサービスを続けることができます ・heartbeat等と組み合わせて、HAなシステムを構築できます ・secondary(slave、待機系)はマウントすることができません。 DRBDの設定から使用までを簡単に解説しようと思います。また待機系が必要なのですが、待機だけではもったいないので、相互に違う領域をバックアップ(s1のsda3のバックアップ先は s2のsda3、s2のsda4のバックアップ先はs1のsda4)をしてみました。 構成 s1.unoh.n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PDF DRBDとPacemakerによるLinux-HA環境
Ubuntu 8.04 LTSでDRBD+OCFS2を試してみる
MySQL :: MySQL 5.0 Reference Manual :: 14.1 Using MySQL with DRBD for High Availability
DRBD: Linux HA