WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
nakanote blog UbuntuでDrobo風なNASを作る
前書き 前のエントリでは、FreeNASでDroboFS風なNASストレージを作りましたが、 Linuxのmd+LVMのほうがより柔軟で簡単に作れるので、Linuxでやり直しました。 繰り返しになりますが、目指すのはこんな条件のNASストレージです： 異なる容量のHDDを集約して、ひとつの仮想ディスクを作る 小容量HDDを大容量のものに挿し換えることで、データを保持したまま仮想ディスクの容量を増やせる 準備するもの HDD 3本以上: 異なる容量でOK。USB,PATA,SATAなどインターフェースが違っても大丈夫。 今回は80GB,160GB,500GBのディスクを準備しました。 PCサーバ：当然、準備したHDDがすべて挿せる構成である必要があります。 私は前エントリに引き続き、Proliant MicroServerを使用します。こいつは４本 ディスクをさすことができます。 Linux
64bitファイルシステム XFSの実装
XFSの利用方法 最後に、XFSを使う方法を紹介する。例では、Fedora Core 1環境でカーネル2.6.7を使用した。 まず、カーネルがXFSをサポートしているかどうかを確認する。サポートしていない場合は、カーネルのコンフィグレーション時に「XFS filesystem support」を有効にして、カーネルの再構築を行う。 また、XFSを使用するには、3つのシステムユーティリティを下記バージョン以降にアップデートしておく必要がある。 modutils-2.4.0 autoconf-2.13 e2fsprogs-devel-1.18 XFSコマンドツールのインストール カーネルのXFSサポートを有効にしたら、XFSコマンドツールをインストールする。XFSコマンドツールには、以下のようなものがある。 xfsdump xfsdumpパッケージは、xfsdumpやxfsrestore、XF
＠IT：DRBD＋iSCSI夢の共演（前編）（1/3）
Linux上で動作するオープンソースソフトウェア「DRBD」とiSCSIを組み合わせ、部門内のWindows端末のデータをバックアップするシステムを構築してみよう（編集部） 株式会社サードウェア 岩崎 登 2008/8/4 Linux上で動作するオープンソースソフトウェア「DRBD」では、ミラーリングによって企業内のさまざまなデータを保護することができる。これに、ハイパフォーマンスなiSCSIを組み合わせ、部門内のWindows端末のデータをバックアップするシステムを構築してみよう。 ネットワークミラーリングを実現するDRBD Distributed Replicated Block Deviceの頭文字を取り「DRBD」と呼ばれるこのアプリケーションは、オーストリアのLINBIT社が開発したミラーリング技術であり、オープンソースとして提供されている。 DBBDはその名のとおり、ハードディ
Time Machine で iSCSI にバックアップ - 酒日記 はてな支店
Leopard なので Time Machine が使えるわけだが、せっかく家庭内サーバがあるので外付けの USB HDD とかじゃなくてサーバにバックアップを取りたい。 ということでサーバに iSCSI target、Macbook に iSCSI initiator (globalSAN iSCSI Initiator - SNS (Studio Network Solutions)) を入れて Time Machine で使う話。 まずサーバは Gentoo Linux (kernel:2.6.19-gentoo-r5)。emerge で iscsitarget と lvm をインストール。 # の前に実は SATA の HDD を増設したのにのドライバが入ってなかったので kernel rebuild したり、そしたらミスって起動しなくなったり……があったけど本筋と関係ないので割愛
[ThinkIT] 第7回：共有ファイルシステム「LKDR」と「DRBD ARK」 (1/4)
これまでLifeKeeperのLinux版とWindows版のそれぞれについて、インストールと基本的な設定方法を解説した。今回はLinux版に話を戻し、より応用的なリソースの使い方ついて解説する。 HAクラスタを構成して何らかのアプリケーションを保護する場合に、サービスを提供するための仮想IPアドレスとアプリケーションで使用する共有ファイルシステムを組み合わせて使用することが多い。 LifeKeeperでは仮想IPアドレスを「IPリソース」、共有ファイルシステムを「ファイルシステムリソース」として設定し、アプリケーションリソースとの依存関係を作成することにより、仮想IPアドレスと共有ファイルシステムを組み合わせて使用することができる（注1）。
WEB+DB PRESSとDRBDとカレーと - （ひ）メモ
先週の金曜日に六本木のクラブの勉強会でしゃべってきました。 お題目は「ストレージサーバを作ろう」で、DRBD＋keepalived＋落とし穴的な内容の話をしてきました。 細かい設定については、 WEB+DB PRESS Vol.39 作者: 縣俊貴,吉原日出彦,伊藤直也,ひろせまさあき,繁田卓二,桐山俊也,川村丹美,西澤晋,高林哲,宮川達彦,小飼弾,たつを,高井直人,児玉サヌール,田中ばびえ,角田直行,竹下肯己,きたみりゅうじ,久松慎一,豊嶋淳史,石川辰雄,スターロジックマジカチーム,天野仁史,高橋征義,角谷信太郎,馬場保幸,山本竜三,井上澄,吉田和弘,池邉智洋,永安悟史,山本陽平,尾島良司,猪股健太郎,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2007/06/22メディア: 大型本購入: 9人 クリック: 94回この商品を含むブログ (39件) を見るをみても
ウノウラボ Unoh Labs: DRBDによるコンテンツの相互バックアップ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
KLab勉強会#2の資料を公開します : DSAS開発者の部屋
6/22に開催した、第2回KLab勉強会の資料と音声を公開します。 『DSASのあそこ - ストレージサーバ編』 〜 ひろせまさあき (KLab株式会社) 発表資料 (PDF, 1,333 KB) 音声 (MP3, 17,593 KB) 『VIVERのいろいろ』 〜 古橋 貞之 (筑波大学) 発表資料 (PDF, 6,784 KB) ぐりぐり動く対話的プレゼンテーション - 通常版 (QuickTime, 5,146 KB) ぐりぐり動く対話的プレゼンテーション - 高解像度版 (QuickTime, 24,420 KB) 音声 (MP3, 11,411 KB) たくさんの方にお越しいただきありがとうございました。 おかげさまで、懇親会も含め盛況のうちに終わり、とても楽しい時間を過ごすことができました。 さてさて、ちょっと気が早いですが、第3回も開催したいと思っています。 勉強会の内容や参
tach.arege.net: pdumpfs-rsync: rsync を利用したリモート pdumpfs
pdumpfs-rsync とは pdumpfs-rsync は，高林さんが作られた pdumpfs と rsync を組み合わせて リモートでディレクトリの差分コピーを行うツールです．pdumpfs 単体ではできない pull 型のコピーが可能になっています． pdumpfs-rsync は，まず rsync を利用してリモートホストからディレクトリツリーを 取得します．そのあとで，日付のディレクトリに対してハードリンクを張って いきます．変更の有無はすべて rsync の処理に依存します． メリット pdumpfs の特徴をすべて継承しています． ハードリンクを利用しているため，変更があったファイル分（とディレクトリ） のみディスク容量を使います． ディレクトリツリーをそのままの形でバックアップできます． バックアップからの復旧に特殊なツールは不要です．cp などで簡単に戻せます． r
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
NFSv4
xfsを操作した感想 xfsをテストで操作した感想を述べると、I/O性能ではext3と大きな差はつきませんでした。ただ、xfsでは最初の巨大なファイルシステムの作成が瞬時に終わったり、巨大なファイルの削除が瞬間的に終わることが目を引きました。しかし、ファイルシステムの作成は最初だけのことで、しかもユーザには直接関係のない仕事です。巨大なファイルの削除も、保守は多少楽になる程度で、ユーザのメリットはあまりありません。（ext3では、これらの操作に分単位の時間がかかります。しかし、その間のI/O要求は処理されます。） 問題はxfsがデファクトスタンダードではないということです。オープンソースの世界では利用者数の多さが品質に直結します。ext3はRedHatの標準であり、SuSEでも標準に返り咲いています。特殊で重大な障害が起こったとき、利用者数が多ければ、過去に誰かが遭遇した可能性が高く、その
【インフォシーク】Infoseek ： 楽天が運営するポータルサイト
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
ファイルシステム諸元 - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 ファイルシステム諸元 最終更新： linuxfs 2006年08月09日(水) 21:32:11履歴 Tweet FrontPage ファイルシステム諸元 注意事項 更新記録 メジャーなファイルシステムの諸元 Linux以外で主に使用されているファイルシステム諸元 並列ファイルシステム諸元 ファイルシステム諸元 注意事項 1. 2006/08/09版です。~ 2. kernel 2.6.18-rc4(2006/08/07)のデータです。~ 3. Solaris 10 build45(2006/08/03)のデータです。~ 4. 調べてますが間違っているかもしれません。~ 5. 各諸元の理由については、各ファイルシステム毎の詳解にて説明予定~ 更新記録 2006/08/09 2.2版~ 200
IT開発現場におけるサーバ仮想化とマルチレーンの活用
IAサーバをターゲットとする昨今のIT開発現場では多様なプラットフォームへの対応が要求されます。いわゆる LAMP(Linux Apache MySQL PHP) を代表に、Ruby on Railsや J2EE、PostgreSQL、OracleやDB2を使って開発することもあるでしょう。 複数の開発プロジェクトが同時に進行する中小規模組織のオフィス内では、それぞれの開発に用いるためのサーバが乱立しがちです。壊れそうな電源タップに接続されていたり、ゴミ箱から拾ってきた10base-Tのハブが使われていたりしている光景も想像に難くないでしょう。ケーブル類は入り組んで埃だらけ。保守停電の際など、保護すべきサーバの実体が把握できておらず、結局月曜日に開発スタッフが出社した時には開発サーバがfsckで引っかかったまま起動せず大騒ぎ、などという経験のある方もおられるかと思います。 また、サーバがバ
最近, RAIDを使っていてディスクを交換する場合, ディスクが欠けた状態のRAIDを新規に作る方法, KNOPPIX 上で、LVM on RAID を認識させる方法 - 忘れたときに備えた記録(2006-05-26)
ファイルサーバの耐久性を向上させようと急に思い立って、RAIDやらLVMやらを勉強中。「VMware最高!」とか言いながら何度もOSを再インストールしたりディスクイメージを作り直したりしています。 そんな風にして拵えたメモがこれ。 Linux上で、複数のディスクを組み合わせてソフトウェアRAIDを使っていて、ディスクの一つが壊れたら当然交換することになる。 交換した後のディスクを、生きているディスクと組み合わせてRAIDを復旧する方法は以下の通り 前提条件 OS は Debian 3.1 /dev/hdb1 と /dev/hdc1 を使って、/dev/md0 を構成(RAID1) /hdcが壊れたとする とりあえず生きているディスクだけで、RAIDデバイス復帰させる # mdadm -A /dev/md0 /dev/hdb1 新しいディスクをこのRAIDデバイスに追加する # mdadm
Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) - ITmedia エンタープライズ
rsyncを使いこなせば、あなたが想定するバックアップのニーズのほとんどに対応できるようになる。ここでは、あなたをrsyncマスターにするためのポイントを解説する。 この2カ月でわたしはあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでにわたしのデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間が掛かるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsync の素晴らしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転
Gentoo Tab Completion
Introduction Linux offers users various distributions that they can install and utilize as an alternative to Windows. Choosing a distribution to use can be difficult for a user that has specific needs. Some users may be comfortable with using the Zorin OS while others may be looking for specific features present only in Kubuntu. Oftentimes, users will have to uninstall unwanted applications from d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://cafelounge.net/dev/?Cluster%2FDRBD%2F8
2TBを越えるディスク領域の使用方法