Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)
一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。 勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。 blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot ではデータベースのホットバックアップ不可能です。逆に blockdiff はディレクトリ単位でのバックアップには対応していないかわり、ファイルシステムやデータベースを、一貫性を保ちつつ実質無停止で差分バックアップすることができます
About Persistent Disk | Compute Engine Documentation | Google Cloud
Maximum capacity Persistent Disk volumes can be up to 64 TiB in size. You can add up to 127 secondary, non-boot zonal Persistent Disk volumes to a VM instance. However, the combined total capacity of all Persistent Disk volumes attached to a single VM can't exceed 257 TiB. You can create single logical volumes of up to 257 TiB using logical volume management inside your VM. For information about h
DBAのためのmysqldumpのtips 25選 | Yakst
MySQL標準のダンプツールmysqldumpについて、基礎的な使い方からよく使われるオプション、特徴までを含む25個の問答集。 1) mysqldumpはテキストバックアップツール？それともバイナリバックアップツール？ テキストバックアップツールだ。バックアップファイルを開けば、データベースとその中のオブジェクトを作り直すための全文が見られる。テーブルにデータを詰め込むためのinsert文ももちろん含まれている。 2) mysqldumpのコマンドラインオプションは？ $ mysqldump -u [uname] -p[pass] –databases [dbname] [dbname2] > [backupfile.sql] 3) 全データベースのバックアップはどうしたらいい？ $ mysqldump -u root -p –all-databases > backupfile.sql
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
磁気テープ、まさかの復権
出典：日経コンピュータ 2013年7月25日号 pp.56-63 （記事は執筆時の情報に基づいており、現在では異なる場合があります） データ保存手段として、既に過去の遺物と思われていた「磁気テープ」の生産量が急回復している。ここ数年で急速に大容量化し、主に海外で需要が伸びているためだ。復権の背景には日本のメーカーによる技術革新があった。クラウドやビッグデータでも活用が進む磁気テープの最新動向を解説する。 磁気テープは、過去の遺物――。 データのバックアップやアーカイブ（長期保存）の有力手段である磁気テープのことを、そう思っている読者は少なくないだろう。 実際、日本国内におけるテープストレージ（テープドライブやカートリッジの自動入れ替え装置）の市場規模は減少し続けている。IDC Japanの調査によれば、2012年の国内テープストレージ市場規模は、前年比15.2％減となる158億8900万円
WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
Percona XtraBackupの抽出と圧縮の並列処理 | 外道父の匠
久々にXtraBackupの話題です。 以前に紹介した基本手順では、tarアーカイブをgzip圧縮していました。 実はこれよりもっと速い方法がありまして、データサイズが大きくなると必須になってくるのではないかと思います。その、計測内容と結果について紹介していきたいと思います。 リンク 本件に関係ありそうなドキュメントのリンクになります。 The xtrabackup Option Reference Streaming and Compressing Backups The xbstream Binary Accelerating with –parallel copy and –compress-threads Making a Compressed Backup (qpress) 本家ブログのベンチマークもあります。 Compression for InnoDB backup – My
Amazon EBSのスナップショット(バックアップ)を取得しつつ世代管理も行うスクリプト - 元RX-7乗りの適当な日々
# タイトル長い。 Amazon EBS(Elastic Block Store)では、スナップショット機能と呼ばれる、ボリューム(ディスク)を瞬時にバックアップする機能をAPI経由で簡単に使うことができます。 参考 最近発表されたストレージサービスAmazon EBS(Elastic Block Store)をEC2から利用する - 元RX-7乗りの適当な日々 Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～ (1/6)：CodeZine（コードジン） そんな便利機能なEBSスナップショット君ですが、そのバックアップデータの保存先はAmazon S3ということで、S3の利用容量無制限！という素晴らしい恩恵を受けちゃっていて、当然、バックアップデータの世代管理は使い手自身に委ねられています。 ということで、指定したEBSボリューム
mysqldump --single-transaction に --flush-logs をつけてはいけない - tmtms のメモ
(いまだに時々ブクマされていたりしますが、これはバグで MySQL 5.5.21 以降では修正されています。) mysqldump は MySQL のデータのバックアップを取得するコマンドです。 mysqldump に --single-transaction を指定すると一貫性を保持したバックアップを取得することができます*1。 この時に mysqldump が発行しているクエリは次のような感じです。 [mysqldump --single-transaction DB名] SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ START TRANSACTION WITH CONSISTENT SNAPSHOT UNLOCK TABLES DB選択 テーブルからデータの読み込み「START TRANSACTION WITH CON
MacBookAirをダイエット！SSD使用量を30G減らすために行った7つのこと | なまら春友流
え？空き容量7.66Gとか… マジでぇ〜、こんだけぇ～？なんで～？？？ こりゃあネコ科最強のライオンさんの動きも悪くなるでしょ。 ってことでMacBook Airのダイエット開始！ 以下のAGENDAの順番で調べながらやっていきますよ。 AGENDA 写真や動画、音楽ファイルを外付けHDDに移動 未使用アプリの削除 削除アプリの残骸ファイルの削除 不要なフォントの削除 iPhoneなどのアプリを外付けHDDへ iPhoneなどのBackupFileも外付けHDDへ もっと容量が必要な人は追加しよう ※必ずMacのバックアップを取ってから自己責任で行いましょう 1. 写真、動画、音楽ファイルを外付けHDDへ やっぱり写真や動画、音楽って容量が大きい。 ってことでこれらは外付けHDDへ。 MBAを購入して真っ先に行ったことだったのでこの時点では容量の変化はなし。 以下の記事で詳しく説明されて
iPhone 4 発売を前にして今一度「復元機能」をおさらいしておこう〜現iPhone環境をiPhone4に移行する方法。[追記あり/SS追加] | 覚醒する @CDiP 【個人ブログ】
ちょうど1年前にエントリーした内容の焼き直しです。 [2011.10.13] iOS5 リリースに伴い、iCloudを利用した復元方法エントリーをアップしました。 ◇ 明日発売の iPhone 4S を iCloud から快適に復元しよう！ 〜バックアップ機能からの復元を実践 / iCloud 容量節約 5つのコツ https://www.donpy.net/standard-entry/tips/14622.html （via @CDiP ） [2011.5.3] iPhone初期化から手動で環境、アプリを復元する方法についても解説しました。 ◇ iPhoneを「手動復元」してパフォーマンスも復元しよう 〜 「クリーンインストール」から元環境を構築する手順とポイント。 https://www.donpy.net/standard-entry/tips/13483.html （via @C
livedoor Techブログ : 運用から生まれるスクリプト
こんにちは、ネットワーク事業部オペレーショングループの後藤です。 データホテルのサービスを担っているオペレーショングループでは、サーバセットアップ時にセットアップの効率化と正確性を図るため、予め先代たちが築きあげてきたセットアップ用のスクリプトを使用しセットアップ作業を行うことが多々あります。 セットアップとは、OSのインストールからミドルウェアの構築まで、顧客のご要望に沿った形でサーバを造りあげて引き渡すまでのことを意味し、各々顧客に合わせたセットアップ方法にて作業を行っております。その一連の流れの中から、OSインストール後のできたてホヤホヤのサーバに対して行っている、あることを取り上げてみたいと思います。 ◇日次バックアップ データホテルではレンタルサーバとして提供しているサーバに必ずディスクが2本以上装填されております。これはデータホテルのバックアップ方法の一つとして、日次で同一サー
サーバにあるファイルのバックアップの件 - ヽ( ・∀・)ノくまくまー(2010-03-17)
やはり一番重要なのは「データ」ファイルであり、それを簡単にバックアップするためには、専用のディスクを割り当てるのが一般的だろう。従って、以下の鉄則を得る。 鉄則1: mount /dev/sdb1 /data device 名は環境に依存するが、mount point は /data しかありえない。だってシンプルだから。うん間違いない。名前重要！もちろん忘れずに、アプリが利用するデータディレクトリの格納場所は /data 以下にしておく。このような「データ」ファイルの隔離は、OSを入れ替える時の可搬性としても非常に優秀で役立つのだが、件の復旧を考えると、これだけでは不十分である。「設定」ファイルを復活させるのも意外と大変だからだ。そこでぱっと思いつくのが、 大事そうな設定ファイルを /data への symlink にする /etc 自体をもう /data への symlink にする
livedoor Techブログ : データバックアップ再考
こんにちは、ネットワーク事業部フルマネージドホスティング部の冨成 章彦です。 とても地味な話題になるのですが、私はシステムの運用部門に長く携わっていて、我々の業務の中で、とても重要でありながら、いつも忘れられがちなバックアップ、ということについて、関連するキーワードの解説も交えつつ、必要性や手法など様々な面で掘り下げてみたいと思います。 ITに少なからず関わっていれば、データをバックアップしておくことの重要性は良く知っていると思います。しかし、実際の日常でバックアップについて真剣に考える機会は少ないのではないでしょうか。この時代に今更バックアップの話、と感じる向きもあるかもしれませんが、世の中が全てクラウドコンピューティングになったしても、なお、我々は、手法は変わりながらも、バックアップの必要性から完全には解放されないと考えています。 バックアップの必要性 - データは時々失われるという前
2010年代にはLVMスナップショットベースのバックアップとか流行らない (もしくはログ構造化ファイルシステムへの期待) - kazuhoのメモ置き場
感想文です。タイトルはテンプレから。 たとえばうちの環境（普段 20-80 IOPS くらいの負荷がかかっている HDD) で、blockdiff (参照: Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)) を実行すると、バックアップ速度は 10MB/sec. くらいになる。これはフルバックアップでも増分バックアップでも同じで、ボトルネックは HDD のシーケンシャルリード速度。他の I/O があるから、それぐらいの速度になってしまう *1。 換言とすると、100GB のボリュームをバックアップするのに約３時間かかる。必要な時間が３時間ならデイリーバックアップで運用できるけど、これが 1TB のボリュームとかになると、ウィークリーバックアップしか選択肢がなくなる。 ただ、 ウィークリーバックア
Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)
一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。 勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。 blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot ではデータベースのホットバックアップ不可能です。逆に blockdiff はディレクトリ単位でのバックアップには対応していないかわり、ファイルシステムやデータベースを、一貫性を保ちつつ実質無停止で差分バックアップすることができます
oinume journal
RaycastにはScript Commandsという機能があり、ずっとずっと気になっていたのでGW中に重い腰を上げて試してみた。最近会社の人にRaycastをオススメすることが多くなってきたのだけれども、「Raycast歴1年以上経つのにScript Commandsも使ったことないの？」みたいに後ろ指差されないようにするためにも... Script Commandsとは？ 簡単にいうとCUIのコマンドをRaycastから呼び出せるというただそれだけのものっぽい。「っぽい」というのは単純に自分がちゃんと調べてないだけです。はいテキトーですいません。 なにを作るか？ Hello Worldを出力するだけのScript Commandsを作っても仕方がないので、よく自分でやっている単純作業を自動化するスクリプトを考えてみた。結果として生まれたのは、以下のような beforeの文字列をafte
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
Kazuho@Cybozu Labs: MySQLをロックしてほげほげするツール「mysqllock」を書いた
MySQLを使っていると書込みロックをかけてバックアップを取る、ってのは一般的だと思います。実際、標準添付の mysqlhotcopy や Xtrabackup もそういうことをやっています。 しかし、これらはいずれもロックの管理とバックアップ処理が密結合になっている（ですよね？）のが玉に瑕。 特にボリュームレベルのスナップショット機能を使ってバックアップを取る場合、スナップショットを取るためのコマンドは環境（LVM とか XenServer とか VMware ESXi とか...）によって異なるので、ロック管理とバックアップコマンドは疎結合にしておきたい。と思ったので、書くことにしました。というか、疎結合なのを探すより書いたほうが早かった。コードはこちら↓。 使い方は、以下のとおり。setlock 風のインターフェイスなので、慣れている人には簡単だと思います。 % mysqllock
Kazuho@Cybozu Labs: リモートからXenのDomUとかLVMやファイルを差分バックアップするスクリプトを書いた
月曜から XenServer の運用を始めたんですが、以下のような要件のバックアップツールがほしくなりまして。ちょっと調べた範囲で見つからなかったので、書いてみました。 スナップショットによる無停止でのバックアップ 差分／多世代バックアップが可能 ネットワーク越しにプルベースでバックアップが可能 元々は去年書いたバイナリファイルの差分バックアップスクリプト (データベースの差分バックアップとウェブサービスのお引っ越し)。これを拡張して、LVMを操作したり、バージョン番号を自動採番するようにしたり、ssh経由での転送機能をつけたりした感じです (ディスクは遅いからギガイーサなら over ssh でも問題ない)。 詳しいことを知りたい人にはソースコードを読んでいただくとして (といっても300行ちょい)、たとえば XenServer 上の DomU のバックアップを取るなら、サーバ上で xe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
