MySQLのバックアップ運用について色々分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
ドライバの再インストールが面倒。一括でまとめてバックアップできるソフトない？ | 教えて君.net
パソコンの再インストールは、事前・事後の作業が非常に面倒。特に新しい環境でドライバをインストールし直すのが厄介で、ハードウェアの構成を調べるだけでもかなりの時間がかかってしまう。使用中のパソコンからドライバをバックアップできる「Double Driver」を活用しよう。 「Double Driver」はパソコンのドライバを検出してバックアップし、新しい環境でインストールしてくれるツールだ。何も考えずにOSの再インストールをすると、新しい環境でハードウェアを調べて、それに合わせたドライバを探さなければならず、かなりの手間と時間がかかってしまう。 このツールを使えば、マザーボードやCPU、GPUの構成が分からずとも、今動いているドライバをバックアップし、OSインストール後の環境で一括導入してくれるスグレモノだ。 ウインドウズが重くなってきたので、ハードは変えずに再インストールしたい、というとき
Vagrant/VirtualBoxの環境をそのまま他のPCに移行する - terurouメモ
今までプライベートPCで創業準備なり仕事なりをしていたんですが、つい最近になって業務用PCを購入したので、Vagrant環境を旧PC(プライベート用マシン)から新PC(業務用PC)に移行してみました。少しだけハマったので、メモだけ残します。 手順 新PCにVagrant/VirtualBox環境を構築 旧PCで移行対象のVirtualBox仮想マシンをovaにエクスポート（エクスポートするとイメージが圧縮されるのでコピーが楽） 新PCに以下をコピー・インポート 作成したovaファイル .vagrant.d/boxes vagrantプロジェクトフォルダ一式 ovaをインポートすると仮想マシンのIDが変わるので設定ファイルのIDを書き換え VBoxManage list vms でIDを確認 .vagrant/machines/default/virtualbox/idを書き換える vagr
Heliumの使い方。AndroidのアプリとアプリのデータをRoot化せずにまるごとバックアップ・復元できる必須アプリ。 - アンドロイドラバー
今回は、AndroidのアプリだけでなくアプリのデータをRoot化せずにまるごと保存・復元できる必須アプリ「Helium」の使い方を紹介します。 Heliumの特徴 Heliumは、カスタムリカバリのClockworkModの開発者が作成したアプリです。 Heliumの特徴は、主に2点あります。 1点目は、自分のAndroid端末にインストールしているアプリだけでなく、ゲームのセーブデータやブラウザの設定といったアプリの設定自体もバックアップできる点です。 2点目は、アプリのデータをRoot化しなくてもバックアップできる点です。 アプリのデータごとバックアップできるアプリとしてはTitanium Backupが有名ですが、Titanium BackupはAndroid端末をRoot化する必要があります。 AndroidをRoot化したくない時や、そもそも使っているAndroid端末がRoo
データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら（PDF）でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張
煩雑になりがちなブラウザやソフトのバックアップ方法を統一できる便利ソフト | 教えて君.net
定番のブラウザやソフトをいくつも利用している場合、個別に設定の保存を行うのはかなり面倒な作業。バックアップしたデータも、どうやって復元するのか失念してしまいがち。だ「Hekasoft Backup & Restore」なら定番からマイナーなブラウザまで、クリック一発でバックアップを行える。 ブラウザのローカルへのバックアップは、ソフトごとに設定の保存場所が違うため、なかなか厄介。そのたびにプロファイルの保存場所を調べるのが面倒なら、様々なブラウザのプロファイルを、同じ方法で保存できる「Hekasoft Backup & Restore」を利用しよう。 対応するソフトの種類は非常に多く、FirefoxやChromeはもちろんLunascape、PaleMoon、Avant Browserといったレアなブラウザにまで対応。Skype、Thunderbird、Comodo Dragonといったブ
Percona XtraBackupの抽出と圧縮の並列処理 | 外道父の匠
久々にXtraBackupの話題です。 以前に紹介した基本手順では、tarアーカイブをgzip圧縮していました。 実はこれよりもっと速い方法がありまして、データサイズが大きくなると必須になってくるのではないかと思います。その、計測内容と結果について紹介していきたいと思います。 リンク 本件に関係ありそうなドキュメントのリンクになります。 The xtrabackup Option Reference Streaming and Compressing Backups The xbstream Binary Accelerating with –parallel copy and –compress-threads Making a Compressed Backup (qpress) 本家ブログのベンチマークもあります。 Compression for InnoDB backup – My
redisのバックアップは慎重に | Nekoya press
皆様におかれましては、WEB+DB PRESSの最新号のRedis特集は既にご覧頂いたかと存じます。 弊社では1年ほど前から広告配信に関する様々な部分でRedisを使っています。まだ2.4系なので、2.6の新機能とか新鮮でした。 本番環境でRedisを運用する上で、強く訴えたい注意点は「RDBが壊れることがある」ということです。 「RDBがあるからインスタンスが落ちても平気だぜ」とか思ってると、RDBが壊れてリストア失敗→データ消失ということになりかねません。ファイルにdumpされるからと安心していると痛い目に遭うかも知れません。 （2013/02/27追記）今のところ壊れたのはハード障害が怪しい場面のみです。「RDB壊れるとかRedis使えねー」とかそういう話ではまったくありません。誤解無きよう。壊れる時はRedisじゃなくても壊れます。自分のユースケースではTokyo Cabinet/
MySQL バイナリログを使ったデータリカバリ | Ore no homepage
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
KDE、あやうくレポジトリを失いかける
Too Perfect A Mirror - Me, my blog, and my Johnson 追記：上記記事の全訳 本の虫: KDEレポジトリ消失問題の記事の全訳：完璧過ぎるミラー 追記：この記事は上記のブログ記事にざっと目を通して素早く書いたものであり、詳細を欠く。上記の記事は全訳しているので、より正確で詳細な内容のために、目を通すべきである。 2013-3-22に、git.kde.orgをホストしている仮想マシンをセキュリティアップデートのために一旦落とした。アップデート後に復帰させてみると、ファイルシステムが壊れていたらしく、KDEの1500以上ものレポジトリが消えていた。 問題は、この問題が気づかれぬまま復帰したので、ミラーサーバーが誤りをそのままコピーしてしまったことだ。 ミラーは正しいバックアップではない。 とてつもなく幸運なことに、この問題が起こる一日前、ミラーサーバ
MySQLバックアップ＆リストアまとめ - millsol millsol
mysqldump利用上の注意点 バックアップデータの整合性 デフォルトオプション（--opt）に含まれる--lock-tablesでは複数DB内のテーブルを同時にロックできない→どうする？ InnoDBのみの場合：single-transactionを使えば、整合性を保ちつつテーブルの更新も可能な状態でバックアップできる MyISAMも利用している場合：--lock-all-tablesを使えば整合性を保てる…が、MySQLサーバ全体がReadOnlyになる LOAD DATAでリストアを高速化する mysqldumpはデータがINSERTコマンドで表現されておりリストアに時間が掛かる データをタブ区切りデータで出力し、LOAD DATAコマンドでリストアすることで高速にリストアできる tabオプションを利用することで、テーブル名.sql（テーブル定義、CREATEコマンド）とテーブル名
MySQLバックアップツール比較 XtraBackup / mysqldump / Mydumper | さぶみっと！JAPAN
総合的なスピードを見ると、リストアでXtraBackupがかなりの差をつけました。 Mydumperはスレッド数4で試しましたが、CPUコア数の多いサーバでスレッド数を上げたらもっとよい結果になりそうです。 以下、テストデータの準備とそれぞれツールのインストール方法を記述しています。 参考になれば幸いです。 使用したサーバ サーバ さくらのクラウド プラン7-HC CPU仮想5コア メモリ12GB HDD250GB OS CentOS 5.7 64bit MySQL 5.5のインストール remiレポジトリから検証用のMySQLをyumからインストールします。 # rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-5.rpm # yum --enablerepo=remi install mysql.x86_64
「ニフティrクラウドユーザーブログ」は、移転しました。
「ニフティクラウドユーザーブログ」は、移転しました。 自動でページを移動しない場合は、下記のリンクをクリックし、 新しい「ニフティクラウドユーザーブログ」をご覧ください。 今後とも「ニフティクラウドユーザーブログ」をよろしくお願いいたします。 ＞ ニフティクラウドユーザーブログ
mysqldumpをエラーなく実行するために必要なopen_files_limitの値を調べる | guro_chanの日記
この間、多数のテーブルを持つデータベースのダンプファイル生成に失敗しているサーバを発見した。ダンプファイルの生成にはmysqldumpコマンドを用いているのであるが、 mysqldump: Got error: 23: Out of resources when opening file './***/***.MYD' (Errcode: 24) when using LOCK TABLES という具合にエラーメッセージを発して機嫌を損ねるのでどうもいけない。メッセージの内容もいまいちピンと来ないため途方に暮れながらGoogleで調べるとどうもテーブルの数が多すぎるのが怪しからん様子であることが分かった。このままではどうにも立ち行かないので解決策を探ると、 open_files_limit の値を増やせばよいということである。open_files_limit の値を調べると mysql>
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Paragon Software、UEFI環境に対応した「Paragon Backup & Recovery 2014 Free」
無償イメージバックアップソフト「EaseUS Todo Backup Free」がv6.0に更新
MySQL バックアップ計画： 5つの考慮すべき事柄
Gmail Backup - ダウンロード
Linuxベースのブータブルディスクを作成可能になった「AOMEI Backupper」v1.1