バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
値段の下がってきたAWS S3 GlacierとBackBlaze B2をいろいろ比較
※BackBlaze B2、AWSはファイルの出し入れなどにも少し料金がかかります。 S3 Glacier Deep Archiveの価格が特に目立ちますね。わずか$0.002という、従来最安だったBackBlazeの半額以下というとんでもない安さです。 完結した仕事のメディアなど、「完結したからほぼいらないと思うけど、5年後に破棄したあと、なんか言われたら困る」みたいなデータを置いておくのにいいですね。 100GBのデータを10年預けておいても、たったの24ドルです。ほぼ無視できます。（100GB x 0.002ドル x 12か月 x 10年） ほかには、たとえばNASがあって、そのなかでバックアップもレプリケーションもしてあるけれど、万が一NASとバックアップが一撃で破壊されるような事態のためにとっておきたい、という使い方もアリでしょう。 最近は自然災害も多いので、念には念を入れる必要
AWSでファイルサーバを構築する方法を比較してみた(EBS・EFS・S3)｜スクショはつらいよ
概要 一番シンプルな方法だと思います。 EBS(Elastic Block Storage)は、オンプレでいうとディスクです。 オンプレで構築していたシステムの NFSサーバをそのままAWS上で稼動させることができます。 EC2にEBSをマウントして、EBSボリュームを共有します。 スナップショットを取得することで、バックアップします。 メリット パフォーマンスが高い バックアップ・リストアが容易(スナップショット) オンプレミスから移行が容易 デメリット EC2が単一障害点になってしまう 拡張が少し面倒(EBSボリュームの容量を増やす操作が必要) 定額課金(コストが確保した、EBSの容量分かかる) 概要 EBSの部分をEFSに置き換えた方法です。 EFS(Elastic File System)はオンプレでいうNASです。 EFSはEBSと違い、複数のEC2から直接マウントすることが可能
Bitnamiで構築したRedmineとSubversionのデータをバックアップする
※Bitnami Redmine Stackを使って構築 バックアップ戦略 Redmineのデータをまずは同サーバー内の1次バックアップ領域にバックアップし、それを別途用意したバックアップ用サーバー内に2次バックアップします。 バックアップはcronを使用して自動化します。 バックアップは差分バックアップではなく、毎回フルバックアップとします。 バックアップ対象のデータ バックアップ対象データは以下の3つです。 RedmineのDB Redmineのチケット、Wikiの添付ファイル Subversionのリポジトリ 1次バックアップ 1次バックアップ先ディレクトリの作成 $ sudo mkdir /var/opt/bitnami_backup cronie-noanacronのインストール CentOS7のcronはanacronというものがインストールされており、実行時間がランダムになっ
MySQL バイナリログを使ったデータリカバリ | Ore no homepage
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
tree-tips: mysqldumpでロックせずオンラインバックアップする | MySQL
mysqldumpのオンラインバックアップ mysqldumpのオプション mysqldump時にロックをかけないオプションは「--single-transaction」です。 --single-transaction このオプションはサーバからデータをダンプする前にBEGIN SQLステートメントを発行します。InnoDBといったトランザクションテーブルに対してのみ便利です。なぜなら、アプリケーションをブロックせずに、BEGINが発行された当時のデータベースの状態をダンプするからです。 このオプションを使用しているときは、一定の状態でダンプされるのはInnoDBテーブルのみだということを留意してください。例えば、このオプションを使用中にダンプされたMyISAMやMEMORYテーブルは状態が変化する可能性があります。 mysqldump — データベースバックアッププログラム リファレンス
MySQLのMyISAMが混在する環境のバックアップについて注意事項
※古い記事ですのでご注意ください※ こんにちは。小宮です。 社内のMyISAMテーブルが混在しているサービスにて、 mysqldumpによるバックアップに失敗しコールドバックアップを取ったが不整合出たという事件について相談うけまして、 その顛末を記録しがてら注意事項をまとめておきたいと思います。 （昔軽く伝えた記憶があり皆知ってると思ってたんですが、わかりやすさや伝える力と、 私と他の人のmysqlに対する愛のレベルが少し異なるという認識が足らなかったようです。 トラブルは起きるもんだし失敗は挑戦の証で成功の元ですが同じことは繰り返さないようにしないと。） 何が大切かって、マスタとスレーブのデータの整合性です。 つまり、 ⇒バックアップ対象が絶対に更新されてないこと ⇒バックアップ取得時点のポジションとバイナリログファイル名が明確であること が超重要です。 MyISAM混在環境では気をつけ
個人向けバックアップにGlacierは？
2012/08/21 22:26 かなりアツいストレージサービス Glacier が aws に登場しました。「ぐれいしゃー」と読むらしいです。 通常のコスト重視の運用ではあり得ない耐久性 99.999999999% としながらも1GBあたり1月に $0.011 という価格（保存しておくのにかかる料金、北カリフォルニアリージョンの場合）で、あれやこれやという使い道が想像できます。 Glacier のキモは、壊れにくく低価格のストレージだけれども、リクエストしてすぐにデータが取り出せるのではないという点です。 すぐに取り出す必要がある場合にはS3を使う事が推奨されています（S3にはもっといろいろな機能もある）。 すぐに思いつく用途としてバックアップがあります。既にTLでバックアップ用途に使おうかというツイートを見かけています。 たしかに、1TBのデータを持っている人がバックアップに要する料金
DBAのためのmysqldumpのtips 25選 | Yakst
MySQL標準のダンプツールmysqldumpについて、基礎的な使い方からよく使われるオプション、特徴までを含む25個の問答集。 1) mysqldumpはテキストバックアップツール？それともバイナリバックアップツール？ テキストバックアップツールだ。バックアップファイルを開けば、データベースとその中のオブジェクトを作り直すための全文が見られる。テーブルにデータを詰め込むためのinsert文ももちろん含まれている。 2) mysqldumpのコマンドラインオプションは？ $ mysqldump -u [uname] -p[pass] –databases [dbname] [dbname2] > [backupfile.sql] 3) 全データベースのバックアップはどうしたらいい？ $ mysqldump -u root -p –all-databases > backupfile.sql
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
MySQLデータベース自動バックアップ運用(mysqlhotcopy) - Fedoraで自宅サーバー構築
MySQLデータベースの自動バックアップを行なう。 ここでは、MySQL全データベースをサーバー内の別ディレクトリへバックアップする。 [root@fedora ~]# vi mysql-backup.sh ← MySQLデータベースバックアップスクリプト作成 #!/bin/bash PATH=/usr/local/sbin:/usr/bin:/bin # バックアップ先ディレクトリ BACKDIR=/backup/mysql # MySQLrootパスワード ROOTPASS=Mysqlrootパスワード # バックアップ先ディレクトリ再作成 rm -rf $BACKDIR mkdir -p $BACKDIR # データベース名取得 DBLIST=`ls -p /var/lib/mysql | grep / | tr -d /` # データベースごとにバックアップ for dbname
rsyncコマンド
二つのディレクトリを同期させるコマンド。同一ホスト内のディレクトリだけでなく，別ホスト上にあるディレクトリとの間でも同期できる。通常のcpやftp，rcpといったコピー・コマンドと比べて同期機能が充実しており，更新や追加されたファイルのみコピーしたり，同期元ディレクトリでファイルを消すとリモート側でもファイルを消去したりするといった機能を持っている。このため，ディレクトリのバックアップや，常にサーバー間で設定を最新化しておきたい場合などに便利である。 rsync [-v|--verbose] [-q|--quiet] [-a|--archive] [-r|--recursive] [-b|--backup] [-u|--update] [-l|--links] [-p|--perms] [-o|--owner] [-g|--group] [-D|--devices] [-t|--times
「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた
複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用いられているだけでなく、最近では市販の外付けのハードディスクにも採用されており、個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 より確実にバックアップをとるコツや、万が一の際にはどう対処すればよいのかを、過去１万台以上ものRAID復旧の実績を持つデータ復旧専門会社「日本データテクノロジー」の内部に潜入し、技術者の方々にいろいろと聞いてきました。 詳細は以下から。データ復旧|PC・サーバー・RAID機器のハードディスク復旧ならデータ復旧.com 日本デー
Open Tech Press | MySQLデータのバックアップ方法
2007年5月31日10:53 Tom-Adelstein、Bill-Lubanovic（2007年5月29日（火）） ファイルやディレクトリのバックアップは比較的簡単だが、データベースのバックアップとなると、いくつか特別な工夫を施す必要がある。ここではMySQLを取り上げているが、同じ原理はPostgreSQLやその他のリレーショナルデータベースにもあてはまる。 本稿は、最近O’Reillyから出版された書籍『 Linux System Administration 』の抜粋。 MySQLサーバを休みなく稼働させ続ける必要がないなら、以下に示すような圧縮なしのオフラインバックアップ手法が手っとり早い。 MySQLサーバを停止させる。 # /etc/init.d/mysqld stop MySQLのデータファイルおよびディレクトリをコピーする。例えば、MySQLのデータディレクトリ/var
今こそ安心できるWordPressバックアップを！復旧作業まで実際にやってみたWordPress丸ごとバックアップ法
※BackWPup3が公開されました。BackWPup3でのバックアップ＆復旧手順についてはこちらをご覧ください データのバックアップは大切ですよね！疑う余地はないと思います。 WordPressのブログも例外ではありません。バックアップしている人も多いですよね？ でも、 「WordPress全体をバックアップできていますか？」 そして、 「実際にリストア（復元）作業を試してみたことはありますか？」 GoogleでWordPressのバックアップ方法を調べてみると、データベースだけバックアップして安心していたり、復元方法の解説がない場合がとても多いです。 しかし、私はこう思います。 実際にリストア作業をやってみなきゃ、安心はできない！ リストアできないバックアップは役に立ちません。やはり、一度リストア作業を試してみて、初めて安心できるのではないでしょうか。 そこで今回は、「プラグインを使っ
MySQLデータベース自動バックアップ運用(mysqldump) - CentOSで自宅サーバー構築
MySQLデータベースの自動バックアップを行なう。 ここでは、すべてのストレージエンジン形式に対応したmysqldumpコマンドを使用して、MySQL全データベースをサーバー内の別ディレクトリへバックアップする。 [root@centos ~]# vi mysql-backup.sh ← MySQLデータベースバックアップスクリプト作成 #!/bin/bash PATH=/usr/local/sbin:/usr/bin:/bin # バックアップ先ディレクトリ BACKDIR=/backup/mysql # MySQLrootパスワード ROOTPASS=xxxxxxxx # バックアップ先ディレクトリ再作成 rm -rf $BACKDIR mkdir -p $BACKDIR # データベース名取得 DBLIST=`ls -p /var/lib/mysql | grep / | tr -d
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
さくらVPSでDropbox - webネタ
個人サーバーのバックアップがめんどうなので、dropboxのアカウント作ってそこに放り込むことにした。 環境はLinux。CentOS5.6(64bit)さくらVPS。 必要なものをインストール python2.6 sudo yum install python26 dropboxコマンドの準備 ソースをダウンロードし、権限を与えパスが通っているディレクトリへ移動。 cd ~/src wget https://www.dropbox.com/download?dl=packages/dropbox.py chmod u+x dropbox.py vi dropbox.py 一行目、#!/usr/bin/pythonを#!/usr/bin/python26に変更 mv dropbox.py ~/bin/dropbox dropboxインストール dropbox start -i To lin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLバックアップの基本