バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
macOS: TimeMachine バックアップを AWS 上に保全する - Qiita
将来、家に隕石が落ちてきた時の最後の砦として、自分の PC にある日々の運用データ一式をクラウド上に保全して枕を高くして寝たい。また、超強力な太陽嵐が地球上に降り注いでも、データの整合性は可能な限り担保したい。 そんな夢を見たのでどこまで実現可能かを考えてみた。思考実験以上、運用実験未満。 現況 今のところ（高速回線環境がないので）最終的なバックアップ完了までこぎ着けていない。よって復元も試せていない。試行レポートをお待ちしています。 ゴール AWS 上に macOS の TimeMachine 機能を使ってデータを保管したい。また、手元の Mac のディスクが壊れた時のリカバリー元としても使えるようにしたい。可能な限り高い信頼性を確保し、できるだけセキュアに。 要件 ネットワーク 通信経路をセキュアに保つこと macOS の標準機能だけで VPN 接続を確立できること データ データは自
値段の下がってきたAWS S3 GlacierとBackBlaze B2をいろいろ比較
※BackBlaze B2、AWSはファイルの出し入れなどにも少し料金がかかります。 S3 Glacier Deep Archiveの価格が特に目立ちますね。わずか$0.002という、従来最安だったBackBlazeの半額以下というとんでもない安さです。 完結した仕事のメディアなど、「完結したからほぼいらないと思うけど、5年後に破棄したあと、なんか言われたら困る」みたいなデータを置いておくのにいいですね。 100GBのデータを10年預けておいても、たったの24ドルです。ほぼ無視できます。（100GB x 0.002ドル x 12か月 x 10年） ほかには、たとえばNASがあって、そのなかでバックアップもレプリケーションもしてあるけれど、万が一NASとバックアップが一撃で破壊されるような事態のためにとっておきたい、という使い方もアリでしょう。 最近は自然災害も多いので、念には念を入れる必要
AWSでファイルサーバを構築する方法を比較してみた(EBS・EFS・S3)｜スクショはつらいよ
概要 一番シンプルな方法だと思います。 EBS(Elastic Block Storage)は、オンプレでいうとディスクです。 オンプレで構築していたシステムの NFSサーバをそのままAWS上で稼動させることができます。 EC2にEBSをマウントして、EBSボリュームを共有します。 スナップショットを取得することで、バックアップします。 メリット パフォーマンスが高い バックアップ・リストアが容易(スナップショット) オンプレミスから移行が容易 デメリット EC2が単一障害点になってしまう 拡張が少し面倒(EBSボリュームの容量を増やす操作が必要) 定額課金(コストが確保した、EBSの容量分かかる) 概要 EBSの部分をEFSに置き換えた方法です。 EFS(Elastic File System)はオンプレでいうNASです。 EFSはEBSと違い、複数のEC2から直接マウントすることが可能
Bitnamiで構築したRedmineとSubversionのデータをバックアップする
※Bitnami Redmine Stackを使って構築 バックアップ戦略 Redmineのデータをまずは同サーバー内の1次バックアップ領域にバックアップし、それを別途用意したバックアップ用サーバー内に2次バックアップします。 バックアップはcronを使用して自動化します。 バックアップは差分バックアップではなく、毎回フルバックアップとします。 バックアップ対象のデータ バックアップ対象データは以下の3つです。 RedmineのDB Redmineのチケット、Wikiの添付ファイル Subversionのリポジトリ 1次バックアップ 1次バックアップ先ディレクトリの作成 $ sudo mkdir /var/opt/bitnami_backup cronie-noanacronのインストール CentOS7のcronはanacronというものがインストールされており、実行時間がランダムになっ
データベースが破損したら、イヤですよねと思って、そんなことが発生してしまった時の復旧手順を簡単にまとめてみた - 都内で働くSEの技術的なひとりごと / Technical soliloquy of System Engineer working in Tokyo
データベースが破損したら、どうしましょうか？ 開発エンジニアだとこのあたりは疎いですよね？なんとなく、怖くて、触れたくない所というか、なんというか。( そういう私もそんなエンジニアの一人ですwww ) いつもの AdventureWorks データベースを使用します。テーブルを破損させ、その後復旧処理を行うので、まずデータベースをバックアップしましょう。バックアップを取得したら、Undocumented Command である、DBCC WRITEPAGE で Person.AddressType テーブルを破損させます。まずは、テーブルのどの個所を破損させるか決定するために、下記のコマンドでテーブルのページ構造を参照してみましょう。( ここのページを参考にしました。 データベースの復旧モデルは完全にしておいてください。そうでないと、ページの復元ができません。) DBCC IND (N'A
Windowsのrobocopyコマンドでコピーするファイルの種類を選択／変更する
対象OS：Windows XP／Windows Vista／Windows 7／Windows 8／Windows Server 2003／Windows Server 2008／Windows Server 2008 R2／Windows Server 2012 解説 TIPS「Windowsのrobocopyコマンドでフォルダをバックアップ／同期させる」では、robocopyというコマンドを使ってファイルをコピー／バックアップする基本的な方法を紹介した。robocopyは、ファイルやフォルダのコピー／バックアップ／同期などに対応した多機能なコマンドで、xcopyコマンドではできないようなさまざまなコピー・オプションを持っている。 robocopyのデフォルト設定では、ファイルの更新時刻やサイズに基づいてコピーするかしないかを決定しているが、オプションを指定することにより、ファイルの属性
Windows10にアップグレードしたら起動後にフリーズする現象が発生したので対処した
Windows7からWindows10にアップグレードしたところ、「起動後 数分〜10数分程度で起動ドライブにアクセスができなくなって、だんだん何もできなくなる」という不可解な不具合に見舞われたので、土日を使って対処しました。 同じ現象の人が結構いるみたいなので、対処法をまとめます。 Windows7からWindows10にアップグレードしたあと、起動ドライブへのアクセスが不安定になる 起動後しばらくすると、使用率１００％になったり０％になった後、全くアクセスができなくなる。 マウスカーソルは動くが、ソフトもエクスプローラーも終了ボタンも操作できず、固まる Windows7に戻すと普通に使えるようになる CドライブはSSD 原因 SSDの省電力機能の設定が変なことになっているせい。 ある特定の要因が重なると、HIPM非対応機種のSSDでHIPM機能がONになってしまい、省電力機能が働いたタ
RDSのデータをmysqldumpしてS3に保存する - (ﾟ∀ﾟ)o彡 sasata299's blog
2014年01月07日13:52 AWS Ruby RDSのデータをmysqldumpしてS3に保存する 弊社ではデータを AWS の RDS を使って管理しています。バックアップは自動で取ってくれるんですが、RDS では残せるバックアップのスナップショット数が決まっているのでもう少し過去のバックアップも取りたい。気軽にバックアップを S3 に保存することは出来ないものか。 追記：14:12 RDS のスナップショットを手動で取ったりすれば良いんですけど、アカウントが悪用されたりして全部消えちゃったら怖いなぁと。そういう背景もあって念のため S3 上にも置いておきたいなぁと思った次第です(＊ﾟ∀ﾟ) 追記：14:17 バックアップのスナップショット数増やすことも可能みたいですね。 @sasata299 あとAmazonに申請すればRDSのスナップショットの上限値を増やせるらしいので参考にど
Private Presentation
Private content!This content has been marked as private by the uploader.
MySQL バイナリログを使ったデータリカバリ | Ore no homepage
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
CentOS 6.5 で LVS (IPVS) を keepalived で冗長化してみる
前回は ipvsadm コマンドを直接使って LVS を冗長化せずに使ってみた。 今回は keepalived を通して LVS を冗長化して使ってみる。 構成は前回と同様、方式は DSR でバランスアルゴリズムは rr を使う。 ただし LVS の IP アドレスは 192.168.33.{11,12} で Web サーバの IP アドレスは 192.168.33.{101,102} に変更している。 LVS 用のホストをセットアップする x2 まずは必要なパッケージをインストールする。 $ sudo yum -y install keepalived ipvsadm インストールできたら keepalived のコンフィグを編集する。 keepalived は LVS をラップする機能がデフォルトで組み込まれているので、コンフィグを変更するだけで動作する。 $ sudo cp /etc
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
s3cmdを使ってEC2からS3にDBバックアップ - Qiita
1-2. バックアップバケット用グループ作成 AWSマネージメントコンソールのIAMメニューにアクセスして、「Groups」、「Create New Group」を選択 Set Permissionsの設定では作成したバックアップバケットに対してのみ全権限を持つbackupグループを追加します 「Policy Generator」を選択し、以下のように3つの権限を設定（下図参照） # 1つ目 Effect: Allow AWS Service: Amazon S3 Actions: All Actions Selected Amazon Resource Name(ARN): arn:aws:s3:::backup # 2つ目 Effect: Allow AWS Service: Amazon S3 Actions: All Actions Selected Amazon Resource
tree-tips: mysqldumpでロックせずオンラインバックアップする | MySQL
mysqldumpのオンラインバックアップ mysqldumpのオプション mysqldump時にロックをかけないオプションは「--single-transaction」です。 --single-transaction このオプションはサーバからデータをダンプする前にBEGIN SQLステートメントを発行します。InnoDBといったトランザクションテーブルに対してのみ便利です。なぜなら、アプリケーションをブロックせずに、BEGINが発行された当時のデータベースの状態をダンプするからです。 このオプションを使用しているときは、一定の状態でダンプされるのはInnoDBテーブルのみだということを留意してください。例えば、このオプションを使用中にダンプされたMyISAMやMEMORYテーブルは状態が変化する可能性があります。 mysqldump — データベースバックアッププログラム リファレンス
MySQLのMyISAMが混在する環境のバックアップについて注意事項
※古い記事ですのでご注意ください※ こんにちは。小宮です。 社内のMyISAMテーブルが混在しているサービスにて、 mysqldumpによるバックアップに失敗しコールドバックアップを取ったが不整合出たという事件について相談うけまして、 その顛末を記録しがてら注意事項をまとめておきたいと思います。 （昔軽く伝えた記憶があり皆知ってると思ってたんですが、わかりやすさや伝える力と、 私と他の人のmysqlに対する愛のレベルが少し異なるという認識が足らなかったようです。 トラブルは起きるもんだし失敗は挑戦の証で成功の元ですが同じことは繰り返さないようにしないと。） 何が大切かって、マスタとスレーブのデータの整合性です。 つまり、 ⇒バックアップ対象が絶対に更新されてないこと ⇒バックアップ取得時点のポジションとバイナリログファイル名が明確であること が超重要です。 MyISAM混在環境では気をつけ
個人向けバックアップにGlacierは？
2012/08/21 22:26 かなりアツいストレージサービス Glacier が aws に登場しました。「ぐれいしゃー」と読むらしいです。 通常のコスト重視の運用ではあり得ない耐久性 99.999999999% としながらも1GBあたり1月に $0.011 という価格（保存しておくのにかかる料金、北カリフォルニアリージョンの場合）で、あれやこれやという使い道が想像できます。 Glacier のキモは、壊れにくく低価格のストレージだけれども、リクエストしてすぐにデータが取り出せるのではないという点です。 すぐに取り出す必要がある場合にはS3を使う事が推奨されています（S3にはもっといろいろな機能もある）。 すぐに思いつく用途としてバックアップがあります。既にTLでバックアップ用途に使おうかというツイートを見かけています。 たしかに、1TBのデータを持っている人がバックアップに要する料金
パフォーマンスモニタ監視項目
●データベース(0) ・SQL Server ノート(216) ・SQL Server(29) ●Windows(0) ・Windows一般(268) ・Windows Servers(27) ・IE／OE(26) ●ネットワーク(4) ●バックアップ・管理ツール(0) ・Backup Exec(32) ・ARCserve(20) ●MS Office(11) ●Linux(1) ●デスクトップカスタマイズ(2) ・Windows XP(5) ・Firefox／Thunderbird(2) ●W-ZERO3(1) ●資格(1) ●プロフィール(6) ●その他(1) 2007年10月(17) 2007年09月(18) 2007年08月(20) 2007年07月(21) 2007年06月(21) 2007年05月(21) 2007年04月(20) 2007年03月(21) 2007年02月(1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
よく使うmysqldumpのオプションと使用例 - Qiita
MySQLバックアップの基本
