バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
TeraStationをLinuxからマウント - nobusueの日記
こんな便利な奴は、自宅サーバ（Linux）からも使いたいと思うのが人情というもの。 いちいちsmbclientでコピーするのは面倒だなぁーと思って調べてみたら、smbmountコマンドを使えばあたかもローカルのファイルシステムと同じように使えるらしいことが判明。 このへんを参考に、早速試してみました。 http://www.atmarkit.co.jp/flinux/rensai/linuxtips/605usens.html mount -t smbfs -o username=***,password=*** //TeraStation/share /mnt/nas おお、あっさりつながりましたよ。しかし日本語のファイル名が文字化けしてしまいました。 さらに調べてみると、どうもオプションでcodepageやiocharsetを指定すれば大丈夫なようです。 http://www.blk.
rsyncの基本的な使い方。 - それマグで！
rsyncの基本的な使い方を覚えましょう。 昔、WinSCPでLinuxサーバーからLinuxサーバーへ転送しているのを見たことがあった。WinSCPでWindows経由してたわけです。それをみて「Rsync使わないの？」「よく解りませんし、前にグチャグチャになったことがあるので」と答えが返ってきてヘナっとなった。「SCPの方が確実ですよ」と言われたこともある。まぁそうなんだけど。 WinSCPでなんてやってないでさ、Rsyncでパパットできるようになりませんか。Winscpでサーバー間の同期が出来ないので、ローカルのWindows経由は止めましょう。転送待ちですとか言わないようにしよう。 rsyncの特徴 更新されたファイルだけを転送できる Gzipで圧縮転送が可能 使ってないファイルを消せる。 切れても途中から再開できる 転送再開ができるのがcp /scp転送と大きく違うところでしょう
rsyncコマンド
二つのディレクトリを同期させるコマンド。同一ホスト内のディレクトリだけでなく，別ホスト上にあるディレクトリとの間でも同期できる。通常のcpやftp，rcpといったコピー・コマンドと比べて同期機能が充実しており，更新や追加されたファイルのみコピーしたり，同期元ディレクトリでファイルを消すとリモート側でもファイルを消去したりするといった機能を持っている。このため，ディレクトリのバックアップや，常にサーバー間で設定を最新化しておきたい場合などに便利である。 rsync [-v|--verbose] [-q|--quiet] [-a|--archive] [-r|--recursive] [-b|--backup] [-u|--update] [-l|--links] [-p|--perms] [-o|--owner] [-g|--group] [-D|--devices] [-t|--times
rsync で差分バックアップをとってみる - 駄文だって
ディスク容量が充分であれば、rsyncで差分バックアップをとって、過去に遡れるようにするのがよい。 $FROMを$TOにsyncする場合は $ rsync -a $FROM $TO だった訳ですが、差分バックアップなので、差分を保存するディレクトリを指定する必要があります。 差分は$SUBにでも保存しておくとすると、 $ rsync -a --backup --backup-dir=$SUB $FROM $TO になります。こうすると、$TOに加えて$SUBの中に差分ファイルができるのかな。多分。 http://linux.paken.org/index.php?rsync%A4%C7%A4%AA%BC%EA%B7%DA%A5%D0%A5%C3%A5%AF%A5%A2%A5%C3%A5%D7 に参考bashスクリプトがあります。 このサンプルでは$TOの直下に差分用のディレクトリを作ってい
tarコマンドを負荷制御（bwlimit指定）して実行する方法
cstream - direct data streams, with bandwidth limiting, FIFO, audio, duplication and extended reporting support. ざっくり言うとデータストリームの制御とかできるよ！っていうコマンドっぽいです。オーディオアプリケーションのデータレートのエミュレーションとかで利用されているそうです。オプションではcstreamコマンドの-tを使うのですが、以下がmanでの内容になります。 -t num Limit the throughput of the data stream to num bytes/second. Limiting is done at the input side, you can rely on cstream not accepting more than thi
mysqldump の結果をそのまま圧縮したり転送したりするコマンド例 | バシャログ。
ちょっと遅めの夏休みをもらって八丈島に行ってきました nakamura です！いい所すぎて危うくそのまま移住するところでした。 データベースの移行をする際みなさんどんな流れで作業しているでしょうか。コマンドラインでダンプを取って、サイズが大きかったら gzip で圧縮して、WinSCP でそれをローカルに落としてきて、それをまた別のサーバにアップロードして・・・・なんて事してたりしませんか？ シェルのパイプやリダイレクトをうまく使ってあげれば、この辺りはコマンド一発でいけちゃったりするのです。今日はそんなコマンド例のご紹介です。 実際によく使うコマンドの例を箇条書きで。 とりあえずダンプの結果をそのまま圧縮する。 mysqldump -udb_user db_name -pdb_pass | gzip > db_name.dump.sql.gz 特定の文字列を置換した上で圧縮する。 MT
MySQLデータベース自動バックアップ運用(mysqldump) - CentOSで自宅サーバー構築
MySQLデータベースの自動バックアップを行なう。 ここでは、すべてのストレージエンジン形式に対応したmysqldumpコマンドを使用して、MySQL全データベースをサーバー内の別ディレクトリへバックアップする。 [root@centos ~]# vi mysql-backup.sh ← MySQLデータベースバックアップスクリプト作成 #!/bin/bash PATH=/usr/local/sbin:/usr/bin:/bin # バックアップ先ディレクトリ BACKDIR=/backup/mysql # MySQLrootパスワード ROOTPASS=xxxxxxxx # バックアップ先ディレクトリ再作成 rm -rf $BACKDIR mkdir -p $BACKDIR # データベース名取得 DBLIST=`ls -p /var/lib/mysql | grep / | tr -d
さくらVPSでDropbox - webネタ
個人サーバーのバックアップがめんどうなので、dropboxのアカウント作ってそこに放り込むことにした。 環境はLinux。CentOS5.6(64bit)さくらVPS。 必要なものをインストール python2.6 sudo yum install python26 dropboxコマンドの準備 ソースをダウンロードし、権限を与えパスが通っているディレクトリへ移動。 cd ~/src wget https://www.dropbox.com/download?dl=packages/dropbox.py chmod u+x dropbox.py vi dropbox.py 一行目、#!/usr/bin/pythonを#!/usr/bin/python26に変更 mv dropbox.py ~/bin/dropbox dropboxインストール dropbox start -i To lin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
