MySQLレプリケーションを安全に利用するための10のテクニック
MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
VPSでDropboxを使うなら、LAN Syncを止めよう!
VPSでDropboxを使うなら、LAN Syncを止めよう! 「Dropboxからの17500/UDPがウゼー」と言っているだけでは、片手落ちだと思ったので、LAN Syncを止める方法も、エントリーしておく。 CUI版のDropboxのインストールは、 さくらVPSでDropbox - webネタ さくら VPS でも Dropbox を利用する - 脳無しの呟き《土鍋と麦酒と炬燵猫》 あたりを参考にすれば、問題なく出来るはず。（このエントリーの本題じゃないのでリンクだけ紹介。） LAN Syncが有効だと... 同じネットワーク上の別サーバでtcpdumpを動かしてport17500へのパケットを観察しつつ、インストールしたDropboxを起動してみると・・・。 nexus01:~# tcpdump -i any -s 1600 port 17500 tcpdump: verbose
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
古いバージョンのInnoDBだとTRUNCATE TABLEしてもデータファイルのサイズが減らない件 - shimxmemo
久々のエントリー。 仕事中ちょっと問題になった事がありまして サーバの容量が問題になって"容量不足だ(ﾟДﾟ)ｺﾞﾙｧ!!"って警報が鳴り止まず ↓ 不要なテーブルを消して容量確保せねば…！ ↓ けどDROPしてプログラムいじるのめんどいなあ… ↓ ( ﾟдﾟ)ﾊｯ! TRUNCATEなら…それでもTRUNCATEならきっとなんとかしてくれる…！ ↓ TRUNCATEだん。dfっと、あれ…空き容量増えてねえ…( ﾟдﾟ) という事がありました。 TRUNCATEって挙動的にはDROP->CREATEでOPTIMIZEなんざいらねえよ！ だと思っていたので、データファイルも消してくれると信じてたんですが、そんな事全然なかったんだぜ！ 一体どうなってるんだと、まずはTRUNCATEの公式マニュアルを確認 InnoDB テーブルの場合、InnoDB は、テーブルを参照するいずれかの FOREIG
MySQLにおけるスレーブのマスターへの昇格の手順メモ - shimxmemo
ちょっとやる機会があったのでメモ。 前提 サーバA（元々マスター。現スレーブ。新サーバと交換した） サーバB（元々スレーブ。昇格して現マスター） サーバC（スレーブ） ※my.cnfにはMasterの情報は書かない派。 サーバAを再度マスターに、サーバBをスレーブに落とす。 旧サーバA、サーバB、Cともに稼働年数同じぐらいで、「逝くときはぁ一緒だよーっ☆」されても困るので マスターに更新がかからないように、プログラムなど止めておく 手順 # サーバBのプロセスが流れていないか確認 svB# mysql mysql> SHOW PROCESSLIST; # 念の為サーバBの更新停止 mysql> FLUSH TABLES WITH READ LOCK; ※ロックが外れるのでmysqlから出ない事。 mysql> SHOW MASTER STATUS\G;; ※Fileの値とPositionの
DeNAが社内利用しているMySQLの自動フェイルオーバーツール、オープンソースで公開開始
MySQLがダウンしたときに自動的に別のMySQLへ処理を引き継ぐことで、高可用性を実現するフェイルオーバーツール「MySQL-MHA: MySQL Master High Availability manager and tools」がオープンソースとして公開されたことを、作者の松信嘉範（まつのぶよしのり）氏がブログで伝えています。 Yoshinori Matsunobu's blog: Announcing MySQL-MHA: "MySQL Master High Availability manager and tools" 松信氏はモバゲーなどで知られるDeNAに勤務しており、MySQL-MHAによる自動フェイルオーバー機能はDeNAのインフラ運用を支えているとのこと。同氏のブログから引用します。 Difficulties of master failover is one of
DeNAによる大規模なMySQLノンストップ運用の裏側にある、フェイルオーバー自動化ツール
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
KeepAlived+MySQLレプリケーションを利用した高可用性インフラの構築 | QK
そもそレプリケーションの構成的にどうなの？とかいう話は別として、単純にやってみたいからやってみました（笑 まず、MySQL レプリケーション（シングルMASTER – マルチSLAVE）ってすごいよね？ データベース参照負荷の高いアプリでは、SLAVEをガンガン増やして、ロードバランサー（keepalived）のvip経由でアクセスしちゃえば、簡単にスケールアウトできちゃうわけだから。仮に複数あるSLAVEサーバのうち１台が故障したとしても、他のSLAVEが生きているかぎり、簡単にロードバランサーから関連ノードを切り離してしまえば、サービスを停止することなく、データベースのメンテナンスができちゃうもんね。 では、MASTERサーバが障害に陥った場合はどうするのか？ ここのリカバリに関してはどうしても時間かかっちゃいますのでなんとか短く復帰できないか？なんていうのを考えてみました。ちなみに動
MySQL: 意外と知らない？障害発生時の復旧方法について | QK
障害発生！！！どうする！？でも・・MySQLだと、レプリケーション（スレーブ→マスターの昇格））でほぼなんとかなっちゃうのであまり使われることはないとは思いますが、実はロードフォワード（roll forward)回復もできちゃうんすよｗｗというほぼ僕のメモです。 表題で「意外と知らない？」なんて書いちゃいましたけど、知らないのはきっと私だけ・・。でも、そんなMySQLのロールフォワード手順をまとめてみました。 ロールフォワードとは、ログファイルに残っているチェックポイント後の処理を再現し、障害直前の状態にまで戻すことができる機能のひとつです。商用DBでは、まず入っているでしょうといった機能です。ORACLEでもSQL SERVERでもIBM DB2でもちゃんと実装しております、IBM DB2のロールフォーワード手順については以前、某F氏が手順をまとめてくれました（http://www.s-
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
MySQL/クラスタリング - がしまっくす
概要 † DeNA 松信嘉範氏が開発したMySQLのmaster/slaveのフェールオーバー自動化ツール Masterが落ちたときにスレーブを昇格させてフェイルオーバーさせる 可能ならMasterからbinary log eventsを救済 最新のSlaveを見つけ、ほかのSlaveとの差分を更新 救済したログを当て、Masterに昇格させ、新Masterに対してSlaveのレプリケーションを開始 ↑ 特徴 † slaveのレプリケーション遅延が微小であれば30秒程度でフェールオーバー可能 通常の MySQL 5.0/5.1/5.5 で使用可能 現在のmaster-slave設定に手を入れずにMHAの導入、アップグレードが可能 各種ストレージエンジンをサポート ↑
iCloud を利用して自宅の Mac へ SSH する - talkabout
結構有名ネタですが、次に書くネタの基礎になるのでメモ。iCloud で「どこでも My Mac」を有効にしていると、Apple から独自のグローバルのホスト名と IPv6 アドレスが割り当てられます。 これを利用すれば、自宅の Mac や遠隔地の iCloud に登録してある Mac へ SSH が可能というわけです。これは地味に便利です。 前提として、iCloud で「どこでも My Mac」を有効にし、リモートログインも有効にしておく必要があります。（ [システム環境設定] - [共有] で [ファイル共有] と [リモートログイン] を有効にする。） どの Mac でもいいので、「どこでも My Mac」のアカウント番号を確認します。 $ dns-sd -E Looking for recommended registration domains: Timestamp Recom
sshログインを禁止、sftpのみを許可してhome以上の階層に遷移させない設定 - cakephperの日記(CakePHP, Laravel, PHP)
昔は、sshとftpをそれぞれ設定してサーバ管理者はsshログイン、コンテンツ更新者はftpログイン(chroot)という構成をしていました。 最近のsshdは、sftp + chrootという設定が可能なのでよくやってます。いつも設定方法を忘れるのでここにメモ。 ただ、古いSSHDだとこれが出来ないので注意してください。私はSSHD5.3でやってます。 古いSSHDしか入ってなくて、入れ替えが怖い場合は、別途SSHDをコンパイルして別ポートで立ち上げれば共存できます（./configure --prefix=/usr/local/sshd --with-pam ; make ; sudo make installみたいな感じでインストールする) ゴールは、「sshでシェルにログインさせず、sftpのみでhome以上に遷移させないユーザを作る」です。 今回は特定グループに属しているユーザの
netcatを使って踏み台を踏む手順を省く - さよならインターネット
拝啓 全国１億５千万の踏み台サーバ好きのみなさま 元気に踏み台サーバを踏まれているでしょうか。 社内で利用していながらよく理解していなかったので 改めてカジュアルに学び直したメモを書いておきます。 参考 sshのProxyCommandでnc使うときは-w SEC忘れないようにね！ URL 2012-09-14 12:46:02 via atig.rb クラアント -> 踏み台サーバ -> 対象サーバという時に、毎回踏み台サーバに入って、対象サーバに入るのは面倒くさいので 「~/.ssh/config」へ Host fumidai Hostname 203.0.113.1 User kenjiskywalker Host hoge-web01 Hostname 203.0.113.101 User kenjiskywalker ProxyCommand ssh fumidai nc -w
続・イラストでわかるgit入門の入門：ブランチを切る
こんにちは！志田です。 最近ドラクエモンスターズを購入しました。 だいあくまの書・シュプリンガー・メッサーラのパーティでがんがんいってます。 配合を繰り返していると、「この組み合わせ、AにもBにもなるのに！どっちが強くなるんだろう？」ということがたびたび起こります。 そんなときに使えたらいいのが、今回ご説明するブランチです。 前回のあらすじ 前回の記事では、バージョン管理と基本的な動作について、ご説明しました。 ・バージョン管理にgitを使おう！ ・コミットを繰り返し、キリのいいところでプッシュする ・コミットを重ねることでバージョン管理ができる こんな経験ありませんか みなさん、これまでの経験で、こんな経験ってありませんか？ ・直すことによる影響範囲が広いため、もしきちんと改修できて、テストもできたら安定バージョンに含めたい 今まで何度もコミット・プッシュを重ねてきたプロジェクト。現在は
イラストでわかる！git入門の入門
こんにちは、アシアルの志田です。 社内でもgitが浸透し、皆バージョン管理といえばgitだよね、という空気になってきました。 ですが、これまでバージョン管理システムを使ったことがない人にオススメしても、 「gitて…まあ…そりゃ…ねえ、いつかやらないといけないけど…」 「ギット？ジット？俺はgiはジと読む派なので、gitは胡散臭いと思う」 「そもそもバージョン管理して何が嬉しいの？なんか難しそうでいやだ」 というような反応ばかりでした。 きっとみんな、gitって難しくて訳のわからんもんだと思っているのでは？と思い、 今回はgit入門の入門、gitってなんだ？というところから、簡単にgitを使う際の流れについてご説明します。 ちょっと不安を覚えるようなイラストがついていますので、頑張って読んでください。 バージョン管理ってなに？ プログラムを書いていて、こんなことありませんか？私はあります…
gitで始めるバージョン管理
こんにちは、斉藤です。 皆様はソースコードの管理（バージョン管理）をどのようにしてますか？ 今回は"git"(ギット)という、バージョン管理システムについて、ご紹介をします。 * バージョン管理って？ 例えば、ソースコード中に昔のコードをコメントアウトをして、残しておく。 あるいは、xxx.php.bakみたいに、昔のコードを取っておく。 そんな開発方法をやったことはありませんか？ この方法をしていると、後で見返したときに、これなんだっけ？ってことになってしまいがちです。 消すべきかどうか分からないコード、ファイルが残っているって状況は、あまり気分的に良くないですよね。 これを解決できる方法が、gitなどのバージョン管理システムです。 ソースコードの編集履歴（バージョン）を記録することによって、特定の開発履歴に戻る、最新のソースコードと比較する、といったことが可能です。 バージョン管理の良
使えるとちょっと便利なSSHのTIPS
こんにちは、牧野です。久々の、9か月以上ぶりのブログです。。 仕事では、ここ1年近くずっっとインフラ関係のことをやっていました。 今日は、SSHに関するTIPSを紹介します。 １. 特定のサーバーにSSHログインする時に、特定の設定を使用する ホームディレクトリ/.ssh/configファイルに設定を書いておくと、特定のサーバーにログインする時に、自動的に特定の設定を使うようにできます。 SSHのオプションをサーバーによって分けたい時に入力が楽になります。 以下は、xxx.yyy.zzz.aaaでアクセスする時に使う秘密鍵をid_rsa_testに設定しています。 .ssh/config Host xxx.yyy.zzz.aaa IdentityFile /home/asial/.ssh/id_rsa_test ２. ホストキーをチェックしないようにする LinuxからサーバーにSSH接続
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
現場指向のレプリケーション詳説
http://xn--n8j3a4dxap8m.gaasuu.com/entry/93681
複数のホストに tail -F するヤツ
OpenVPNで細々便利な設定