MySQL レプリケーション基礎 - shibainu55日記
今日は、MySQLのレプリケーションのお話。バージョンは5.0を前提として説明。 MySQLにおけるレプリケーションは更新情報を記録したバイナリログ(binlog)をベースとしたアーキテクチャ。マスターでの更新情報をバイナリログとしてスレーブに転送、これをSQLに変換しスレーブで実行しデータ同期を行う。Oracle Data GuardのLogicalスタンバイによく似ている。 基本概念図を以下に示す。 特徴 複数のスレーブを用意することで、参照系クエリの負荷分散が可能 マルチマスター構成の場合には更新系クエリの負荷分散も可能 ただし、この場合にはアプリの扱うデータに依存し実現可否が分かれる。 マルチマスター扱いとするオブジェクトを限定するなど、論理設計でも考慮が必要 マスタのバックアップとしてスレーブを切り離し、サービス無停止のままバックアップが可能 この場合、スレーブを停止しコールドバ
SQL_SLAVE_SKIP_COUNTER がまずいもう一つの理由 | Yakst
MySQL Performance Blogの翻訳。SQL_SLAVE_SKIP_COUNTERを使うとマスタとスレーブ間で不整合が起きる原因となる場合がある。 レプリケーションがおかしくなって、キーの重複や対象行が存在しないといった問題で行の更新や削除が出来なくなった時、 STOP SLAVE; SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1; START SLAVE; を実行して解決するというのは、MySQLの世界ではよくあることだ。これがうまくいって、不正な行やSQL文を修正できることもあるだろう。しかし、その文が複数の文からなるトランザクションの一部だったらどうなるだろう？そうすると、面白いことに、不正な行をスキップすることで、トランザクション全体がスキップされてしまう。これは、 ドキュメント にはちゃんと書かれている。例を見てみよう。 マスタには3行存在し
mysqlのレプリケーションを使う(3) エラー1062の対処 | レンタルサーバー・自宅サーバー設定・構築のヒント
mysqlのレプリケーションを使う(3) エラー1062の対処
[MySQL on ZFS]CentOS6.5にZFSプールを作ってZFSファイルシステムにMySQL5.7のデータをぶっこんだ話
時間を見つけてはちょくちょく作業してLVSとvarnishでL4+L7な冗長ロードバランサ構成を組みました。 Webサーバは複数構成で冗長化しているのですが、DBサーバはサービス毎に物理的にマスターサーバを一台ずつ設置しています。 当然LVSと組み合わせて冗長化したいところですが、サーバを置く場所が無いのと資金がありません。 仕方ないのでデータのリアルタイムバックアップのみ実現させます。 (KeepAlivedを使ったMｙSQLの高可用性のあるサーバ構築方法は下記のサイトが大変参考になります) http://dev.tapweb.co.jp/2011/01/325 まず、適当にサーバを一台作ってMySQL5.7を導入し、マルチソースレプリケーション機能で、各マスターDBサーバのレプリケーションサーバとします。 このレプリケーションにはクライアントから一切クエリが飛んできません。 単純に、マ
データベース製品に対する ZFS のチューニング - Oracle Solaris 11.1 カーネルのチューンアップ・リファレンスマニュアル
ZFS をデータベース製品と一緒に使用するとき、次の考慮事項を検討してください: データベースで入出力に固定ディスクブロックまたは固定レコードサイズを使用している場合、ZFS recordsize プロパティーをこれに一致するように設定してください。複数のファイルシステムが単一プールを共有している場合であっても、ファイルシステム単位で実行できます。 ZFS の copy-on-write 設計により、recordsize を低くチューニングすることは、バッチレポートクエリーを犠牲にして OLTP パフォーマンスを改善する方法です。 ZFS は、ディスク上に格納されているすべてのブロックにチェックサムを実行します。これにより、データベース層でデータのチェックサムを追加して行う必要性が軽減されます。データベース層の代わりに ZFS によってチェックサムを計算する場合は、データがアプリケーション
違いが分かるエンジニアのためのMySQL/InnoDB/ZFSチューニング！
明けましておめでとうございます。今年もコンピューター道に邁進して参りますのでよろしくお願いします！ さて、今年一発目のネタはMySQL利用時におけるZFSのチューニングについて取り上げようと思う。Solarisに搭載されている機能の中でも最も注目度の高いものの一つであるZFSであるが、MySQLのバックエンドとしてはあまり利用されていないように思う。（そもそもSolarisのユーザー数自体がそれほど多くないという話もあるが。）ZFSは優れたファイルシステムであり、ファイルシステム自体にスナップショット機能が搭載されていたり容量の限界に先が見えない（充分すぎるほど余裕がある）といった管理上のメリットがあり、DBAにとっては垂涎のファイルシステムであると言える。（Linuxで利用出来ないのが難点だが、ZFSを使うためにSolarisを使うのもアリだろう。） MySQL利用時におけるZFSのチュ
MySQLをインストールしたら、必ず確認すべき10の設定 | Yakst
MySQL Performance Blogの翻訳。インストール後に必ず設定を確認しなければならない設定パラメータ10つを挙げ、その意味を解説する。MySQLの設定変更時の、一般的な注意点も合わせて。 January 28, 2014 By Stephane Combaudon 我々がパフォーマンス監査の仕事をする時には、MySQLの設定のレビューと改善提案を求められる。大抵の場合、たくさんのオプションがある中でほんのいくつかの設定しか変更するように提案しないことに、多くの顧客は驚く。この記事のゴールは、もっとも重要な設定をいくつか挙げてみることにある。 既にこういった提案は過去にもしているが数年前のもので、それ以来MySQLの世界ではたくさんの変化があったのだ。 話の前に 熟練した人でも、重大なトラブルを引き起こすミスをしでかすことがある。従って、ここに挙げたものを盲目的に適用する前に、
【まっちーの仮想化講座】第22回：ZFSなら障害発生時もオンラインで復旧 - 富士通
みなさん、Oracle Solaris 11の標準ファイルシステムが何か覚えていますか？ そうです。Oracle Solaris ZFS（以降、ZFSと記載します）ですね。 これまでの連載でZFSの素晴らしい機能をいくつかご紹介してきましたが、今回は障害発生時の復旧方法をご紹介したいと思います。 ZFSはストレージプールにディスクを追加して拡張したり、ファイルシステムのサイズを変更したりすることがオンライン（OS稼働状態）でできます。これと同様にストレージプールを構成する物理ディスクが壊れた場合に、オンラインで物理ディスクを交換することができます。 今回は、実際に使用しているサーバで実施した復旧方法をご紹介します。実行結果はOracle Solaris 10での結果ですが、Oracle Solaris 11でも同様の方法で復旧することができます。 状態の確認 まずはストレージプールの状態を
CentOS 7 + ZFS でファイルサーバを作成 - lazy_dog's blog
を、作った。 前置き 以前から、Arch Linux + ZFS でファイルサーバを動かしてたけど、諸々あって CentOS 7 で再作成する運びになった。 理由 Arch Linux の ZFS パッケージ周りが、しょっちゅう Kernel とコンフリクトおこして、まともに Kernel アップデートもできない。 パッケージ名も "zfs" から "zfs-git" になったりと、バタバタしている印象を覚えた。アップデートについていくので精一杯。 大変な思いされてるパッケージメンテナの方々には申し訳ないが。。。 コンフリクトおこして、しょっちゅう pacman -Syu 失敗するわで、その度に切り分けやってたらきりがなかった。なので、Arch Linux と zfs で安定はしてても、先行き不安になった。 ローリングリリースならではの、「なにかあったときの怖さ」 Arch Linux 全
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
ZFSがあればGitなんか要らない？ | POSTD
ZFS を少し触ってみました。ZFSはOracle（その前はSun）の次世代ファイルシステムです。元はSolaris向けに開発されたものですが、オープンソースなのでLinux（0.6.1以降が 製品版として安定しているようです と Mac にも移植されています。ファイルシステムといっても、ZFSはボリュームマネージャでもあるので、ディスクのパーティション管理もやってくれます。ZFSがなぜそんなにクールかといえば、データ破損対策、RAIDのサポート、スナップショットやコピーオンライトの実装、そしてバックアップ時のフレキシブルで効率の良いデータ転送などが装備されているからです。ZFSを使って、バージョン管理システムのGit（Gitじゃないバージョン管理システムでも構わないのですが）のいろいろな機能をどこまで実行できるのか、お見せしようと思います。もちろん、本気で”ちゃんとした”バージョン管理シ
zfsで圧縮機能を試してみる - hamacoの日記
とりあえずこんな感じで3つほどファイルシステム作成して試してみた。 # zpool create -m /zdevel zpool0 da0s1 da0s2 da1s1 da1s2 # zfs create zpool0/hamaco # zfs create zpool0/jack # zfs create zpool0/rucifer 圧縮を有効にする zfs setコマンドを使って圧縮機能を有効にする。 # zfs set compress=on zpool0/jack # zfs set compress=gzip zpool0/rucifer compressにはが使用可能。このうちonとlzjbは同じ動作をする。gzipは多分gzip-6と同じだと思う。 5.5Mのファイルをコピーしてみる。 # cd /zdevel shana# time cp /usr/local/www/
ZFS スナップショットの概要 - Oracle Solaris ZFS 管理ガイド
「スナップショット」とは、ファイルシステムまたはボリュームの読み取り専用コピーのことです。スナップショットはほとんど瞬間的に作成することができ、最初はプール内で追加のディスク領域を消費しません。ただし、アクティブなデータセット内のデータが変化していくにつれて、ディスク領域が消費されるようになります。古いデータを引き続き参照し、そのディスク領域を解放しないためです。 ZFS スナップショットには次の特長があります。 システムのリブート後も残ります。 スナップショットの理論上の最大数は、264 です。 スナップショットは個別のバッキングストアを使用しません。スナップショットは、作成元のファイルシステムまたはボリュームと同じストレージプールのディスク領域を直接使用します。 再帰的なスナップショットは、1 つの原子動作としてすばやく作成されます。スナップショットは、まとめて (一度にすべて) 作成
Dockerのネットワークの基礎
今までいろいろ触ってきて，Dockerネットワーク周りに関しては何となくは理解していたが，人に説明できるほど理解してなかったのでまとめておく．基本は，Advanced networking - Docker Documentationがベースになっている． 仮想ブリッジの仕組み Dockerのネットワークは，仮想ブリッジdocker0を通じて管理され，他のネットワークとは隔離された環境で動作する． Dockerデーモンを起動すると， 仮想ブリッジdocker0の作成 ホストの既存ルートからの空きのIPアドレス空間を検索 空きから特定の範囲のIPアドレス空間を取得 取得したIPアドレス空間をdocker0に割り当て が行われる． コンテナを起動すると，コンテナには以下が割り当てられる． docker0に紐づいたveth（Virtual Ethernet）インターフェース docker0に割り
MySQL を MHA + HAProxy で冗長化してみよう
斎藤です。こんにちは。 今日は、MySQLにてレプリケーション構成において、マスタサーバのフェイルオーバーを司るmysql-master-ha(以下、MHA)を用いる際、マスタサーバ接続先の切り替えにHAProxyを使ってみようというお話です。 ※MHAは0.53.0(公式パッケージ)、MySQLは5.5.25a(Oracle公式パッケージ)、HAProxyは1.4.22(CentOS6標準パッケージ)、OSはCentOS 6.3 x86_64を用いました。 ※MHAによる冗長化およびHAProxyによるMySQLの負荷分散の設定を経験された事がある前提で記述します。 本記事では、次の流れで話題を展開します。 フェイルオーバー時の接続先切り替え方法 構成(参考) なぜHAProxyなのか 切り替え方 2台構成の問題点 その他 コツ 設定(参考) 主にMHA+HAProxyによるフェイルオー
にわかSEの独り言 CentOS 6.5 x86_64でMySQLのマスター・スレーブを設定
CentOSを中心としたLinuxの話題や、自作rpmのwingリポジトリの情報などを掲載しています。 MySQLのマスター･スレーブの設定をすることに恵まれましたので、手順をまとめてみました。 今回挑戦したものは、MySQL 5.6を使用したマスター･スレーブの設定ですが、無停止でスレーブサーバを設置する方法など、現場で使えるレベルの手順をまとめることができましたので、ご紹介したいと思います。 なお、SCLリポジトリにある5.5やMariaDBを使用する場合、若干設定ファイル等のPathが違いますが、基本的には設定方法は変わらないので、読み替えてください。 ■ MySQLのマスター･スレーブの設定方法 mysql 5.6.xのインストール(マスター・スレーブ) # yum -y install mysql56-server ※ wingリポジトリを設定している場合、5.6.xがインストー
【RHEL】這いよる閏秒 7月1日9:00(JST)の挙動（3年ぶりだな） | Pocketstudio.jp log3
[1] ntpd が有効な場合、標準のstepモードでは、閏秒 08:59:60 (JST)挿入時、08:59:59 を繰り返す（時間遡行） – 基本、対応不要だと思われるが、環境によっては支障が無いか要確認 – kernel が古い場合はクラッシュする可能性があるので、kernel をバージョンアップする必要 RHEL4 | kernel-2.6.9-89.EL (RHSA-2009:1024-1) 以上に RHEL5 | kernel-2.6.18-164.el5 (RHSA-2009:1243-3) 以上に （関連情報 : https://access.redhat.com/knowledge/ja/articles/106233 要ログイン) – ntpd に ‘-x’ オプション(slewモード)を有効にすると、うるう秒を挿入せず、ゆっくり時間補正する。しかし、ntp-4.2.2
GHOST: critical glibc update (CVE-2015-0235) in gethostbyname() calls
GHOST: critical glibc update (CVE-2015-0235) in gethostbyname() calls Mattias Geniar, Tuesday, January 27, 2015 - last modified: Thursday, January 29, 2015 A very serious security issue has been found and patched: CVE-2015-0235 nicknamed "Ghost". The security bug A heap-based buffer overflow was found in glibc's __nss_hostname_digits_dots() function, which is used by the gethostbyname() and gethos
地面すれすれ若干アウト？: rsyslogのFileCreateModeが効かない
2012年8月23日木曜日 rsyslogのFileCreateModeが効かない こんばんは。 そろそろRHEL６が主流になってきてて、 ちょっとRHEL5との細かな違いに悩まされるようになってきました。 今回はrsyslogで出力するログのパーミッション。 RHEL５でもそうですが、syslog経由で出力されるログは 基本600でrootしか読めません。 しかしまぁログを見るためだけにわざわざrootになるのも正直めんどい。 syslogdのオプションでSYSLOG_UMASK設定してotherに権限つけるのも別にいいですけど、 rsyslogだと出力するログのオーナーやパーミッションを指定することができます。 で、大体こんな感じ。 $FileOwner root $FileGroup loguser $FIleCreateMode 0640 こんな感じでユー
軽量シンプルPHPフレームワーク | Curry
REST RESTfulリクエスト RESTコントローラー パラメータの扱い レスポンス PUTやDELETEメソッドのリクエスト方法 RESTfulリクエスト CurryではRESTfulなリクエストに対応し、コントローラー、アクションで表されるリソースに対して、HTTPメソッドによって処理を分けることができるようになっています。 通常、アクション単位にメソッドを定義し、URLと紐付いていますが、これに加えてGET、POST、PUT、DELETEという4つのHTTPメソッドによって更にPHPアクションメソッドを4つに分割することが可能です。 RESTコントローラー RESTリクエストに対応するには、コントローラークラスを通常のControllerではなく、RestControllerを継承するだけです。RestControllerはControllerとほぼ同様の働きをしますが、通常のア
【CyberAgent】技術情報／TechReport - テックレポート／MongoDBの運用について | 株式会社サイバーエージェント
■はじめに 弊社でも、ピグライフをはじめとしてモバイルゲームなどのサービスでMongoDBを使い始めています。 運用に関してはMySQL等にはまだノウハウ的にはかなわないものの、NoSQLのジャンルの中では有用なプロダクトであるといえるかと思います。 ですが、運用に関しての共有ができておらず、有効な使い方ができていないパターンも多いです、そのため運用に関してノウハウを共有するための資料を作成しました。 ■概要／特徴 MongoDBには以下のような特徴がある ● BSONによる、JSONによるスキーマレスなデータ運用 これにより、柔軟なデータ構造をわかりやすく表現できる。 加えてスキーマレスなため、データの構成を柔軟に帰ることが出来る ● レプリカセットによる冗長化対応 MySQLでも、マスタを冗長化するためには、MySQLCluster、MHAなどのプロダクトがあ
glibcのgethostbyname関数に存在するCVE-2015-0235(GHOST)脆弱性について - ブログ - ワルブリックス株式会社
glibcのgethostbyname系関数に脆弱性の原因となるバグが発見されCVE-2015-0235(GHOST)と命名されたようです。放置した場合は相当多くのアプリケーションがこの脆弱性の影響を受けることが予想されます。 glibcは libcのGNUバージョンです。libcはアプリケーションではなく、事実上全てのアプリケーションが利用しているライブラリです。OSの中ではカーネルに次いで重要な部分と言えます。Linuxシステムでは(ことサーバー用途においては)例外なく glibcが使われています。 この glibcに含まれる gethostbyname系関数の実装に 2000年頃から存在したバグが今になって発見され、CVE-2015-0235 通称 GHOSTと命名されました。ネットワークで何らかの通信を行うアプリケーションは必ず※この関数を使用します。 ※追記: 名前解決をサポート
glibc の脆弱性 CVE-2015-0235（通称：GHOST）についてまとめてみた - piyolog
2015年1月27日(現地時間) Qualysはglibc(GNU C Library)に脆弱性を発見し、情報を公開しました。ここでは関連情報をまとめます。(暫定まとめなので精度低め、網羅性無しです。。) (1) 脆弱性関連情報 Qualysが公開した脆弱性情報 The GHOST Vulnerability Qualys Security Advisory CVE-2015-0235 注意喚起 IPA (注意) libc の脆弱性対策について(CVE-2015-0235) 脆弱性の概要 glibcの__nss_hostname_digits_dots() にヒープバッファオーバーフローの脆弱性。 当該関数はglibcのgethostbyname()とgethostbyname2()から呼ばれている。 アプリケーションによっては、DoS、またはリモートから任意のコードが実行可能となる可能性
Linuxに深刻なセキュリティホール「GHOST」、今すぐパッチが必要
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 編集部 2015-01-28 10:04 クラウドセキュリティ企業Qualysの研究者が、Linux GNU Cライブラリ（glibc）に深刻なセキュリティホールである「GHOST」（CVE-2015-0235）を発見した。この脆弱性を利用すると、ハッカーはIDやパスワードを知らなくてもシステムをリモートから乗っ取ることができる。 Qualysはただちにこのセキュリティホールについて主なLinuxの配布元に警告を送り、多くの配布元がすでにパッチを公開している。 このセキュリティホールは、glibc-2.2（2000年11月10日にリリース）を使用してビルドされたすべてのLinuxシステムに存在する。Qualysによれば、このバグは実際には、2013年5月21日にリリースされた、gl
データ転送ミドルウェア勉強会 - Blog by Sadayuki Furuhashi
Treasure Data, Inc. 古橋貞之です。 来たる1月27日、新しいOSSツール Embulk をリリースします。 EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。 入力元、出力先、ファイルフォーマット、圧縮方式などをプラグインで拡張することができ、S3上のCSVファイル、PostgreSQL、Elasticsearch、Salesforce.com、Treasure Dataなど、異種のストレージやサービスの間でデータを転送・同期することが可能になります。 Fluentdとは異なって、1発実行、あるいは1時間や1日毎で実行するバルク処理に特化しており、 トランザクション制御 冪等性 高速性 スキーマを使ったvalidation などの拡張を備えています。 １回で使
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが
CentOS7
ホーム CentOS7 VulsRepoのインストール CentOS7 Vulsのインストール CentOS7 OpenVAS(GVM)のインストール CentOS7 Webminのインストール CentOS7 Userminのインストール CentOS7 Cockpitのインストール CentOS7 Nginxでリダイレクト処理 CentOS7 NginxでCGI(Perl) CentOS7 NginxでPHP CentOS7 NginxでSSL証明書の設定(SNI含む) CentOS7 Nginxでバーチャルホスト CentOS7 Nginxのアクセス制限 CentOS7 Nginxの基本インストール CentOS7 ディスク容量チェック CentOS7 WordPressのインストール CentOS7 RainLoopのインストール CentOS7 PHPListのインストール Ce
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社TAP
mysqlのレプリケーションを使う | レンタルサーバー・自宅サーバー設定・構築のヒント
TECH PROjin
Docker Meetup Tokyo #4 - 資料一覧 - connpass
Oracle Blogs
https://docs.oracle.com/cd/E19253-01/819-6260/6n89n6cjb/index.html
https://blogs.oracle.com/realneel/entry/mysql_innodb_zfs_best_practices