MySQL 8.0 への移行が完了しました ～さようなら全ての MySQL 5.7～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームの飯塚です。 私たちは cybozu.com 本番環境の MySQL を昨年末から順次 8.0 系へアップグレードしており、前回の定期メンテナンスにおいて全てのインスタンスのアップグレードを完了しました。この記事では、私たちが MySQL 8.0 への移行に取り組んだ理由と必要になった対応について紹介します。 なぜ MySQL 8.0 へ移行したのか GTID-based レプリケーションにおける制限の緩和 再起動時に AUTO_INCREMENT のカウンタが巻き戻る問題の解消 実際に対応が必要だった MySQL 8.0 の変更点 utf8mb4 の照合順序のデフォルト値の変更 SQL_CALC_FOUND_ROWS と FOUND_ROWS() が deprecated に Connector/J のメタデータ取得処理の性能低下 sys.innodb_lo
MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク
MySQL 5.7新機能解説：レプリケーション、セキュリティ編
今月の頭、詳解MySQL 5.7の出版記念第一弾として、MyNA（日本MySQLユーザ会）名義でイベントを行ったので、その際使用したスライドを紹介しておこう。今回紹介した新機能のカテゴリは2つ。レプリケーションとセキュリティである。レプリケーションはMySQLの運用と切っても切り離せないほど重要なものであり、そしてデータベースサーバーにとってセキュリティが重要であることは、言うまでもないだろう。 今回のバージョンでは、レプリケーションが大きく進化している。 まず、MySQL 5.7では、レプリケーションのトポロジの限界を打ち破った！！MySQL 5.6までのバージョンでは、スレーブはひとつのマスターしか持つことができないという制約があったのだが、それがなくなった。すなわち、スレーブが複数のマスターからデータを連続的に複製することができるようになったのである。それにより、これまで以上に様々な
mikasafabric for MySQLクイックスタート | GMOメディア エンジニアブログ
ぬいぐるみが好きな方のDBAです。 mikasafabric for MySQLをオープンソースライセンスで公開しました で紹介した mikasafabric for MySQL（以下mikasafabric）のチュートリアルです。 決して社内向けのドキュメントを書くのが面倒になったからブログに書いている訳ではありません。なお、特に明記しない場合はmikasafabricとMySQL Fabricで手順は変わりませんので、オリジナルのMySQL Fabricのクイックスタートとしてもご利用いただけるようになっております。一粒で二度美味しい。 まず、mikasafabricはMySQL Fabricのクローンなので同じコンポーネントが必要になります。 バッキングストアと呼ばれるmysqldmikasafabricデーモン(mysqlfabric)mikasafabricなのにプロセス名がmy
mikasafabric for MySQLをオープンソースライセンスで公開しました | GMOメディア エンジニアブログ
あまりにもつらかったので、おとなしくフォークして自前でパッチを当てることにしました。フォークするついでに名前を変えたのが mikasafabric for MySQL （みかさファブリック フォー マイエスキューエル）になります。 期待通りに使えるMySQL Fabric を目指した結果なので、まあまあ期待通りに動きます（ただし、MySQL Routerとの組み合わせしかサポートしていません。他のコネクターは動くかも知れないし動かないかも知れない。一部、APIの戻りにも手を入れているので） 名前を変えた理由- MySQLは商標なのでフォークとはいえMySQL Fabricは微妙（MySQL xxxはダメで、xxx for MySQLならOK） - mikasafabric for MySQL は MySQL Fabric 1.5.6 をベースにしているので、リポジトリー分けるまでは1.5.
FacebookのSimon Martin氏への準同期レプリケーションについてのインタビュー(The Percona Performance Blogより) | Yakst
FacebookのSimon Martin氏への準同期レプリケーションについてのインタビュー(The Percona Performance Blogより) 出典について この記事はThe Percona Performance Blog内のTom Diederich氏によるFacebook’s Simon Martin on semi-synchronous replication(2015/9/4)を翻訳したものです。 Facebookには月間14.9億のアクティブユーザーがおり、世界の最大のMySQLユーザーの1つである。FacebookのMySQLインフラチームのプロダクションエンジニアであるSimon Martinは、スペアのない2台のサーバーから始まって、世界で最大の規模の1つになるまで、キャリアの大部分でMySQLに取組んできた。 SimonはFacebookが取組んできた、
レプリケーションのパスワードはmaster.infoに書かれている - There's an echo in my head
MySQLでレプリケーションする際にCHANGE MASTER TOで設定したパスワードは、データディレクトリ下のmaster.infoファイルに書かれている。
MySQL入門 レプリケーション編 - Qiita
#経緯 とある勉強会の内容の復習＆整理 #タイトル インストール・アーキテクチャ基礎編 レプリケーション編 ←今回はこちら バックアップ編 チューニング基礎編 #レプリケーション編 アジェンダ レプリケーションとは レプリケーションの仕組み レプリケーションの種類 レプリケーションの設定方法 バイナリログの管理方法 その他の考慮事項 参考情報 #1. レプリケーションとは ##1.1. 基礎知識 データの複製（レプリカ）を別のサーバにモテる機能 MySQLの標準機能で、多数のWebサイト等で利用されている － シンプルな設定で利用可能 － マスター → スレーブ構成 ##1.2. マスタースレーブ構成 サーバはマスター、スレーブまたは両方になれる マスターサーバ － データを変更 － 変更内容をスレーブに転送 － マスターは複数のスレーブを持てる スレーブサーバ － マスターでの変更内容を
MySQLレプリケーションの運用が劇的変化！！GTIDについて仕組みから理解する
メリークリスマス！！やあ、良い子のみんな！！サンタクロース・・・ではなく、ヒゲモジャギークからのクリスマスプレゼントだよ！！ というわけで、MySQL Casual Advent Calendarの25日目である。今朝Advent Calendarを覗いてみると、本日分のエントリーが無かったので、急遽書くことにした。Advent Calendar最後の日、クリスマスを飾る記事のテーマはGTIDだ。 前回の投稿では、MySQL 5.6の目玉機能として、レプリケーションがクラッシュセーフになったことを挙げた。レプリケーションまわりで言えば、もうひとつ外せない目玉機能がある。それがGTID（Global Transaction ID）である。 GTIDは良くも悪くもレプリケーションの運用を変化させる。GTIDを使うことによって得られる最大のメリットは、CHANGE MASTER TOでバイナリロ
まだMySQL 5.5で消耗してるの？MySQL 5.6でクラッシュセーフなレプリケーションを活用して枕を高くして眠れる日々を満喫する方法
MySQL 5.6が登場してからかなりの月日が過ぎたが、他のことで多忙だったせいか、MySQL 5.6についてはあまりブログで情報を発信していないことに気がついた。これはイカン！！と思い、MySQL Casual Advent Calendar 2014に合わせて、MySQL 5.6を使用する上で最もオススメしたい機能であるクラッシュセーフなレプリケーションについて解説しようと思う。この記事は16日目の記事である。 レプリケーションがクラッシュセーフとはどういうことかクラッシュセーフとは、何らかの事情により、プロセスがダウンしたりマシンが電源ごと落ちたり（つまりクラッシュ）しても、再起動後に以前の状態に戻って処理を再開できるということだ。データのクラッシュリカバリであればみなさん既によくご存知であろう。（REDOやUNDOするアレのことだ。本稿では面倒臭い・・・ではなかった、本題ではないた
MySQL User Forum - MySQL Replication & MySQL Fabric (Japanese)
MySQL Fabric と Replication の機能を解説します。 2014年4月25日に開催したMySQL User Forum のセッションの１つです。MySQL User Forum は、MySQL 5.7を含む最新開発・技術動向、パフォーマンスの強化ポイント、MySQL製品紹介、最新版のMySQL Workbenchデモなど、MySQL の最新の技術情報をお届けしました。 Subscribe to the MySQL Youtube channel and watch more tutorials and presentations: http://www.youtube.com/mysqlchannel Like the MySQL facebook page to receive latest updates on product releases, technical
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
MySQLテーブルへの更新/削除イベントを逐次取得するFluentdプラグイン「fluent-plugin-mysql-replicator」をリリースしました - Y-Ken Studio
任意のSQLクエリで取得した結果の差分から、insert/update/deleteイベントを検知するプラグインをリリースしました。イベント検知だけでなく、レコードの内容と共にElasticsearch/Solrへ同期を行う、Outputプラグインも同封しています。 これはあえてバイナリログ(MySQLBinlogAPI)は使わずに、SQLクエリの実行結果の差分を見てinsert/update/deleteイベントを検知します。 そのため、純粋なテーブル同期だけでなく、任意のJOINやVIEWテーブルを元とした差分同期処理が実現できるのが特徴です。 y-ken/fluent-plugin-mysql-replicator https://github.com/y-ken/fluent-plugin-mysql-replicator http://rubygems.org/gems/flue
MySQLのスレーブサーバを別サーバに移設する時に注意すること · さよならインターネット
August 12, 2013 移設元のスレーブサーバのMySQLが停止できる場合 移設先のスレーブサーバで CREATE DATABASEして master.infoからreplユーザ作成して dumpファイルをバックアップサーバから持ってきて〜 などの作業を行わなくてもSLAVE STOPし MySQLを落とし変更が走らない状態にして MySQLのディレクトリを移設先にrsyncで渡した方が手間も処理速度も遥かに速い。 ただし、移設先でMySQLを起動してSLAVE STARTをすると Could not find target log during relay log initialization rellay.log このようにrelay_logが見つからないよ。というエラーが発生する。 16.2.2.1. The Slave Relay Log / MySQL 5.1 Refer
MySQLで参照の負荷分散を行うslaveは3台から構成するのがよいのでは - 酒日記 はてな支店
前回の記事 MySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか の続きです。 master : slave = 1 : 1 で参照を slave に分散してもまったく美味しくないわけですが、では参照の負荷分散を行いたい場合の slave は何台で構成するとよいのか考察してみます。具体的には slave 2台の場合と 3台の場合でどちらがお得か。 台数を増やすということは、どこかに障害が発生する確率が高まる、ということです。1台の slave に障害が発生してダウンした場合のことを考えてみます。 slave * 2 → 残り 1台で処理継続 生き残った1台あたりの処理が 2倍になる slave * 3 → 残り 2台で処理継続 生き残った1台あたりの処理が 1.5倍になる たとえば 1台あたり最大 1000qps の処理能力があるとします。sla
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - timakin/gopli: DB replication tool to synchronize data with multi environments written in Golang.
MySQL group replication: installation with Docker
Improving the design of MySQL replication
Welcome Tungsten Replicator 2.1.0!
GitHub - y310/kodama: ruby-binlog based MySQL replication listener
