はじめに こんにちは、R&D本部アドプラットフォーム開発部の村岡です。 九州工業大学の先端情報工学専攻を予定通り修了してジーニーに17卒入社し、現在は主にGenieeSSPの開発を行っています。 以前こちらの記事を書きましたが、今回もMySQL関連の記事となります。 GenieeSSPについて GenieeSSPは、広告配信のレスポンスタイムを短くするために、数十万の広告枠の配信設定をすべてインメモリで保持しています。 全広告枠の配信設定はMySQLに保存されています。配信設定を変更する、つまりDBのデータを変更する方法は、現在の運用では4つあります。 営業担当や、広告運用チームなどが操作画面を使って更新する。 操作画面では対応できない場合などに、エンジニアの運用チームが手作業で更新する。 配信パラメータ最適化のためのバッチが更新する。 リリース時などにエンジニアが権限をもらって更新する（
2012年6月のエントリの続きです。前回は同期レプリケーションによるネットワーク遅延のある環境において、MySQLの性能がどの程度低下するのかということを確認しました。その中でも特にsync_binlogが1に設定されている場合、性能が大きく低下するということが分かりました。参考としてAmazon RDSのマルチAZデプロイメントにおいては、性能と信頼性のトレードオフを考慮した結果、sync_binlogがデフォルトで0に設定されているということを調査しました。 タイトルでネタバレしていますが、MySQLの次期バージョン、MySQL 5.6でこのsync_binlog=1の性能が大きく改善します。前回と同じ負荷テストをMySQL 5.5.25からMySQL 5.6.6-labsに差し替えて行った結果を、以下に示します。 前回のMySQL 5.5.25と異なり、sync_binlog=1にお
MySQLのbinlogをmysqlbinlogとperlワンライナーでカジュアルに解析する - blog.nomadscafe.jp
MySQLを運用していて特定の時間帯だけ更新クエリが増えているのを見つけたときにバイナリログを探ったりすることはまぁまぁあると思います。最近はmysqlbinlogとperlのワンライナーをつかって調べています mysqlbinlogをつかって特定の時間帯のログを調べるのは $ mysqlbinlog --start-datetime="2012-07-31 09:41:00" --stop-datetime="2012-07-31 09:45:00" mysql-bin.941 こんな感じですね。ちなみにMySQL 4.0.x のmysqlbinlogにはstart-datetime、stop-datetimeのオプションがないので新しいバージョンが入っているサーバに転送するなりして実行しています。 この出力は #120731 09:41:48 server id 9316 end_lo
たまにはしょうもない TIPS でも。MySQL の魅力といえば言わずもがな 10 年の歴史を誇る「レプリケーション」の仕組みだと思います。これさえあれば 1 つの筐体で必死にデータ保全しなくてもコピーがいくらでも増やせるし、@nippondanjiさんのスライドにある通り、レプリケーションの妙技を駆使することで様々に柔軟な運用を行うことができます。 Art of MySQL Replication. slave 追加とは？ さてそんなレプリケーションですが、実運用で最も多く行われるオペレーションは「slave の追加」だと思います。追加の方法は大きく分けると 2 通りです。(ストレージエンジンは InnoDB を想定。というか InnoDB 以外認めません＞＜) 論理バックアップを利用 mysqldump 等を利用して論理的にデータの静止断面を作る＆その時の binlog のポジションを
MySQL binlog API は row based mode でこそ、その真価を発揮する!! - tokuhirom's blog
空前の MySQL binlog API ブームですが、みなさん libreplication の examples/basic-[12] を実行するだけで満足してしまっているようです。しかし、libreplication のおもしろいのは examples/mysql2lucene の方なんです。 3つのロギングモード普段はあまり意識しないかもしれないですが mysql の binlog には statement based, row based, mixed の3種類があります。 statement based は、実際に実行された SQL が記録されます。一部の関数でちょっと危険です。 row based では、実際に変更された行のデータが記録されます。 mixed では、危険な関数をつかった場合などには row based で記録し、そうでなければ statement based
前回の問題とはまた別件で、今度はbinlogのローテート切り替わりタイミングに更新クエリが停滞する、という問題を調べることになりました。 調査の過程で何を誤ったか、Twitterという魔法陣から最強クラスの重鎮魔神を召喚してしまい、恐れ多くも原因の特定と対応方針の決定ができてヘコヘコな感じでございます。 binlogローテート時の障害 数十分に１回、更新クエリが停滞してアプリケーションにエラーログが残るということから、他のエンジニアが、どうもbinlogの切り替わり時にそれが起きているっぽいことを特定してくれました。発生時は1～3秒は更新機能が停止するので、結構なレベルの障害ということでした。 binlogは1GBでローテートするように設定していたのですが、dstat -d でwrite容量を見ていると、確かに切り替わり時に800～900MBの書き込みを確認できました。 このことから、bi
MySQL のレプリケーションは素晴らしい仕組みなのですが、ちょっと凝ったことをしようとするには機能が限られています。特に、MySQL の更新を他のデータストアにマイグレーションしたいような時は、Trigger を使って超頑張るのはイマイチで、バイナリログを使ったレプリケーションの仕組みをそのまま拡張してマイグレーションするようなワーカーを書きたくなるものです。 そんな時に使える便利な API として、Binlog API というものがあります。まだ開発途上ではありますが、期待の持てる API です。 assets.en.oreilly.com/1/event/61/Binary log API_ A Library for Change Data Capture using MySQL Presentation.pdf 試しにどんなもんなのか使ってみました。 追記 2012/07/09
昨日の記事 で innodb_support_xa = 0にすると RDS が速くなることを紹介したのですが、その後 Twitter で innodb_support_xa = 0 にするとクラッシュ時だけでなく通常時も binlog とトランザクションログの一貫性が無くなる（コミットする順序が前後する）可能性があることを指摘していただきました。 innodb_support_xa=0すると、トランザクションがコミットされた順番でバイナリログに載ることが保証できなくなるんだけどいいのかな？ DSAS開発者の部屋:AWS RDS の書き込み性能チューニング dsas.blog.klab.org/archives/52108… — ts. yokuさん (@yoku0825) 2013年4月24日 実際に、 MySQL 5.5 と 5.6 両方で、 innodb_support_xa の説明に
mysql の binlog api を利用するための Perl Binding を作りました - tokuhirom's blog
mysql の binlog api をあつかうためのライブラリである libreplication というものがあるのですが、これの perl binding を開発しました。 https://github.com/tokuhirom/MySQL-BinLog とりあえず、examples/basic-2.cpp でやっていることができるところまでつくっておきました。 バイナリログの内容を streaming で処理できるのがおもしろいです。 以下のような用途での応用が考えられるようです。夢がひろがりんぐですね。 libreplication のセットアップ方法については riywo さんの記事をごらんください。 http://blog.riywo.com/2012/07/08/133005 はまりポイントは、streaming 開始時に ROTATE_EVENT が発生して、最新のログ
mysqlbinlog なんてやめて show binlog events を使おう - いちいの日記
夜中に眠いのに master のディスク容量がいっぱいで、でも binlog 用のスペースがない slave たちはまだ明日起きてから対応するんでも間に合うとき。よくありますよね。 ほっといてエラーになるよりかはその場しのげる方がマシ 多少サービス止めるなり i/o 負荷が高くてもいいから何とかしたい 根本的には master 切り替えるしかない だが、そこまで元気がない そんなとき、いままで mysqlbinlog と格闘しながら pos のコピペに注意しつつやってたんですが、 show binlog events という便利コマンドがあることを今更知ったメモです。 基本的な方針 master から絶対に読み込みがないデータを消して、延命することにします。しかし innodb だったりするので単に delete しても容量は減りません。 そこで、えいやとアプリを止めて (or table
GitHub - y310/kodama: ruby-binlog based MySQL replication listener
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
Aurora MySQL improves performance and failover recovery time when binlog is enabled
Amazon Aurora MySQL-Compatible Edition now supports a new, enhanced binary log (binlog). The enhanced binlog reduces the compute performance overhead caused by enabling binlog, which, in certain cases, can reach up to 50%, down to 13%. The enhanced binlog also improves database recovery time by up to 99% after restarts and failovers, as compared to when native MySQL binlog is enabled. One of the m
MySQLのBinlog APIを試してみる on Mac - Kentaro Kuribayashi's blog
「MySQL Binlog APIを試してみる」で知ったMySQLのBinlog APIが面白そうだったので、Macで試してみた。 インストール $ brew install bzr cmake boost $ bzr branch lp:mysql-replication-listener $ cd mysql-replication-listener $ cmake . $ make $ sudo make install exampleをビルドしてみる $ cd examples $ cmake . $ make Linking CXX executable basic-1 Undefined symbols for architecture x86_64: "boost::system::system_category()", referenced from: __static_i
mysql binlogからDB復旧 - Qiita
mysqlbinlogでDB復旧した時の自分用メモ。繰り返す自分用のメモ。 依頼内容 依頼者「2014-02-14の20時台に作業間違えた。なかったコトにしてもらえませんか。」 俺「・・・」 やりたいこと 2014-02-14の20時台に投げられたクエリをすべてなかったことにしたい。 作業手順 バックアップしたデータベースをリストアする mysqlbinlogで、リストアした時間（2014-02-13 03:30）から該当時間（2014-02-14 20:00）まで、ログ吐き出して適用 該当時間後の正常なデータを吐き出し。具体的に2014-02-14 20:59:59以降のデータを吐き出して適用 データ確認 && 差し替え 前提条件 binlogが吐かれていること 定期バックアップが取られていること binlogを吐く方法 /etc/my.confにbinlogの設定をする。 基本レプリケ
RDS MySQLで、5.6のエンジンがサポートされた。 Amazon Web Services ブログ: 【AWS発表】 Amazon RDSがMySQL 5.6をサポート! そのなかで バイナリログアクセス - バイナリログを付属のmysqlbinlogツールを使って、ダウンロードしたりストリームすることができます。 この機能はオンプレミス環境とのデータの同期や、監査ログ、分析、レプリケーションエラーのデバッグといった様々な目的に使うことができます。この機能を利用するには、自動バックアップ機能を有効にする必要があります。 と書かれている。まずは権限の確認。ユーザ名「test」で作ったRDS MySQL5.5と5.6を比較すると MySQL 5.5 mysql>SHOW GRANTS FOR test\G *************************** 1. row ******
お兄さんとの約束は守ろう！（MySQLのtx_isolationとbinlogの話） - なからなLife
MySQL Casual Advent Calendar 2016 - Qiita 21日目の記事です。 穴があったら埋めたいタイプの人です。5回目。。。 なお、大トリの25日が空いているみたいですが、3年連続であの方でしょうか？(・_|襖| ある日、MySQLおじさんお兄さんに、、、 って言われたので、約束破ってみたｗ やることは、以下の通り。 binlog出力ON、binlog_format=MIXED まったく同じ構造のテーブルを３つ用意 テーブル1に1000万件用意(ibdファイル1.6GB) ログをFLHSH REPEATABLE-READで、テーブル1からテーブル2へINSERT ... SELECT 全件 ログをFLHSH READ-COMMITTEDに切り替えて、テーブル1からテーブル3へINSERT ... SELECT 全件 ログをFLHSH ログファイル確認 実験結果
MySQL の binlog について 実際に実行された更新系クエリの情報が記述されていてなんらかの理由によりデータが壊れた際の データ復旧とかにも役にたつ。 binlog の format には以下の 3 種類ある フォーマットの種類 設定値(文字列) 設定値(数字) 備考 ステートメントベース STATEMENT 1 実際に実行された SQL を記録 行ベース ROW 2 実際に変更された行のデータの情報を記録 ミックス MIXED 0 基本的にはステートメントベースと同じで非決定性のクエリの際は行ベースと同じ形式のログを出力する ここら辺は DB server を構築する際にレプリケーションとかを考えると思うので 基本的には理解している内容だと思われます。 今回は binlog の中身を除いて実際にどうなってるの？というところを調べた。 実際にログを出力させて比べる 環境 Mac M
Amazon Auroraのbinlogを有効にしAmazon MySQLにレプリケートしてみる | DevelopersIO
はじめに Aurora は本家 MySQL とはことなり binlog によらないレプリケーションを採用しており、プレビューの当初は binlog を有効にできませんでした。いつからか Aurora が binlog 対応したようなので、この機能をつかって Amazon Aurora から Amazon MySQL にレプリケートしてみたいと思います。 全体の流れ 同じ VPC 内に RDS for Aurora RDS for MySQL を起動します。 その後、Aurora の binlog パラメーターを有効にし、この binlog をもとに MySQL にレプリケートさせます。 レプリケート方法は次のドキュメントと同等の手順をとります。 Amazon RDS の外部で実行される MySQL インスタンスとのレプリケーション RDS インスタンスの起動 RDS for Aurora
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
2015/10/03 phpcon 2015 updated at 2016/01/13 about default_password_lifetime's default will be 0
MySQL binlog の読み方
概要 こちらのページでも紹介した MySQL binlog の読み方を紹介します。検証用 MySQL のバージョンは 5.5 です。 準備 $ sudo service mysqld stop $ sudo vi /etc/my.cnf 設定例 [mysqld] user=mysql datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock server-id=000001 log-bin=mysql-bin binlog_format=2 # row-based logging [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid サービスの起動 $ sudo service mysqld start binlog に追記されるこ
こんばんは。情弱です。 show binlog eventsって知ってましたか？おれは今日知りました。簡単に言うとバイナリログに記録された更新系クエリとかポジションを参照するための構文です。バイナリログの中身を調査したい場合、今まではmysqlbinlogでテキストファイルに戻してから調査していたんですが、なんかもっと便利なのねーかなー？って思ってたらこんなの見つけた↓。 12.6.1.4. SHOW BINLOG EVENTS 構文 http://dev.mysql.com/doc/refman/5.1/ja/show-binlog-events.html SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count] ためしに適当に実行してみました。 mysql ＞ show binlog events
Tables on SSD, Redo/Binlog/SYSTEM-tablespace on HDD
I recently did a disk bound DBT-2 benchmarking on SSD/HDD (MySQL 5.4.0, InnoDB). Now I'm pretty confident that storing tables on SSD, redo/Binlog/SYSTEM-tablespace on HDD will be one of the best practices for the time being. This post is a detailed benchmarking report. (This post is very long and focusing on InnoDB only. If you are familiar with HDD/SSD/InnoDB architecture and understand what my b
MySQL でオンラインで binlog_format を変更したかったので、その方法を紹介します。 すべてのスレーブに対して STOP SLAVE する マスターに対して、FLUSH TABLES WITH READ LOCK; して更新系のクエリを止める マスターに対して、FLUSH LOG する マスターに対して、SET GLOBAL binlog_format = ‘ROW’; する、または MIXED マスターに対して、FLUSH LOG する マスターに対して、UNLOCK TABLES; する すべてのスレーブに対して START SLAVE する あとは、my.cnf を忘れずに変更しておいしまい。
MySQLにbinlogとredo logの二つの重要なログシステムがあります。本文では、この二つのログの仕組みについて説明します。 #１．基本知識 MySQLは、SQLの解析と実行する機能を実現するServer層とデータアクセス機能を提供するストレージエンジン層で構成されています。ストレージエンジンには、MyISAM、InnoDB、Memoryなどが存在します。 binlogは、Server層が出力するログです。redo logは、InnoDBエンジンが出力するログです。二つのログは、ともにDBテーブル更新時に出力されます。 ディスクアクセスに時間がかかるため、InnoDBエンジンがメモリ上でレコードを更新し、redo log bufferに記録したら、レコード更新操作が完了とします。この仕組みは、WAL（Write Ahead Logging）といいます。別の専用スレッドが適当のタイミ
はじめにこんにちは、R&D本部アドプラットフォーム開発部の村岡です。 九州工業大学の先端情報工学専攻を予定通り修了してジーニーに17卒入社し、現在は主にGenieeSSPの開発を行っています。 以前こちらの記事を書きましたが、今回もMySQL関連の記事となります。 GenieeSSPについてGenieeSSPは、広告配信のレスポンスタイムを短くするために、数十万の広告枠の配信設定をすべてインメモリで保持しています。 全広告枠の配信設定はMySQLに保存されています。配信設定を変更する、つまりDBのデータを変更する方法は、現在の運用では4つあります。 営業担当や、広告運用チームなどが操作画面を使って更新する。操作画面では対応できない場合などに、エンジニアの運用チームが手作業で更新する。配信パラメータ最適化のためのバッチが更新する。リリース時などにエンジニアが権限をもらって更新する（平時は更新
GitHub - danfengcao/binlog2sql: Parse MySQL binlog to SQL you want
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
What is the safest way to switch the binlog format at runtime?
Because of the following warning in mysqld.log: [Warning] Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT. The statement is unsafe because it uses a LIMIT clause. This is unsafe because the set of rows included cannot be predicted. I want to switch the replication format to MIXED. But according to the MySQL document: Switching the replication forma
binlog_format= ROW + 式インデックス + mysqldumpでレプリケーションに失敗する可能性がある
以下の4つの条件を満たすと MySQL error code MY-013146 (ER_SERVER_SLAVE_CONVERSION_FAILED): Column %d of table '%-.192s.%-.192s' cannot be converted from type '%-.32s' to type '%-.32s' が発火してSQLスレッドが止まる binlog_format= ROW である 式インデックスを使っている 式インデックスを作って以降、そのテーブルにカラムを追加した 論理バックアップからリストアしてスレーブを作成
Why MySQL’s binlog-do-db option is dangerous | MySQL Performance Blog
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
How to set up a Binlog Server for Amazon RDS for MySQL and MariaDB using MariaDB MaxScale | Amazon Web Services
AWS Database Blog How to set up a Binlog Server for Amazon RDS for MySQL and MariaDB using MariaDB MaxScale One of the key features of Amazon RDS for MySQL and Amazon RDS for MariaDB is the ability to create Read Replicas. You can easily create up to five replicas for a single master database instance via the AWS Management Console or the AWS CLI. Amazon RDS then handles all the work of making a b
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
MySQLにbinlogとredo logの二つの重要なログシステムがあります。本文では、この二つのログの仕組みについて説明します。 #１．基本知識 MySQLは、SQLの解析と実行する機能を実現するServer層とデータアクセス機能を提供するストレージエンジン層で構成されています。ストレージエンジンには、MyISAM、InnoDB、Memoryなどが存在します。 binlogは、Server層が出力するログです。redo logは、InnoDBエンジンが出力するログです。二つのログは、ともにDBテーブル更新時に出力されます。 ディスクアクセスに時間がかかるため、InnoDBエンジンがメモリ上でレコードを更新し、redo log bufferに記録したら、レコード更新操作が完了とします。この仕組みは、WAL（Write Ahead Logging）といいます。別の専用スレッドが適当のタイミ
NormalBlog.net フリーランスWebエンジニアの開発ブログ AWS／Terraform／Docker／CircleCI／Vue.js／PHP／CakePHP／Laravel／Ruby on Rails／Python／MySQL／MariaDB／Apache／NginX／Vagrant／WordPress／Git／
MySQL 8.0.20 で導入された binlog transaction compression をハイパー雑に検証する - それが僕には楽しかったんです。
はじめに 前提環境と検証方法 リリースノートの文献 やってみた perfomance_shema をみてみる 余談 さいごに 2020/04/29 4:42 2020/04/29 11:43 2020/04/29 12:08 はじめに どうも、共通新人研修がビジネス職よりで割とコードとか書いている暇がなかったけんつです。 今週からはエンジニアの研修で RFC と格闘することが強制されて息を吹き返してます。 MySQL 8.0.20 がリリースされて、めちゃくちゃ気になったのが binlog 圧縮。 他にも検証をしていたのだけど、なんか急に気になったので全てを放り投げて調べてみたくなった。 zstd というアルゴリズムを用いて binlog を可逆圧縮する機能が追加になったので、どれだけ圧縮されるのか調べてみた。 MySQL の運用に関わったことがなく、完全に趣味で追っているので binlo
GitHub - shyiko/mysql-binlog-connector-java: MySQL Binary Log connector
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのbinlogを使ってSSPの配信設定反映を40倍速くした話 - GENIEEエンジニアブログ
MySQL 5.6におけるsync_binlog=1の改善について＆勉強会のお知らせ - SH2の日記
MySQLでslave追加時にmasterが全力でbinlogを送って困る時 - As a Futurist...
MySQL + ioDrive + XFSにおけるbinlogローテート問題 | 外道父の匠
MySQL Binlog APIを試してみる - As a Futurist...
innodb_support_xa と binlog の危ない関係 : DSAS開発者の部屋
RDS: MySQL5.6 のbinlogアクセス権限 - aws memo
MySQL の binlog について調べたメモ - まっしろけっけ
MySQLのSHOW BINLOG EVENTS構文 | Ore no homepage
MySQL でオンラインで binlog_format を変更する方法 | Carpe Diem
MySQLのbinlogとredo logについて - Qiita
MySQLのbinlogを使ってSSPの配信設定反映を40倍速くした話 | GENIEE Blog
Configuring ProxySQL Binlog Reader
MySQLのbinlogとredo logについて - Qiita
MySQLのレプリケーション形式 binlog_format について本気出して調べてみた