短い説明 Amazon RDS for MySQL は非同期レプリケーションを使用します。つまり、レプリカがプライマリ DB インスタンスに追いつけない場合があります。その結果、レプリケーションの遅延が発生する可能性があります。 レプリケーションラグを監視するには、Amazon RDS for MySQL リードレプリカとバイナリログファイルの位置ベースのレプリケーションを使用します。 Amazon CloudWatch で、Amazon RDS の ReplicaLag メトリックを確認してください。ReplicaLag メトリックは、SHOW SLAVE STATUS コマンドの [Seconds_Behind_Master] フィールドの値を報告します。 [Seconds_Behind_Master] フィールドには、レプリカ DB インスタンスの現在のタイムスタンプの違いが表示され
MySQLの歴史が面白い - Qiita
まえがき MySQLの歴史をまとめました。 若干関係ない話題も書いてるかもしれませんが読んでいただけると幸いです。 （初投稿なので温かい目でみてください。。。） TL;DR (1995年) Michael WideniusらによってMySQLが開発される。 (2001年) 開発会社MySQL ABのCEOがMårten Gustaf Mickosに変わり、MySQLがオープンソース化される。 (2008年) MySQLがサンマイクロシステムズによって買収される。 (2009年) Michael Widenius「こんなバグまみれのバージョン(5.1)リリースするなら抜けます」 「生みの親」Michael WideniusがサンマイクロシステムズのMySQL開発チームを脱退。 →Michael Wideniusが独立した会社でMariaDBをリリース。 （ちなみに「My」はWidenius氏
MySQL(Replication Protocol)とElasticsearchのほぼリアルタイム連携の実現（リアルタイム・インデクシング） - Qiita
MySQL(Replication Protocol)とElasticsearchのほぼリアルタイム連携の実現（リアルタイム・インデクシング）MySQLElasticsearchreplicationリアルタイムインデクシング 内容 ・リアルタイム検索、リアルタイム集計ができるようになる ・MySQLとElasticsearchをリアルタイムに近い時間で同期する方法 ・実際のコードはとても複雑なので考え方をダラダラと説明する ・ここでの説明が１００％正しいとは思わないで 全体の流れ 変更の検知 MySqlが変更したことを検知するために「Replication Protocol」を使って疑似的なslave db（以下「dummy slave」とする）を構築する。 dummy slaveは以下の二つに分かれる ・masterからBinLogを受け取って検知した情報を保存する。（1プロセス）→R
Amazon Web Services ブログ Amazon Aurora MySQL3におけるバイナリログの最適化 本記事は、2024年5月17日に公開された Binary logging optimizations in Amazon Aurora MySQL version 3 を翻訳したものです。 MySQLのバイナリログ(binlog)は、MySQLサーバ上のデータベースの変更を”イベント”と呼ばれる論理フォーマットでキャプチャするために使用されます。これらのデータベース変更には、DCL(CREATE USERやGRANTなど)、DDL(CREATE TABLE、ALTER TABLEなど)、DML(INSERT、UPDATE、DELETEなど)が含まれます。そのような変更がMySQLでコミットされると、サーバは 2-phase commit(2PC)を用いてトランザクションのバ
MySQLはバージョン8.0.13からsql_require_primary_keyというオプションが追加されました。このオプションを追加することで、作成するテーブルに主キー（プライマリキー）をつけなければ作成できないような制限を入れることができます。今回はこのオプションについて説明していきます。なお、検証環境はCentOS 7、MySQL 8.0.18になります。 sql_require_primary_keyについて sql_require_primary_keyは、my.cnfなどの設定ファイルに設定するか、SET構文を用いて設定することができます。設定はSELECT構文でシステム変数を確認するか、SHOW VARIABLES構文で確認できます。 mysql> SELECT @@sql_require_primary_key; +---------------------------
GTID とかついてきて、そのまま他の環境に持ち込もうとするとうまく行かず。 「イラァ」としないためのメモ。 mysqldump -u ${ユーザ名} -p -h ${エンドポイント} --quick --single-transaction --skip-triggers --set-gtid-purged=OFF ${DB名} > ${ファイル名} これでよい。 mysql -u ${USER} -p -h ${HOST} < ダンプファイル.sql とかでスルっと戻せるようになる。
2019 年にリリースされた Amazon RDS および Aurora 機能のまとめ | Amazon Web Services
Amazon Web Services ブログ 2019 年にリリースされた Amazon RDS および Aurora 機能のまとめ Amazon Relational Database Service (Amazon RDS) で、クラウド内でのリレーショナルデータベースのセットアップ、運用、およびスケーリングが簡単になります。費用効果が高く、容量のサイズ変更も可能です。同時に、ハードウェアのプロビジョニング、データベースのセットアップ、パッチの適用、バックアップといった時間を費やす管理作業を自動化します。そのため、お客様はアプリケーションの開発に集中でき、アプリケーションが必要とする高速な性能、高可用性、セキュリティ、さらに互換性の実現に取り組むことができます。 セルフマネージドデータベースをマネージドデータベースサービスに移行することは新しいスタンダードで、当社は Amazon R
DBを運用していると「DB全体で何MB利用しているのだろう？」「各テーブルごとに何MB利用しているのだろう？」といったことを確認する必要がでてきます。ここでは、容量を確認する方法について紹介します。 SELECT table_schema, floor(SUM(data_length + index_length) / 1024 / 1024) AS ALL_MB, floor(SUM((data_length) / 1024 / 1024)) AS DATA_MB, floor(SUM((index_length) / 1024 / 1024)) AS INDEX_MB FROM information_schema.tables GROUP BY table_schema ORDER BY sum(data_length + index_length) DESC; mysql> SEL
OSSデータベース取り取り時報 第102回連載100回記念第2弾「OSSデータベースは100ヶ月後も生き残れるか？」、MySQL 8.3.0のリリース、PostgreSQL最新情報 この連載はOSSコンソーシアム データベース部会のメンバーがオープンソースデータベースの毎月の出来事をお伝えしています。前回紹介した連載100回記念セミナー第1弾につづく第2弾について報告します。 連載100回記念第2弾「OSSデータベースは100ヶ月後も生き残れるか？」 前回にお知らせしたとおり、1月27日のオープンソースカンファレンス（OSC）2024 Osaka（大阪開催）にて本連載の100回を記念した企画セミナーの第2弾を実施しました。今回のOSC 2024 Osakaは4年ぶりに展示とセミナーの両方が会場で開催することになり、OSSコンソーシアムメンバに加えてオープンソースソフトウェア協会（O
奥野さん、三浦さんとMySQLの歴史、MySQL 8.0、サポートでのエスパー力、SQL脳、リレーショナルモデル、GTID、グループレプリケーションなどについて話しました。 漢(オトコ)のコンピュータ道 InnoDB - Wikipedia MySQL :: MySQL 8.0 Reference Manual :: 16.6 The BLACKHOLE Storage Engine MySQL :: MySQL 8.0 Reference Manual :: 16 Alternative Storage Engines MySQL Shell 8.0.17 – What’s New? | MySQL Server Blog 日々の覚書: MySQL 8.0.16にCHECK制約が来て、NOT ENFORCEDなんてものまでついてきた MySQL 8.0.16 Introducing CH
MySQL 8.0.17以降に、CLONEプラグインというものが追加されました。これはオンラインで取得することができるフルバックアップで、同一データのMySQLサーバーを作成する際にとても便利なものです。 今回はCLONEプラグインの導入から実施までと、利用する際の注意点について確認していきましょう。なお、検証環境はCentOS 7でMySQL 8.0.21を利用しています。 また、CLONEプラグインではよく、DonorとRecipientというワードが利用されます。これはDonarがCLONEの元（データのコピー元のインスタンス）でRecipientがCLONE先（データのコピー先のインスタンス）になります。 CLONEプラグインの導入 CLONEプラグインはMySQLサーバーのパッケージに同梱されており、利用するためにはINSTALL PLUGINステートメントでインストールする必要
はじめに こんにちは、スタメンの松谷(@uuushiro)です。この記事では、MySQLのパフォーマンススキーマを利用し、トランザクションの実行時間を調査する方法を紹介します。なお、検証に利用した実行環境は Amazon Aurora MySQL5.7互換 です。 なぜトランザクションの実行時間を調査したいのか 過去に弊社が提供するWEBサービスのデータベースに、ALTER文などのデータ定義言語(以下DDL)をオンラインで実行した際、DDL対象のテーブルへのクエリが「Waiting for table metadata lock」という待機状態になり、結果として障害に繋がったことがありました。なぜトランザクションの実行時間を調査したいのかを説明する前に、まずこの「Waiting for table metadata lock」について少し説明します。 テーブルに対する オンライン DDL
Aurora と MySQL との間、または Aurora と別の Aurora DB クラスターとの間のレプリケーション (バイナリログレプリケーション) - Amazon Aurora
Aurora と MySQL との間、または Aurora と別の Aurora DB クラスターとの間のレプリケーション (バイナリログレプリケーション) Amazon Aurora MySQL は MySQL と互換性があるため、MySQL データベースと Amazon Aurora MySQL DB クラスターとの間のレプリケーションを設定できます。このタイプのレプリケーションでは、MySQL バイナリログレプリケーションが使用され、バイナリログレプリケーションとも呼ばれます。Aurora でバイナリログレプリケーションを使用する場合は、MySQL データベースで MySQL バージョン 5.5 以降を実行することをお勧めします。Aurora MySQL DB クラスターがレプリケーション出典またはレプリカである場合は、レプリケーションを設定できます。Amazon RDS MySQL
あけましておめでとうございます。この連載はOSSコンソーシアム データベース部会のメンバーがオープンソースデータベースの毎月の出来事をお伝えしています。2023年もOSSデータベース取り取り時報をよろしくお願いいたします。 ［MySQL］2022年12月の主な出来事 2022年11月のMySQLの製品リリースはありませんでした。 クラウド版のMySQLであるMySQL HeatWave Database Serviceでは、レプリケーション機能の強化が行われ、お客様のご要望の多かったリードレプリカが追加されました。参照処理の負荷分散用のMySQLサーバーを18台まで追加でき、ロードバランサーとして機能するエンドポイントを利用可能となっています。 またAmazon RDSなどMySQLサーバーと完全互換ではないクラウド・データベースからのレプリケーションの際は、これまでは中間サーバーにて非互
TL;DR MySQL徹底入門 第4版 の宣伝です See also, 『MySQL徹底入門第4版』が 本当に 出ます！（MySQL 8.0 対応） - sakaikの日々雑感～(T)編 「MySQL徹底入門 第4版」が出るよ - @tmtms のメモ 少なくとも「これからMySQLのDBAっぽいことをしなければならない」人にはお勧めしたい この本によくわからないところがあれば 日本MySQLユーザ会 のメーリングリストに投げたりすると活気づくかも（？） 掲題の通り、MySQL徹底入門の執筆に参加させていただきました。 第3版 を「読んで勉強していた」のが、第4版を書く側として声をかけていただいて、人生何があるかわからないものだなあ。 飽くまで「入門」なので、「実践ハイパフォーマンスMySQL」のような玄人向け成分はほぼありません。たぶん。 俺の担当は 6章(運用), 8章(レプリケーショ
多対一リレーションの設計手法によるパフォーマンスの違いを確認した - Mobile Factory Tech Blog
この記事はモバイルファクトリー Advent Calendar 2020 15日目の記事です。 エンジニアの yokoi0803 です。DB設計をしていて多対一のリレーションを見たり、設計したりする機会が何度かあって、その度にどう設計するかで悩んでます。 多対一のリレーションはいくつかの設計で実現できますが、その選定の際の指標を得るため、今回はパフォーマンスの観点から設計の比較をしてみたいと思います。 多対一のリレーションを表現する3つの設計 あるテーブルが複数のテーブルに対して多対一で紐付くケースについて、ここではくじ引きとその景品を表現するためのDB設計を想定します。 箱の中のくじそれぞれに景品が設定されており、景品には旅行券や果物など、様々な種類のものがあります。 こういった仕様の設計手法にはいくつか種類がありますが、今回は「ポリモーフィック関連」、「交差テーブルを用いた設計」、「親
[MySQL] ERROR 1227 (42000) at line 18: Access denied; you need (at least one of) the SUPER privilege(s) for this operation - Qiita
このエラーが起きた背景 MySQLサーバー上に複数のdatabaseが存在し、そのうちの一つのdatabaseがうっかりdropされてしまった。Staging環境だったのでデータについては神経質にならずに一日前に取得していたmysqldumpから復旧しようとしたが、なぜか取得したmysqldumpを流そうとしたら表題のエラーが生じた。 流そうとしたmysqldumpの取得はdatabase別に行われていた。そのため、消えたdatabaseにだけ、dumpファイルからimportを行おうとした。 mysqlのユーザーは、普段このdatabaseの読み書きを行うアプリケーションで使用しているユーザーを使用した。 ちなみに、エラーが出たときには気づいていなかったが、mysqldumpを取得した時には下記の警告メッセージが出ていた。 Warning: A partial dump from a s
![[MySQL] ERROR 1227 (42000) at line 18: Access denied; you need (at least one of) the SUPER privilege(s) for this operation - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0f15cdbbac2f7408c34e33f2ca1ce7f81d1aaa0c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTXlTUUwlNUQlMjBFUlJPUiUyMDEyMjclMjAlMjg0MjAwMCUyOSUyMGF0JTIwbGluZSUyMDE4JTNBJTIwQWNjZXNzJTIwZGVuaWVkJTNCJTIweW91JTIwbmVlZCUyMCUyOGF0JTIwbGVhc3QlMjBvbmUlMjBvZiUyOSUyMHRoZSUyMFNVUEVSJTIwcHJpdmlsZWdlJUUyJTgwJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yZGViZWQ5Mzk1NWMzNzFjOTc2YjdiOTE5YWM2MjEwYQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqZXN1c19pc2FvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yZjVmNzZmYjIzN2JkOGZkZWE4NTc5ZDI4ZDk0YTY4NQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D90176d7451efacc9b9ef9d0cf3c61d70)
ProxySQL入門、ProxySQLでDBサーバーの負荷分散とAuroraの高速フェイルオーバーに対応してみる - アクトインディ開発者ブログ
こんにちは、キエンです。 最近、DBサーバーの負荷分散とAuroraの高速フェイルオーバーの対策を調査した時、ProxySQLを検証しましたので、ご紹介します。 ProxySQLとは? ProxySQLはMySQLおよびfork（Percona ServerやMariaDBなど）用の高性能で高可用性のプロトコル対応プロキシです。ライセンスはGPLv3となっています。以下の主な特徴はあります。 クエリーキャッシュ クエリールーティング フェイルオーバーサポート ファイアーウォール ProxySQLの公開サイト ホームページ GitHub ウィキ ProxySQLの構成 ProxySQLの構成は複雑ですが、以下のニーズを満たすため使いやすい構成システムがあります。 設定を簡単に動的更新を許可する ゼロダウンタイムプロビジョニングが必要な大規模なインフラストラクチャでProxySQLを使用できる
Oracle recently made their quarterly releases with MySQL 8.0.35 and MySQL 8.2. This blog post is a quick look at the release notes to see what these new versions bring to the community. You’ll want to keep an eye on the deprecations in particular because some long-accepted behavior, including wildcards, will change eventually. We get 83 and 50 bug fixes, respectively. We also get 17 and 33 depreca
2024年5月22日紙版発売 2024年5月22日電子版発売 yoku0825，北川健太郎，tom__bo，坂井恵 著 B5変形判／232ページ 定価3,080円（本体2,800円＋税10%） ISBN 978-4-297-14184-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle honto この本の概要 「サーバー故障やヒューマンエラーに備えるには？」 「アクセス数の増加時にパフォーマンスを保つには？」 「異常検知をして復旧するには？」 運用・管理における長く役立つ視点を，実践経験豊富なエンジニアがどのように動いているのかをふまえて解説。 本書では，MySQLサーバーの稼働状況の確認方法といった基礎知識を始め，アカウントの権限の評価順序や認証プラグインなど，運用管理者として
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
We are creating our own Kubernetes operator for clustering MySQL instances for the following reasons: Firstly, our application requires strict-compatibility to the traditional MySQL. Although recent MySQL provides an advanced clustering solution called group replication that is based on Paxos, we cannot use it because of various limitations from group replication. Secondly, we want to have a Kuber
GitHub - cybozu-go/moco: MySQL operator on Kubernetes using GTID-based semi-synchronous replication.
MOCO is a MySQL operator on Kubernetes. Its primary function is to manage MySQL clusters using GTID-based semi-synchronous replication. It does not manage group replication clusters. MOCO is designed to have the following properties. Compatibility with the standard MySQL This is the reason that MOCO does not adopt group replication that has a number of limitations. Safety MOCO only allows writes t
MySQL :: The MySQL 8.0.17 Maintenance Release is Generally Available
The MySQL Development team is very happy to announce that MySQL 8.0.17 is now available for download at dev.mysql.com. In addition to bug fixes there are a few new features added in this release. Please download 8.0.17 from dev.mysql.com or from the MySQL Yum, APT, or SUSE repositories. The source code is available at GitHub. You can find the full list of changes and bug fixes in the 8.0.17 Rel
AWS RDSにmysqldump: Couldn't execute 'FLUSH TABLES WITH READ LOCK': Access denied for userが出て接続できなくなった - mattintosh note
mysqldump のバージョンを上げたせいか AWS RDS で運用してるデータベースのダンプを取ろうとすると下記のメッセージが出てダンプが取れなくなった。尚、mysql コマンドでは接続できる。 mysqldump: Couldn't execute 'FLUSH TABLES WITH READ LOCK': Access denied for user 'admin'@'%' (using password: YES) (1045) 使用中のバージョンはこれ。 mysqldump Ver 8.0.32 for macos11.7 on x86_64 (Homebrew) 前々から MySQL 8.x 系のクライアントから 5.7 系とかのダンプを取るには --skip-column-statistics と --single-transaction を付けていて問題なかったけど最近
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL 用 Amazon RDS による高いレプリカラグのトラブルを解決します
Amazon Aurora MySQL3におけるバイナリログの最適化 | Amazon Web Services
第109回 主キーを必須にさせる | gihyo.jp
RDS から mysqldump するときのお作法 - AR ホームベーカリー
MySQL | DB容量、テーブル容量の確認方法 - わくわくBank
第102回 連載100回記念第2弾「OSSデータベースは100ヶ月後も生き残れるか？」、MySQL 8.3.0のリリース、PostgreSQL最新情報 | gihyo.jp
ajitofm 48: MySQL 8.0、エスパー力、SQL脳、グループレプリケーション
第127回 CLONEプラグインを導入しよう | gihyo.jp
【MySQL】トランザクションの実行時間を調査する - stmn tech blog
第89回 MySQL ＆ PostgreSQLの2022年の主なニュース | gihyo.jp
MySQL徹底入門 第4版の執筆に参加しました
Quick Peek: MySQL 8.2 and 8.0.35
MySQL運用・管理［実践］入門 〜安全かつ高速にデータを扱う内部構造・動作原理を学ぶ
moco/docs/design.md at main · cybozu-go/moco