最近のMySQLのconsistent read vs DDL事情について調べてみた
こんにちは。SWEの中村（@mnmandahalf）です。 最近サービス稼働中にDDLを適用するタイミングで初遭遇したMySQLのエラーについて皆様にご紹介したいと思います。 エラーの内容と発生条件（概要） ① トランザクション分離レベル transaction-isolation が REPEATABLE-READ である ② セッションAのトランザクション内でテーブルt1をメタデータロックしないテーブルt2へのSQLを実行 ③ セッションBがテーブルt1に対して特定のDDLを実行 ④ セッションAがテーブルt1を参照すると ERROR 1412 (HY000): Table definition has changed, please retry transaction というエラーが発生し、セッションAのトランザクションがロールバックする ※なお、テーブルt2がテーブルt1への外部キ
今日は、気になってのでMySQLのメタデータロック(MDL)を調べてみたの日。 - 今日はなにの日。
目次 目次 とある日 メタデータロック(MDL)とは？ メタデータとは 普通のロックとの違い メタデータロックしてみる トランザクション開始 metadata_locksテーブル確認 別トランザクションからDDL実行 lock_wait_timeout修正 再度別トランザクションからDDL実行 〆 参考記事 とある日 メタデータロック(MDL)という言葉を見つけました。 気になったので調べた記録です。 メタデータロック(MDL)とは？ 別のトランザクションによって同時に使用されているテーブルでの DDL 操作を防止するタイプのロック。 詳細は、セクション8.11.4「メタデータのロック」を参照してください。 オンライン操作への拡張機能は (特に MySQL 5.6 以降)、メタデータロックの量を減らすことに注力しています。 その目標は、ほかのトランザクションによってテーブルに照会や更新など
RDS for MySQL のマイナーバージョンの自動アップグレード - Amazon Relational Database Service
AWS Management Consoleの場合、これらの設定はAAdditional configuration (追加設定) の下にあります。下図は、Auto minor version upgrade (自動マイナーバージョンアップグレード) 設定を示しています。 これらの設定の詳細については、「DB インスタンスの設定」をご参照ください。 一部の AWS リージョン の RDS for MySQL メジャーバージョンでは、RDS によって 1 つのマイナーバージョンが自動アップグレードバージョンとして指定されます。Amazon RDS でマイナーバージョンのテストと承認が完了すると、メンテナンスウィンドウの間にマイナーバージョンアップグレードが自動的に行われます。RDS では、新しくリリースされたマイナーバージョンが自動アップグレードバージョンとして自動的に設定されることはありま
履歴テーブルから最新の1件を取ってくる方法 - そーだいなるらくがき帳
例えば次のようなテーブルがあったとする。 -- PostgreSQL CREATE TABLE history ( id SERIAL PRIMARY KEY, user_id INTEGER NOT NULL, data TEXT, created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ); -- MySQL CREATE TABLE history ( id INT AUTO_INCREMENT PRIMARY KEY, user_id INT NOT NULL, data TEXT, created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ); INSERT INTO history (user_id, data, created_at) VALUES (1, 'First
MySQL をアップグレードした後日、時間差で発生した Rails アプリの不具合とは？ - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2024 DAY 21 の記事です。 転職会議の池田です。MySQL を 8.0.19 以上のバージョンにアップグレードした際に時間差で発生した Rails アプリケーションの不具合とその対応について書きます。 TL;DR なにがおきたか MySQL 8.0.19 と ActiveRecord の Boolean キャスト 実際に問題となるタイミング どのように対応したか 再発防止のために おわりに TL;DR MySQL 8.0.19 から 整数型の表示幅が表示されなくなることで、 ActiveRecord が tinyint(1) のカラムに対して行っている Boolean キャストが行われなくなる 整数型の表示幅は MySQL をアップグレードしただけでは表示されたままで、ALTER TABLE を実行したタイミングで表示さ
医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
今日は、論理削除のフラグ列にはなんの型の日。 - 今日はなにの日。
目次 目次 とある日 環境 検証内容 いざ検証 DATA テーブル構造 データ生成 NULLデータ生成 INDEX作成 INDEX検索 検索速度 否定検索 否定検索速度 検索結果 CHAR テーブル構造 データ生成 INDEX作成 INDEX検索 検索速度 FALSE検索 否定検索 FALSE検索速度 否定検索速度 検索結果 BOOLEAN テーブル構造 データ生成 INDEX作成 INDEX検索 検索速度 FALSE検索 否定検索 FALSE検索速度 否定検索速度 検索結果 検証結果 DATA型 CHAR型 BOOLEAN型 まとめ 〆 とある日 mita2db.hateblo.jp この記事を見てて。 論理削除に使用するフラグ列deleted_atの型をTIMESTAMP型で定義してた。 そしてis NULLで判定していた。 論理削除をそうやって使用するんだと関心を持った。 論理削除を
ORDER BY を指定しない時 ／ SELECT結果表示並び順 の法則性
SQLの仕様上SELECTで取得できる列の並びが保証されているのはORDER BYが指定されている場合のみです。指定されていない場合の挙動は仕様には定義されていないので、実装依存となります。 そこで実装側を考えると、一定の並びを保証するということはその通りに並び替えるコストが生じることになりますので、ORDER BYを指定しないというのは利用者からすれば余計な処理はするなという意思表示でもあります。従って多くの実装ではORDER BYが指定されない場合は特別に並び替えをしません。 したがって、 指定しない場合は、どういう基準で、並び順を決定しているのでしょうか？ という疑問への答えは、「並び順を決定していない」となります。 実際に列の順番がどうなるかはストレージ上の並びかもしれませんしインデックス順かもしれません。実行計画によっても変わるでしょうからエンジンのバージョンにって変わるのも当然
「開発者向けの MySQL 入門」という勉強会をしました - しなしな記録
今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します（同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります）。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています（それはそう）。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを
bundle install fails with Gem::Ext::BuildError · Issue #1175 · brianmario/mysql2
Installing mysql2 0.5.3 with native extensions Gem::Ext::BuildError: ERROR: Failed to build gem native extension. current directory: /Users/myname/.rbenv/versions/3.0.0/lib/ruby/gems/3.0.0/gems/mysql2-0.5.3/ext/mysql2 /Users/myname/.rbenv/versions/3.0.0/bin/ruby -I /Users/myname/.rbenv/versions/3.0.0/lib/ruby/3.0.0 -r ./siteconf20210305-36402-x7wk07.rb extconf.rb checking for rb_absint_size()... y
Checking Aurora MySQL version numbers - Amazon Aurora
Although Aurora MySQL-Compatible Edition is compatible with the MySQL database engines, Aurora MySQL includes features and bug fixes that are specific to particular Aurora MySQL versions. Application developers can check the Aurora MySQL version in their applications by using SQL. Database administrators can check and specify Aurora MySQL versions when creating or upgrading Aurora MySQL DB cluster
MySQLの複合UNIQUEインデックスと文字列型のはなし - 十番目のムーサ
Firebird 徹底入門 作者: 木村明治,はやしつとむ,坂井恵出版社/メーカー: 翔泳社発売日: 2009/12/10メディア: 大型本 クリック: 19回この商品を含むブログ (11件) を見るこの本の著者の木村さんのブログを読んでいて気になった記事のメモ。 Firebird SQLの人だそうだが、MｙSQLや他のデータベースにも詳しく、ブログで様々なデータベースの話が取り上げられている。 MySQLの複合UNIQUE制約をNULLはすり抜けるが空文字列はすり抜けない キムラデービーブログ MySQLでの一意インデックス(Unique index)の実装について つまり、Firebird(Oracle, PostgreSQL)からMySQLに移行する場合、 エラーとしてはじかれていた(1,null)がはじかれなくなります。 逆に、MySQLからFirebird(Oracle, Pos
検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者
データベースの文字数制限が191文字になっている理由とは？
世の中のデータベースを見ていると、格納するデータの文字数に「191文字以内」という制限が課されている場合があります。一体なぜ191文字という中途半端な数字で制限が行われるのかについて、オープンソースのデータ同期ツールを展開するGrouparooのCTOを務めるエヴァン・ターラーさんが解説しています。 Grouparoo Blog: Why do database columns have a character length of 191? https://www.grouparoo.com/blog/varchar-191 ターラーさんはまず、現代のデータベースシステムでは無制限に文字を格納する設定も可能だとした上で、文字数の制限で検索速度が向上すると説明しています。例えば、メールアドレスの行が「[email protected]」となっているユーザーを見つけたい場合、なんの工夫も無い状
MySQLのDockerイメージがARM64にいつの間にか対応していた
今まで つい最近までは，MySQLの公式DockerイメージはプラットフォームがAMD64のみで，ARM64には対応していませんでした。 そのため，普通にイメージをpullしようとしても，ARM64版のイメージが存在しないよ！とエラーが出てきていました。実際，そのような記事がたくさん…！ ゆえに，MySQLの公式イメージをM1 macで使用したい時は，例えばこちらの記事などのように， のようにしてplatformを明記する（これによりRosetta2を介して起動していたのかな？）か，mysql serverなどの他のイメージを使用する必要がありました。 最近になって… 個人的に，最近コミュニティメンバーとISUCONに参戦したのもあって，DBにPostgreSQLではなくチューニングに慣れたMySQLを使ってみたいなと思ってふと調べてみたら，MySQLの公式イメージがARM64に対応してい
docker-composeでDBの起動完了を待ってからWebアプリを実行する - Qiita
はじめに docker-composeで複数のコンテナを管理するとき、ほぼWebアプリとDBを一緒に使います。 大抵はWebアプリ側にdepends_onでDBのコンテナを指定して起動順序を制御しますが、あくまで起動順序だけなのでDBの起動完了前にWebアプリがDBにアクセスしてしまい起動失敗する事があります。 せっかくdocker-composeで1つにまとめて管理しているのに便利さが半減してしまうとモヤモヤしていたら、公式ではWebアプリ側でチェックせよと解説していました。 depends_on/condition 2021/07/21追記 depends_onで指定したサービスのhealthcheckが通ってから起動できるconditionが追加されました。これを使えばチェック用スクリプトを使わずにすみます。詳しくはDocker Compose の depends_on の使い方まと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発者向け MySQL 入門 / MySQL 101 for Developers
What's New at AWS - Cloud Innovation & News
https://twitter.com/atsuizo/status/1680380366031560704