MySQL 8.0アップグレード後に性能劣化したクエリ: セミジョイン編 - inSmartBank
データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.smartbank.co.jp ソフトウェアバージョンアップをするとき、旧バージョンが抱えていた問題の解決などの恩恵を我々は期待します。しかし時には予期せぬデグレーションに遭遇することもあります。我々のMySQL 8.0へのアップグレード前後においてもいくつかの問題に遭遇しました。 本記事ではそんな問題の一つ、MySQL 8.0のオプティマイザが選択したセミジョイン最適化が性能劣化を引き起こした事例と解決方法について紹介し
utf8mb4のCOLLATEの違いについて - らぼるてっく。
はじめに こんにちは、新卒2年目のバックエンドエンジニアの伊藤です。 みなさんは、テーブル作成の際にCOLLATEを意識していますか？ 文字の比較を行う際に文字コードと共に利用される要素のことをCOLLATEと呼び、 CHARSET毎に、デフォルトで設定されているため、意識しない人もいると思います。 ただ、このCOLLATEの設定を間違えると、欲しいデータを得られなかったり、意図しないデータを取得してしまいます。 本記事ではutf8mb4のCOLLATEについて、説明していきます。 なぜ、utf8mb4なのかについてはこちらの記事を読んでください。 utf8mb4のCOLLATEについては下記のコマンドで参照することができます。 -- MySQL version8.1.0 SHOW COLLATION WHERE Charset = 'utf8mb4'; 今回は89種類もあるので、結果につ
MySQL 8.0 でも utf8mb4_general_ci を使い続けたい僕らは - mita2 database life
このエントリーは MySQL Advent Calendar 2020 の 12/7 のエントリーです。 照合順序（COLLATION）とは 照合順序は文字列の比較やソート順のルールのことです。各キャラクタセットごとに照合順序が定義されています。 -- SHOW COLLATIONS で一覧が見れる mysql> SHOW COLLATIONS; +----------------------------+----------+-----+---------+----------+---------+---------------+ | Collation | Charset | Id | Default | Compiled | Sortlen | Pad_attribute | +----------------------------+----------+-----+-------
[Rails] has_oneで最新のレコードを取得できるようにしてeager_loadしたい
1:N な関係でN個の中で最新のレコードだけ欲しい、っていうケースで has_manyなrelationのfirstを取得していくとN+1になりまくってつらいので has_oneで取得できるようにしてeager_loadする方法を調査したメモ 環境 OS: Ubuntu 20.04 Ruby: 3.0.2 Rails: 6.1.4.1 RDB: Postgres 13 薄いプロジェクトを作る FROM ruby:3.0.2-alpine3.12 as ruby ## Development FROM ruby AS dev ENV BUNDLE_FORCE_RUBY_PLATFORM=1 \ CFLAGS="-Wno-cast-function-type" RUN apk update \ && apk add --no-cache \ gcc \ g++ \ libc-dev \ lin
![[Rails] has_oneで最新のレコードを取得できるようにしてeager_loadしたい](https://cdn-ak-scissors.b.st-hatena.com/image/square/490a4820e6c0faad8162df2733a0d7fc773fd9dc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--SHTYOo35--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BRails%25255D%252520has_one%2525E3%252581%2525A7%2525E6%25259C%252580%2525E6%252596%2525B0%2525E3%252581%2525AE%2525E3%252583%2525AC%2525E3%252582%2525B3%2525E3%252583%2525BC%2525E3%252583%252589%2525E3%252582%252592%2525E5%25258F%252596%2525E5%2525BE%252597%2525E3%252581%2525A7%2525E3%252581%25258D%2525E3%252582%25258B%2525E3%252582%252588%2525E3%252581%252586%2525E3%252581%2525AB%2525E3%252581%252597%2525E3%252581%2525A6eager_load%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%252584%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ayagince%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2dlSHBvV3FEWmVSamhpUnlUQm4wMnk0MkxwMUdCa0pNMEtHdW5SMnc9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
MySQLでIn句に大量の要素を渡すとまずい理由
概要 MySQLでIN句を使用する時はIN句に渡す要素数に注意する必要があるとよく先輩エンジニアの方から聞いていたのですが、実際に大量の要素を渡すと何がまずいのかはっきり分かっていなかったので調べてみました。 この記事で伝えたいこと MySQLでIn句に大量の要素を渡すとまずい理由 まずい状況を回避するために気をつけるべきポイント 先に結論 MySQLでIN句に大量の要素を渡すとインデックスを貼っていたカラムだとしてもフルスキャンが発生しスロークエリになる可能性があります。 フルスキャンが発生してしまう条件はテーブルに設定してあるインデックスの内容とrange_optimizer_max_mem_size の設定値に依存しており、MySQL8でデフォルトの設定値 & シンプルなテーブルであってもおおよそ数万件の要素数をIN句に渡すとフルスキャンが発生する可能性があると考えられます。 検証環
MySQL :: MySQL 8.0 リファレンスマニュアル :: 2.11.4 MySQL 8.0 での変更
MySQL 8.0 にアップグレードする前に、このセクションで説明されている変更を確認して、現在の MySQL インストールおよびアプリケーションに適用される変更を特定します。 推奨されるアクションを実行します。 互換性のない変更としてマークされた変更は、以前のバージョンの MySQL との互換性がないため、アップグレード前に注意する必要がある場合があります。 弊社の目的はそれらの変更を避けることですが、各リリースの間の非適合性よりもさらに深刻な問題を修正するために必要である場合もあります。 インストールに適用可能なアップグレードの問題に互換性がない場合は、説明に示されている手順に従ってください。 MySQL Server 8.0 には、トランザクションテーブルのデータベースオブジェクトに関する情報を含むグローバルデータディクショナリが組み込まれています。 以前の MySQL シリーズでは
Aurora MySQL 2 の EOS に備えて DB のバージョンアップテストを行う - Qiita
こんにちは。 本投稿では、Aurora MySQL 2 の EOS と Aurora MySQL 3 へのバージョンアップについての情報を提供するとともに、SQL テストツールを使って、バージョンアップテストを効率化する方法を紹介します。 はじめに いよいよ Amazon Aurora MySQL 2 の EOS ( end of support、サポート終了 ) が2024年10月にやってきます！※余談ですが、EOL ( end of life ) と言う場合もあります。 移行 ( バージョンアップ ) の準備は進んでいますか？ また、Aurora MySQL 同様、現在 Amazon RDS for MySQL 5.7 を利用している場合も、同様の、2023年10月にEOSを迎えます。RDS for MySQL 8 へバージョンアップされる方もいられると思いますし、これを機に Auro
MySQL 8.0.15 の前後で変わった文字列と DATE 型の比較について - それが僕には楽しかったんです。
はじめに 前提条件 謎現象を再現する 8.0.15 以下 8.0.16 以上 原理 文献 おわりに はじめに そういえば、最近この手の記事を書いてないし何ならインプットもしてない事を思い出し、今日雑にテストしてたらたまたまハマった面白い挙動があったのでまとめる。 久々に MySQL と格闘した。 前提条件 こんなテーブルを作っておく。 create table hoge(t DATE); insert into hoge(t) values("2020-01-01"); mysql> desc hoge; +-------+------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-------+------+------+-----+---------+-------+
Aurora MySQL 2から3へのバージョンアップで挙動が変わるSQL(2) - Qiita
こんにちは。 本投稿では、Aurora MySQL 2 の EOS 対策として Aurora MySQL 3 へのバージョンアップ(MySQL 5.7からMySQL 8へのバージョンアップ)を検証した際に、Aurora MySQL 2で実行できていたSQLが3で実行できなくなるという情報をいただいたので、実際にそのSQLをSQLテストツール(Insight Database Testing)を使って確認してみた例を紹介します。 はじめに Auoroa MySQL 2から3 (MySQL 5.7から8) へのバージョンアップを考えた際、以下の変更点などのMySQLのドキュメントを参照することの多いのではないでしょうか？ ここに書いてある変更がどんなものか、自分たちのサービスやアプリケーションで使用していないか、それらを探すのは骨の折れる作業だと思います。また、ここに書かれている内容以外にも何
MySQL8でOut of sort memoryが発生するようになった
MySQL8.0.21から8.0.25にアップグレードした後、次のような単純なクエリを発行したらERROR 1038 (HY001): Out of sort memory, consider increasing server sort buffer sizeが発生するようになった。 create table hoge_table( id varchar(32) ascii not null, data json not null, c1 varchar(256) as (json_unquote(data->'$.c1')) stored, c2 varchar(256) as (json_unquote(data->'$.c2')) stored, c3 varchar(256) as (json_unquote(data->'$.c3')) stored, .... 20カラムくら
INSERT...SELETC でauto_increment値が飛ぶ話 - amamanamam
環境 CREATE TABLE `t2` ( `id` int NOT NULL, `id2` int NOT NULL AUTO_INCREMENT, PRIMARY KEY (`id`), KEY `id2` (`id2`) ) mysql> select version(); +--------------+ | version() | +--------------+ | 8.0.28-debug | +--------------+ 1 row in set (0.00 sec) mysql> select @@auto_increment_increment; +----------------------------+ | @@auto_increment_increment | +----------------------------+ | 1 | +----------
MySQL公式のDockerリポジトリがcontainer-registry.oracle.comに引っ越していた
この記事は MySQLのカレンダー | Advent Calendar 2023 の10日目の記事です。昨日は meijik さんの 最新のSQL標準(SQL:2023)とFirebird/MySQL/PostgreSQL | キムラデービーブログ でした。 TL;DRdockerhub のMySQLイメージはもうメンテナンスしていないっぽい ややこしいのだけれど、 docker pull mysql で取得するのは「Docker社がビルドしたMySQLイメージ」で、 docker pull mysql/mysql-server で取得するのが「Oracle社がビルドしたMySQLイメージ」だった引っ越したのは後者のみMySQL Server Community Edition - Repository Detail 5.7は5.7.16と5.7.33だけ、8.0は8.0.22とそれ以降し
【Docker】Mysql が立ち上がらない（ユーザ設定エラー）
Mysql が立ち上がらない（パスワード設定エラー）Docker で Mysql が立ち上がらなかったのでメモ。 現象Docker で Mysql のコンテナ立ち上げ時にうまく立ち上がらなかったので docker-compose logs でログを確認 同じようなログ2種類を確認しました。 [ERROR] [Entrypoint]: MYSQL_USER="root", MYSQL_USER and MYSQL_PASSWORD are for configuring a regular user and cannot be used for the root user Remove MYSQL_USER="root" and use one of the following to control the root user password: - MYSQL_ROOT_PASSWORD
MySQL/MariaDBでINTO OUTFILEで/tmpにファイル出力で ERROR 1086 (HY000): File already exists エラー
MySQL/MariaDBでINTO OUTFILEで/tmpにファイル出力で ERROR 1086 (HY000): File already exists エラー 検索： Javascript掲示板 PHPサンプルコード PHP掲示板 MariaDB(Mysql)サンプル Webで3Dコンテンツ Q&A集 Delphiサンプルコード Delphi掲示板 初めてのAndroid Studio 初めてのFlutter+Dart プロフィール サイトマップ ホーム Q&A集 Linux～設定 MySQL/MariaDBでINTO OUTFILEで/tmpにファイル出力で ERROR 1086 (HY000): File already exists エラー 「MySQL/MariaDBでINTO OUTFILEで/tmpにファイル出力で ERROR 1086 (HY000): File al
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
SchemaSpyでデータベースのドキュメントを生成してみた | DevelopersIO
こんにちは。プロダクトグループの坂井です。 システムは１度作成して終わりではなく、日々機能改善、仕様変更を繰り返して変化していきます。 ドキュメントをメンテナンスする時間がなかった、忘れていた・・・など色々と理由はあると思いますが、実装とドキュメントの整合性を保つのは大変なことだと思っています。 こういったメンテナンスが少しでも楽になりそうなSchemaSpyを利用して、既存の実装からどれくらいのレベルのドキュメントが生成できるかを試してみました。 SchemaSpyとは？ 既存のデータベースからデータベースのドキュメントをHTMLで出力するJava製のツールとなります。 SchemaSpy また、弊社ブログでも紹介させていただきました。 Apache AirflowのER図をSchemaSpyで自動生成するようにしてみた ｜ DevelopersIO 環境 macOS Mojave 10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL8.0でSELECT COUNT(*)が低速になる動作は8.0.37で解消されていた！ - CyberAgent SRG #ca_srg
Always bigint id changes operations after upgrading from MySQL 5.7 to MySQL 8.0 · Issue #455 · ridgepole/ridgepole
Amazon Aurora MySQL バージョン 3 のデータベースエンジンの更新 - Amazon Aurora
Docker mysql:5.7 の etc-mysql.cnf へ default-time-zone を指定したらエラーが発生 - Qiita
