【RailsサービスのMySQL5.7 -> 8移行: 前編】MySQLのcollation周りの話 - hacomono TECH BLOG
この記事は、hacomono Advent Calender 2023の20日目の記事です。 はじめに こんにちは、プラットフォームチーム所属のまこたすです。 この記事は主にMySQL5.7,MySQL8.0のcollation周りの挙動の違いについて書いています。AWS RDS MySQL5.7がEOLを迎える今、一番話したい内容はRails x MySQL5.7環境からRails x MySQL8.0環境へ移行する際にハマった話とそこからみる気をつけるべき観点という話題ではあるのですが、前提の話が長いので記事を２つに分けてお伝えします。今回はRailsの話は触れず、MySQLのcollation周りの話のみをします。 この記事で書くこと MySQL5.7, MySQL8.0でのサーバー, データベース, テーブルのcollationの決まり方とSHOW CREATE (TABLE|DA
rails mysql5.7から8.0アップグレード時の注意点📝
railsが参照しているrdsをmysql5.7から8.0にアップグレードした時の注意点メモ utf8mb4を指定した場合は以下のパラメーターグループをutf8mb4にする必要がある character_set_database データベースの文字セットを定義します。文字セットは、文字を数値で表現する方法を定義するデータエンコーディングの一種です。 この設定は、新しく作成されるテーブルとそのカラムに使用されるデフォルトの文字セットを指定します。特定のテーブルやカラムに対して異なる文字セットを設定することも可能ですが、character_set_databaseはデフォルトの設定で、特定でない指定がない場合はこれが適用されます。 character_set_client ユーザーからのSQLステートメントがエンコードされている方法を定義します。クライアントからデータベースサーバーに送信される
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上のMySQL 5.7を、GitHub.comのサービスレベルを維持したまま1年以上かけてMySQL 8.0にアップグレードしたことをブログで明らかにしました。 Up
Railsを使っていて「Lost connection to MySQL server during query」に遭遇したら - Hello, world! - s21g
記事の引越しから漏れていたのでサルベージ。 Ruby on Railsを使ってある程度大きめのアプリケーションを作るようになると、ごく稀に「Lost connection to MySQL server during query」というエラーが発生するようになる事があります。 この問題については、yuguiさんの記事 「Lost connection to MySQL server during query」 に詳しいです。 結局のところ、はっきりとした解決策も見つからず、ごく稀なので放置気味になっていたのですが、先日解決策を見つけたので改めて紹介します。 解決策： mysql_retry_lost_connectionというrubygemを使うことで、コネクションのLostが発生した場合に、自動的に再接続を試みるようにActiveRecordの挙動を修正することが出来ます。 詳細はこのG
Rails 6.0でDeprecatedになるActive Recordの振る舞い3つ - かみぽわーる
Deprecatedにした経緯というか背景が伝わってるのかどうかアレだと思ったので、ここに日本語にて書き記しておく。 Deprecate mismatched collation comparison for uniquness validator by kamipo · Pull Request #35350 · rails/rails · GitHub Active Recordのuniqueness validatorはデフォルトでcase sensitiveな比較をするんですが、これが、文字列のデフォルトのcollationがcase insensitiveなMySQLと相性が悪く、DB上のUNIQUE制約と一致しない振る舞いだったりINDEXが効率よく使えずDBが死ぬみたいな問題を引き起こしていました。 例: 本当にあったRailsの怖い話 僕も主に仕事のコードレビューで過去に何
Mysql2 の "MySQL client is not connected" について
Rails アプリケーションのドメインロジックを共有するためにバッチでも Rails を使っているケースはあるかと思います。 先日、長時間稼働しているバッチで MySQL サーバの再起動後に MySQL client is not connected が起きたんですが、数年 Rails を使っていて初めて遭遇したエラーだったので、次の 2 点について調べてみました。 このエラーにはどう対処すべきなのか？ バッチ特有の問題なのか？ そもそも MySQL client is not connected とは？ Mysql2 のこの辺で定義されているエラーです。 定義を見る限り、client が初期化されているにも関わらず、network socket (file descriptor) が無効な状態だとこのエラーになるみたいですね。 network socket が無効な状態になるケースですが
mysql user minimum required privileges for rails - $ man jerome_
if your application uses root as your database username; you’re doing it wrong. a good practice is you should have two users for your application. let say i have a database called blog_production, i will have two users in my database: blog and blog_admin. the former will be use for regular stuff, and the latter for database administration. each db user have diffrent set of privileges. blog user pr
Group records by both month and year in Rails
I'm on Ruby 1.9.2, Rails 3.0.x and I use MySQL DB. I have a Messages Model, where one can post new messages every day. I have an index action where I want to display these messages grouped by both month and year. This basically is used to filter messages. My query looks like this:- @active_msgs = Messages.where('expiry > ?', Time.now).order('created_at DESC') I used the group_by function in Rails,
Safer Rails database migrations with Soundcloud's Large Hadron Migrator
Safer Rails database migrations with Soundcloud's Large Hadron Migrator … and check why 5600+ Rails engineers read also this Safer Rails database migrations with Soundcloud’s Large Hadron Migrator When I first started using Rails years ago I fell in love with the concept of database migrations. Perhaps because at the time I was working on commercial projects in C# which lacked this and I could fee
DockerでRails + MySQLの開発環境を構築
Docker で MySQL を使った Ruby on Rails の開発環境を構築してみたので、その作業メモです。Docker for Mac のおかげで、Docker がかなり使いやすくなっていました。 — 環境 — Docker version 1.12.0 Ruby 2.3.1 Rails 5.0.0.1 Mac OS X El Capitan Docker for Mac をインストール まずは、以下の Getting Started に沿って Docker をインストールします。 Getting Started Docker でよく使うコマンド等に慣れておくと進めやすいかと。よく使うコマンドについては、以前に書いた Docker 入門記事もご参考下さい。 Docker入門、VM上でLinuxコンテナ立ち上げ〜基本操作まで | EasyRamble Docker の Rails
Rails(ActiveRecord)とMySQLでutf8mb4を扱う設定 - Qiita
ActiveRecordからutf8mb4を扱えない主な理由 ActiveRecordのstring型カラムがvarchar(255)で定義されるので、utf8mb4ではインデックスのキープレフィックスが767byteを超えてしまう。 ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes この問題をMySQLの設定とRailsへのパッチで解決する。 MySQLの設定 文字コードをutf8mb4で運用するために、インデックスのキープレフィックスを拡張する。 innodb_large_prefixをenableにする 1を有効にするために、innodb_file_formatをBarracudaにする 1を有効にするために、innodb_file_per_tableをenableにする innod
Rails - MySQL互換でマルチマスタ同期レプリケーションが可能なPercona XtraDB Clusterで手軽に冗長構成RDBを構築 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに みなさんMySQLを使うとき、冗長化はどうしてますか？ Master-Slaveのレプリケーションを頑張って組むか、RDSみたいなフルマネージドサービスを使うか、選択肢は色々あります。 この記事ではシンプルな構成で簡単にMySQL互換の冗長化クラスタを構築する方法を紹介します。 Master-Slaveのように複雑でなく明瞭簡潔なので、構築・運用も楽になります。 コストや自由度の面からRDSはちょっと、という人にもいいかもしれません。 細かくいうと、全ノード書き込み可能なマルチマスタで、同期的にレプリケーションを行うRDBクラ
ActiveRecordのコネクションプーリングをやめてみる - kaeruspoon
関連 : RailsでMysqlスレーブ群をロードバランサ経由で使用できる、FreshConnectionを作り始めました RailsのActiveRecordは、DBとのコネクションがプールされます。 アクセスごとにコネクションをはりなおすよりは、オーバーヘッドがない分、理にかなっているようにも思えます。 ただ、比較的大きめなサイトになってくると、はりっぱなしのコネクションが多くなりすぎちゃって大変なことになってきます(1サーバ1万コネクションとかなりかねない)。リソースは食うし、たくさんのスレーブを抱えているときにActsAsReadonlyableなどでちまちまやっていたらとても運用できません。スレーブなんてLVS+keepalivedでバランシングしちゃいたいところ。でもコネクションがはりっぱなしだとそれもできないのです。 というわけで他に誰か同じ問題に取りかかっている人はいないの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Railsで外部キー制約の参照制約の書き方 - Qiita
Rails 5.2 supports descending indexes for MySQL
超初心者がDocker for MacでRuby + Rails + Mysqlの開発環境を構築 - Qiita
Active Record Issues
Should handle the database native out of range error rather than `ensure_in_range` by kamipo · Pull Request #25230 · rails/rails
Add bigint primary key support for MySQL. by kamipo · Pull Request #18220 · rails/rails
Rails マイグレーションのフィールド定義データ型と MySQL・Ruby との対応表
