大きなテーブルのスキーマ変更を RDS Blue/Greenデプロイでダウンタイムなく実行 & マイグレーションとも辻褄を合わせる
はじめに 今回大きなテーブルのスキーマ変更のためにマイグレーションを実行したかったのですが、通常のデプロイフローでは対応できず試行錯誤しました。 最終的に、RDS Blue/Greenデプロイを活用しGreen環境でALTER TABLEすることでほぼダウンタイムなく対応できました。Railsのマイグレーションファイルの偽装方法も含め、道のりを記載します。 テーブルは2つあり、それぞれ 約2.5億レコードと約4000万レコード です。 show table status; +------------------------------+--------+---------+------------+-----------+ | Name | Engine | Version | Row_format | Rows | +------------------------------+----
AWS RDS/AuroraのDDL運用を最適化する | 外道父の匠
AWS re:Invent 2022 にて RDS の Blue/Green が発表されたことを受けて、この辺の具体的な運用をどのように改善できるのか考えていきます。 たいした内容ではないですが、丁寧に最適化して慣れれば、それなりに強い効果を発揮できそうな感じはあります。 ALTER TABLE の辛み まず復習からですが、RDS に Blue/Green が実装されるほど辛い運用はなんだったかというと、重い ALTER TABLE にあります。 ALTER には色々あるのでアレですが大雑把に言うと、容量や行数が大きいテーブルに対して実行すると、数時間単位～の処理時間がかかることが多く、しかもパッと見で進捗を把握できないという問題を抱えていました。それに対して色んな対策を取っていたと思います。例えば…… Handler_write SHOW GLOBAL STATUS LIKE ‘Hand
MySQL オンラインDDL(ロックなしによるサービス無停止でDDLを流す方法) パターン集 - Qiita
職場でオンラインDDLのパターンをより勉強したほうがよいと感じたのでインプットしたことをQiitaにアウトプットしてみた。 以下のリポジトリで実践も合わせて行った。 記事の中で出てくるコードなどはこちらで参照することが可能。 https://github.com/d0riven/learning_online_ddl_pattern 今回はMySQLというDBMSに限定してパターンを紹介しているが、他のDBMSでも使えるパターンはいくつかあるはずなのでPostgreSQLやOracleを利用している人が読んでもためになるとは思う。 想定読者 MySQLを普段から触っている人 可用性の高さを求められるサービスを運用・開発している人 古くからあるシステムのリファクタリングのためにデータベースの足回りから手をつけていきたい人 オンラインDDLのやり方を知らない人・知っていても色々なパターンがある
MySQLの超遅いSELECTが劇的に早くなった | X->A->O
CakePHPはよく触っていたものの、MySQLについてあまり知らなかったんですが、大規模なデータベースを扱ってみようと思い立ちいろいろ試行錯誤しています。 で、ついさっき感動したのが、40万件のレコードを扱ってるテーブルに簡単なSELECT分を投げて返ってくる時間がなんと5秒もかかっていて、なんじゃこりゃ？って首をかしげてたんですが、INDEXひとつで劇的に早くなったこと。 40万件が大規模かそうでないかはこの際おいておいて、INDEXのつけ方次第でこんなにも速度に変化があるのかと涙が出そうになった。 最初の激遅いテーブルは簡単に書くとこんな具合。 CREATE TABLE IF NOT EXISTS `shops` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(255) NOT NULL, `status
MySQL5.6にしたのに、Online DDLできない - Qiita
結論 Online DDLできない制約にひっかかってた InnoDB tables created before MySQL 5.6 do not support ALTER TABLE ... ALGORITHM=INPLACE for tables that include temporal columns (DATE, DATETIME or TIMESTAMP) and have not been rebuilt using ALTER TABLE ... ALGORITHM=COPY. In this case, an ALTER TABLE ... ALGORITHM=INPLACE operation returns the following error: ERROR 1846 (0A000): ALGORITHM=INPLACE is not supported. Rea
そのALTER TABLEがオンラインALTER TABLEかどうかを確かめる方法
同じ構造を持った空のテーブルを作ります mysql57> SHOW CREATE TABLE t1\G *************************** 1. row *************************** Table: t1 Create Table: CREATE TABLE `t1` ( `num` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `val` varchar(32) DEFAULT NULL, UNIQUE KEY `num` (`num`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 1 row in set (0.00 sec) mysql57> CREATE TEMPORARY TABLE tt1 LIKE t1; Query OK, 0 rows affecte
MySQLのスキーマ変更をオンラインでやるための選択肢比較 - Qiita
MySQLを使っていて、スキーマを変更したい場合はAlterTableを流す必要があります。 すでに稼動しているサービスのスキーマを変更する際に、可能な限り稼働中システムに影響を与えずにスキーマの変更を行いたいです。 理想はオンライン状態を保った状態でAlterTableが全て完了することで、これが実現できれば少なくともスキーマ変更に伴うメンテナンスのためのダウンタイムが発生しません。 これを実現するためには幾つか方法が存在し、制約もあるみたいなので調べてまとめてみました。 その前にAlterTableのこれまでの挙動を調べる オンラインでのスキーマ変更を調べる前に、まずはAlterTableのこれまでの挙動(MySQL5.1まで)について簡単にまとめてみます。これによってオンラインスキーマ変更のために何が問題になっているか？が理解できると思います。 MySQL5.1までのAlterTab
第30回 InnoDBオンラインDDLについて | gihyo.jp
LOCKとALGORITHM句を省略した操作は、先ほどのDDL操作のオンラインステータスのサマリーに基づき、以下の順序で評価され、使用可能なオプションで実行されます。 LOCKの場合 NONE → SHARED → EXCLUSIVEの順に評価されます。 ALGORITHM句の場合 INPLACE → COPYの順に評価されます。 ここで気をつけておきたいことは、たとえばカラムのデータ型を変更するなどのインプレース方式と並列DMLが許可されていない操作に対してオンラインDDLが有効だろうと思い込み、それらの句を省略して本番環境に対して実行したためにサービスを停止させてしまうなど、痛い目にあうことがあります。 対策として、期待している動作のALGORITHM=INPLACEとLOCK=NONEを記述するとエラーとなり実行されません。オンラインDDLが有効かどうか不安な場合は、明示的にLOCK
MySQLのALTER TABLEで、無停止でテーブル定義変更できるpt-online-schema-change
ただ書き込みの劣化はゆるやかで、リクエストが極端に遅延するような感じではありませんでした。 まさに無停止でのテーブル定義の変更に成功している形！ 1億レコードのテーブルで実行した場合 ちなみに、1億レコードある別のテーブルでも検証してみました。 Altered `mydatabase`.`_click_new` OK. 2016-03-11T15:05:07 Creating triggers... 2016-03-11T15:05:08 Created triggers OK. 2016-03-11T15:05:08 Copying approximately 11802820 rows... Copying `mydatabase`.`click`: 1% 31:14 remain # ... 定義の変更には30分くらいかかりましたが、こちらもリクエストには大きな影響を与えることなく完
MySQL 5.6 のオンラインDDLについて調べた - takatoshiono's blog
今更だけど MySQL 5.6 ではオンラインDDLの機能が追加されている。今日はこのオンラインDDLについて勉強したことを書いてみる。 MySQL のマニュアル MySQL :: MySQL 5.6 Reference Manual :: 14.11 InnoDB and Online DDL にいろいろ書いてある。いまから書くことはこのマニュアルから得た知識が元になっている。 DDL てなによ？ データではなく、テーブル自身を操作するためのSQL文のこと。CREATE, ALTER, DROP, TRUNCATEなど。オンラインDDLではCREATE INDEX, DROP INDEX, ALTER TABLEに適用される。 http://dev.mysql.com/doc/refman/5.6/en/glossary.html#glos_ddl 5.1 までの ALTER TABLE
InnoDBで行ロック/テーブルロックになる条件 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年11月22日16:29 MySQL InnoDBで行ロック/テーブルロックになる条件 MySQL にはよく使われるストレージエンジンとして MyISAM と InnoDB がありますが、違いの一つとしてロックの挙動が挙げられます。MyISAM はテーブルロック、InnoDB は行ロックが掛かるというのは有名な話じゃないかと。 ただ、最近知ったのですが、InnoDB だとしても必ずしも行ロックになるわけではなく、テーブルロックになる場合もあるようですね。。このことについて手元の MySQL 5.1.26RC で簡単ですが検証してみます。サンプルとして使うテーブルはこちら。 CREATE TABLE `lock_sample` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) NOT NULL, `c2` int(11) NOT
データベースが破損したら、イヤですよねと思って、そんなことが発生してしまった時の復旧手順を簡単にまとめてみた - 都内で働くSEの技術的なひとりごと / Technical soliloquy of System Engineer working in Tokyo
データベースが破損したら、どうしましょうか？ 開発エンジニアだとこのあたりは疎いですよね？なんとなく、怖くて、触れたくない所というか、なんというか。( そういう私もそんなエンジニアの一人ですwww ) いつもの AdventureWorks データベースを使用します。テーブルを破損させ、その後復旧処理を行うので、まずデータベースをバックアップしましょう。バックアップを取得したら、Undocumented Command である、DBCC WRITEPAGE で Person.AddressType テーブルを破損させます。まずは、テーブルのどの個所を破損させるか決定するために、下記のコマンドでテーブルのページ構造を参照してみましょう。( ここのページを参考にしました。 データベースの復旧モデルは完全にしておいてください。そうでないと、ページの復元ができません。) DBCC IND (N'A
EC-CUBEで会員登録画面を改造する方法【2.13系】 | 複数ネットショップの商品管理専門 簡単出品王子
会員登録を対会社(B2B)用にカスタマイズする方法 EC-CUBEは対カスタマー向けのソフトですので会員登録には「誕生日」などの個人用の項目があるので、EC-CUBEをB2B用の卸サイト化するには個人用の項目を削除した後に、業者用の項目を増やしてやる必要があります 増やしたい項目と減らしたい項目 増やしたい項目は以下のとおり 店舗名 店舗名フリガナ 会社名フリガナ 代表者名 代表者名(フリガナ) 担当者名 担当者名(フリガナ) ホームページURL 削除したい項目は以下のとおり お名前 お名前(フリガナ) 性別 職業 生年月日 1.データベースに項目を追加 「お名前」「お名前(フリガナ)」と「代表者名」「代表者名(フリガナ)」は同じなので元のDBをそのまま利用しましょう。 SQL文にて以下を追加、ポスグレでもMySQLでもいけるはず ALTER TABLE dtb_customer ADD
cloudpackブログ - EC-CUBE ログインする会員の所属店舗毎に表示テンプレートを切り替える
こんにちは。 職人見習いの高嶋です。 EC-Cubeのマルチテナント化のカスタマイズという過程で、EC-CUBE ホスト名毎に表示テンプレートを切り替える方法を 前回の記事で書きました。 今回はひとつのホスト名で扱う事を前提に、ログイン前は共通テンプレートで、ログイン後は各店舗用のテンプレートデザインで表示するという方法を書きたいと思います。 バージョンは2.11.x以降を対象とします。 店舗基本情報dtb_baseinfoというテーブルがあります。 このテーブルは本来単一テナント型の設計なので、プライマリーキーカラムのない1レコードのみが存在するテーブルです。 このテーブルをマルチテナント化する為に最低でも4つのカラムを追加します。 ALTER TABLE dtb_baseinfo ADD COLUMN shop_id INT UNSIGNED NOT NULL DEFAULT 0 PR
サービス稼働中にMySQLでALTER TABLEしたら Waiting for table metadata lock が溢れて死んだ - Qiita
ALTER TABLE実行する時は注意しましょう、、という事で。 ALTER TABLE ALTER TABLEすると以下のような挙動でカラム変更されるようです 他のセッションからのREADを許可し、WRITEをブロック 新しいtable定義の一時テーブルを作成 一時tableに元tableのデータをすべてコピー 一時tableを元table名にリネームして元tableを削除 ブロックされていたWRITE系クエリを反映 全コピしてるので、ALTER TABLEを実行する時にどでかいtableのサイズの場合は長い時間WRITEがブロックされるので注意が必要です。 ALTER TABLEを実行した環境 上記を踏まえた上で、以下のようなテーブルにALTER TABLEを実行してカラム追加する事にした レコード数はちょっとしかない READはものすごいくるけど、WRITEはない こんなテーブルだと
mysqldump と repair with keycache - いちいの日記
でかいテーブルをdumpしてimportしなおすときに、alter enable keysで "repair with keycache" に悩まされてたんですが、MySQL Forums見てたらそのものズバリなのを見つけたのでメモ。 http://forums.mysql.com/read.php?35,155467,166902 ご存知の方には当たりまえな感じですが、自分はそもそも repair by sorting と repair with keycache の2通りのメッセージが出し分けられていること自体に気づいてませんでした。 mysqldump mysqldumpをつかってデータベースを(そのままimportに使える)SQL文に吐き出します。 % mysqldump -uuser -ppass -hhost hoge > hoge.sql このときhoge.sqlの中身はこん
大きめのテーブルにカラムやインデックスを追加する際の注意 - LukeSilvia’s diary
先日大きめ(といっても500万行くらい)のテーブルにインデックス付きのカラムを追加しようとして痛い目にあったので調査。 大きめのテーブルにカラムやインデックスを追加するとどうなるか 今回は単純に、「ALTER TABLE 〜 」で追加しようとしました。追加するカラムは3つで、 varchar(255) インデックスなし varchar(255) ↓のdate 型カラムとマルチカラムインデックスの形式のユニークインデックスあり date インデックスあり SQL を実行し、状況を「SHOW PROCESSLIST」で監視していたら、1つ目のカラム追加で次のような状態に… 最初にState が「copy to tmp table」状態になり、次の状態に遷移するまで1時間かかる 次にState が「Repair with keycache」状態になり、完了までに1時間かかる 次のカラム追加に対す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gooサービス終了のお知らせ | dメニュー
20170329 D3 DBAが夜間メンテをしなくなった日 発表資料
http://t-wata.com/?p=221