All Aboutの基幹DBのMySQLバージョンを5.7から8.0に上げた話 - オールアバウトTech Blog
こんにちは。株式会社オールアバウト エンジニアの@hideです。 私たちのチームでは、2022年3〜6月にかけて、オールアバウトの基幹DB（All Aboutの記事やガイドの情報が格納してあるDB）のMySQLバージョンを5.7から8.0に上げる対応を実施しました。 当記事ではその際の移行手順や実際の作業を通して得た知見をまとめます。 これからシステムのMySQLバージョンを上げたいと思っている方の参考になれば幸いです。 環境情報 MySQLバージョンアップの動機について セキュリティ担保のため All Aboutのリアーキテクチャに向けた準備 移行作業の振り返りと得た学び 1. MySQL8の変更点を確認 2. 影響範囲の洗い出し 3. 各アプリのテストケースを作成 4. ステージング環境で動作テストを実施して問題点の洗い出し＋エラーの解消 MySQL8で削除されたSQLモードに起因する
【SQL server】デッドロックの調査方法 - 小物SEのメモ帳
デッドロック発生に際し、分析時の確認の仕方について紹介します。 エラーログやSQL Plofilerなどで調査可能ですが、個人的には拡張イベントがお勧めです。デフォルト設定であれば、拡張イベントの「system_health」でデッドロック情報は取得しているので、事後で確認する際に便利です。 拡張イベントで採取されたデータはデフォルトであれば以下のようにログファイル格納先と同様の場所にありますので、ダブルクリックして開きます。 尚、ファイル形式での拡張イベント「system_health」は、5MB：4世代しかデフォルトで残らないため、事後で確認可能とはいえデッドロック発生後は速やかに本ファイルを退避しておく方がよいでしょう。 上部のメニューで「フィルター」を選択し、以下のようにフィルタします。 フィールド 演算子 値 name = xml_deadlock_report 表示されたイベン
MySQLでバルクアップデートを実現するには その1 - Qiita
更新のお知らせ 「その2」ができました。 「その1」を読んでいただいたあとに、こちらもご覧ください。 https://zenn.dev/maxima/articles/a23a9eda0cd3ae はじめに Hamee Advent Calendar 1日目ということで、実用的なSQL、バルクアップデートをご紹介したいと思います！ バルクアップデートとは、1文のSQLで複数のレコードを一気に更新してしまうUPDATE文のことです。 バルクインサートはよく聞くけど、バルクアップデートは出来ないのかと疑問に思ったことはないですか？ (バルクインサートについてそもそもご存じない方はこちらの記事がシンプルで分かりやすいかと思います) 結論から言いますと、バルクアップデートは可能です。しかし、バルクインサートほど気の利いた構文があるわけではありません。 これから何種類かご紹介しますが、ここに書かれて
サービス稼働中のままSQL Serverの領域を拡張/縮小させる - Qiita
この記事はSilbird Advent Calendar 2017 8日目の記事となります。 弊社では、稼働中のサービスの永続化データ格納先としてAmazon RDS for SQL Serverを利用しています。 その中で経験したDB領域の拡張と縮小について、大きな2つのトラブル事例とその対応内容をご紹介しようと思います。 DB領域の拡張、縮小はサービスを一時的止める（メンテナンスに入れる）た状態でないとできないと思われがちですが、サービス稼働中のまま実行することができます。 [事例1] DB自動拡張中に応答停止 1つめはDBの自動拡張についてです。 DBの初期容量は、想定ユーザー数やアクセス数をもとにある程度余裕を持って見積もっていると思います。しかし、Webサービスの世界ではその見積もりどおりにユーザーが増えていくとは限りません。サービス運営者としては嬉しい悲鳴ですが、ユーザー数・滞
SQLで効率のよい書き方を研究
こんばんは。 笹亀です。 弊社では、MySQLを使用しているシステムが多くあります。 みなさんも、MySQLは頻繁に使用しているのではないでしょうか。 私が特にMySQLなどのRDBMS（Relational Database Management System）を使用するときに気をつけていることが、SQLを記述するということです。 私は「どのようにSQLを発行すればよいか」という点を気にしながら、コーディングをすることが多いです。 自分が経験したことで、SQLの書き方ひとつでも大きな問題になったこともあり、 SQLの書き方には知恵を絞って、いかに効率がよいSQLを記述するかということを心がけるようになりました。 今回はSQLの結果では同じ結果を返す、3種類の結合の速度を比べてみました。 今回はサンプルテーブルとして、下記の２つのテーブルを使用します mysql> desc user_m;
MySQLのIndexをはるコツ - Qiita
Indexを作成すべき列の特長 1. テーブル内のデータ量が多く、少量のレコードを検索する場合 2. WHERE句の条件、結合の条件、ORDER BY句の条件として頻繁に利用する ただし全表走査が目的のテーブルであれば索引は不要 3. NULL値が多いデータから、NULL値以外の検索をする IndexはNULLを含まないのでNULL値以外の検索には効果がある 逆に、Indexを作成すべきでない列の特徴 表の規模が小さいか、表から大部分のレコードを検索する場合 WHERE句等の条件としてあまり仕様されないもの 列の値が頻繁に挿入、更新、削除される Indexは表に新規行が挿入されればIndexにも自動的に値が格納される。そのためデータの検索速度は向上するが挿入、更新、削除の処理では索引のメンテナンス作業が発生し、速度低下につながる WHERE句の条件として使用されるが、列が式の一部として参照
MySQL 5.7の透過的データ暗号化 - Qiita
MySQL 5.7.11で導入、5.7.12で一部改良された、透過的データ暗号化をテストしたときのメモです。 とある勉強会のLTでグダグダになったので、あらためて書き直して投稿しておきます。 ※内容は無保証です。 2019/04/30 追記： MySQL 8.0 については以下の記事をご覧ください。 MySQL 8.0.16 でテーブルスペース・REDO ログ／UNDO ログ・システムテーブル暗号化 透過的データ暗号化（TDE）とは アプリケーション（SQL）側で暗号化／復号処理をしなくても、DBのデータファイルが暗号化される機能です。 データファイルや物理メディア（HDDなど）の窃取・盗難対策に有効です。 一方で、アプリケーション側にSQLインジェクションなどの脆弱性がある場合には、何の保護にもなりません。 MySQL以外のRDBMSでは 商用のOracleなどでは、かなり前から使えるよ
[MySQL] INSERTしたデータのIDを取得したい
結構需要があると思うんですが、MySQLでINSERTした時、挿入されたデータのID(Auto IncrementなPrimary Key)が取りたいことってよくあると思います。INSERTが1つだけならLAST_INSERT_ID()を用いて取得することができるのですが、バルクインサート(1つのクエリで複数のデータを挿入)では取得出来ません。今回はそれを取得するための方法をまとめたいと思います。MySQLのバージョンは5.1なので、それ以降のMySQLでは苦労しなくてもうまくいくかもしれません。 問題となるのはどこか おおまかに以下の様なことをやりたいわけです。 バルクインサートしたデータのIDを取得したい(AI+PK) ON DUPLICATE KEY UPDATEで変更されたデータのIDも取得したい こんな感じです。まず1つめの条件を外して、単一のINSERT ... ON DUPL
Pythonで色々なデータベースを操作する - Qiita
# -*- coding: cp932 -*- # mysqlの操作サンプル #easy_install mysql-connector-python import mysql.connector try: cnn = mysql.connector.connect(host='localhost', port=3306, db='Sample001', user='root', passwd='root', charset="cp932") cur = cnn.cursor() #試験データの整理 pref_cd = 100 cur.execute("""DELETE FROM t01prefecture WHERE PREF_CD >= %s""" , (pref_cd,)) cnn.commit() print("単純なSELECT文=========================
MySQL 5.6 のオンラインDDLについて調べた - takatoshiono's blog
今更だけど MySQL 5.6 ではオンラインDDLの機能が追加されている。今日はこのオンラインDDLについて勉強したことを書いてみる。 MySQL のマニュアル MySQL :: MySQL 5.6 Reference Manual :: 14.11 InnoDB and Online DDL にいろいろ書いてある。いまから書くことはこのマニュアルから得た知識が元になっている。 DDL てなによ？ データではなく、テーブル自身を操作するためのSQL文のこと。CREATE, ALTER, DROP, TRUNCATEなど。オンラインDDLではCREATE INDEX, DROP INDEX, ALTER TABLEに適用される。 http://dev.mysql.com/doc/refman/5.6/en/glossary.html#glos_ddl 5.1 までの ALTER TABLE
データベースが破損したら、イヤですよねと思って、そんなことが発生してしまった時の復旧手順を簡単にまとめてみた - 都内で働くSEの技術的なひとりごと / Technical soliloquy of System Engineer working in Tokyo
データベースが破損したら、どうしましょうか？ 開発エンジニアだとこのあたりは疎いですよね？なんとなく、怖くて、触れたくない所というか、なんというか。( そういう私もそんなエンジニアの一人ですwww ) いつもの AdventureWorks データベースを使用します。テーブルを破損させ、その後復旧処理を行うので、まずデータベースをバックアップしましょう。バックアップを取得したら、Undocumented Command である、DBCC WRITEPAGE で Person.AddressType テーブルを破損させます。まずは、テーブルのどの個所を破損させるか決定するために、下記のコマンドでテーブルのページ構造を参照してみましょう。( ここのページを参考にしました。 データベースの復旧モデルは完全にしておいてください。そうでないと、ページの復元ができません。) DBCC IND (N'A
テーブル最適化(や大量のDELETE)をほぼ無停止で行う | Gumu-Lab.
MySQLだとDELETEがとても重いです。10000件程度なら余裕ですが、100000件、1000000件にもなると手のつけようがないレベルです。その間MyISAMだとテーブルロックがかかるし、DELETEしすぎると今度は断片化してOPTIMIZE TABLEでもしないと速度低下が始まります。 OPTIMIZE TABLEやALTER TABLEはものすごく時間がかかることがあるんですよね。今回DELETEしようとしたテーブルはWebでの表示に必須の部分でして、どうせならWebをできるだけ落とさずにやってみるかという挑戦でした。 今回DELETEするのは27000000件くらいです。無理です。 処理を一度にできないと踏んだので、DELETEを増加量より多いLIMITで走らせればだんだんと減っていくのではないかと考え、実行。 ごり押しでLIMIT指定で絞ったDELETEを走らせた結果900
mysqlslapで手軽にテストデータを用意する | Urban Theory
久しぶりの投稿第1段は、負荷エミュレーションツールのmysqlslapを使って手軽にテスト用データを作成するという内容です(MySQL5.5以降に付属のmysqlslapが必要)。 実行方法とパラメータの意味 例：約10万件のデータを作成 mysqlslap -u mysqlslap -p --create-schema=mysqlslap -a --no-drop \ --auto-generate-sql-add-autoincrement --auto-generate-sql-load-type=write \ --number-int-cols=2 --number-char-cols=2 \ --auto-generate-sql-secondary-indexes=3 \ --auto-generate-sql-execute-number=1000 --auto-gener
IDの設計についてのさらに突っ込んだ議論
今日も前回に引き続きデータベース設計の話をする。今回の話で一旦データベース設計については筆を置くつもり（ブログ書いてないで原稿書けよ＞俺）であるが、その前に話をすっきりさせて置きたいと思う。最後を飾るテーマはIDの設計である。 数字しかないのに意味を含んだID前回のエントリを見ていただいた方から、次のような構造を持った学籍番号があるというフィードバックを頂いた。 全部数値で"入学年度下2桁"+"学科コード"+"学科内のあいうえお順の順位" このようなルールで割り当てた学籍番号を、単なる数値として扱うのであれば大きな問題はない。これは数値しか含まれていないので、SQLのデータ型としては単に数値型を使えば良いだろう。だが、学籍番号から入学年度を判断する、あるいは学科を判断するといった用途で使われるのであればやはり適切ではないといえる。リレーショナルモデルの観点だけからではなく、IDとして適切で
MySQLでトランザクションの4つの分離レベルを試す - FAT47の底辺インフラ議事録
トランザクションとは 1つの作業単位として扱われるSQLクエリの集まりです。 複数のUPDATEやINSERTをひとつの集まりとして、 それらのクエリがすべて適用できた場合のみデータベースに反映します。 ひとつでも適用に失敗したクエリがあった場合は、そのまとまりすべてのクエリの結果は反映しません。 ACID特性 トランザクション処理に求められる4つの特性です。 原子性 (Atomicity) トランザクションに含まれる手順が「すべて実行されるか」「すべてされないか」のどちらかになる性質。 一貫性 (Consistency) どんな状況でもトランザクション前後でデータの整合性が矛盾なく保たれる性質。 分離性 (Isolation) トランザクション実行中は、処理途中のデータは外部から隠蔽されて他の処理に影響を与えない性質。 永続性 (Durability) トランザクションが完了したら、シス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLで簡単にランダムなテストデータを作成する方法 - Qiita