SQLの達人への道: MySQLでの高速・効率的クエリ作成術 - Qiita
データベースとテーブルの作成 テスト用のデータベースtestdbを作成し、パフォーマンスチューニングを検証するためのcompanyおよびpersonテーブルを定義します。 CREATE DATABASE testdb; USE testdb; CREATE TABLE company ( company_id INT AUTO_INCREMENT PRIMARY KEY, company_name VARCHAR(255) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE person ( person_id INT AUTO_INCREMENT PRIMARY KEY, company_id INT, person_name VARCHAR(255) NOT NULL, email VARCH
MySQL 8.0 への移行が完了しました ～さようなら全ての MySQL 5.7～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームの飯塚です。 私たちは cybozu.com 本番環境の MySQL を昨年末から順次 8.0 系へアップグレードしており、前回の定期メンテナンスにおいて全てのインスタンスのアップグレードを完了しました。この記事では、私たちが MySQL 8.0 への移行に取り組んだ理由と必要になった対応について紹介します。 なぜ MySQL 8.0 へ移行したのか GTID-based レプリケーションにおける制限の緩和 再起動時に AUTO_INCREMENT のカウンタが巻き戻る問題の解消 実際に対応が必要だった MySQL 8.0 の変更点 utf8mb4 の照合順序のデフォルト値の変更 SQL_CALC_FOUND_ROWS と FOUND_ROWS() が deprecated に Connector/J のメタデータ取得処理の性能低下 sys.innodb_lo
All Aboutの基幹DBのMySQLバージョンを5.7から8.0に上げた話 - オールアバウトTech Blog
こんにちは。株式会社オールアバウト エンジニアの@hideです。 私たちのチームでは、2022年3〜6月にかけて、オールアバウトの基幹DB（All Aboutの記事やガイドの情報が格納してあるDB）のMySQLバージョンを5.7から8.0に上げる対応を実施しました。 当記事ではその際の移行手順や実際の作業を通して得た知見をまとめます。 これからシステムのMySQLバージョンを上げたいと思っている方の参考になれば幸いです。 環境情報 MySQLバージョンアップの動機について セキュリティ担保のため All Aboutのリアーキテクチャに向けた準備 移行作業の振り返りと得た学び 1. MySQL8の変更点を確認 2. 影響範囲の洗い出し 3. 各アプリのテストケースを作成 4. ステージング環境で動作テストを実施して問題点の洗い出し＋エラーの解消 MySQL8で削除されたSQLモードに起因する
MySQLでDBとテーブルのサイズを確認するSQL - Qiita
SELECT table_schema, sum(data_length) /1024/1024 AS mb FROM information_schema.tables GROUP BY table_schema ORDER BY sum(data_length+index_length) DESC; SELECT table_name, engine, table_rows AS tbl_rows, avg_row_length AS rlen, floor((data_length+index_length)/1024/1024) AS allmb, #総容量 floor((data_length)/1024/1024) AS dmb, #データ容量 floor((index_length)/1024/1024) AS imb #インデックス容量 FROM information_s
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
CakePHP 3のQueryBuilderの使い方をまとめてみた！ - Qiita
こんにちはPHP Matsuriでは色々とお世話になってる@kozoです。 この記事は2014年CakePHP Advent Calendarの11日目です CakePHP 3系からモデルは大きく変わり、戻り値が配列からオブジェクトになるとか、Modelが1ファイルだったものがTableとEntityに分かれるなど色々変わって非常に便利になってます！ 今回は大きく変わったもう1個のfind(SELECT句)のSQLの組み立て方法について調べてみました。 find QueryBuilderの開始地点になり、SELECT用のQueryオブジェクトが生成されます。 QueryオブジェクトをメソッドチェーンでつなげることでSQLを組み立てます。 // 基本的な使い方 $this->Users->find() ->where(条件A) ->where(条件B) ->order(ソート条件A) ->o
SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ
MySQL オンラインDDL(ロックなしによるサービス無停止でDDLを流す方法) パターン集 - Qiita
職場でオンラインDDLのパターンをより勉強したほうがよいと感じたのでインプットしたことをQiitaにアウトプットしてみた。 以下のリポジトリで実践も合わせて行った。 記事の中で出てくるコードなどはこちらで参照することが可能。 https://github.com/d0riven/learning_online_ddl_pattern 今回はMySQLというDBMSに限定してパターンを紹介しているが、他のDBMSでも使えるパターンはいくつかあるはずなのでPostgreSQLやOracleを利用している人が読んでもためになるとは思う。 想定読者 MySQLを普段から触っている人 可用性の高さを求められるサービスを運用・開発している人 古くからあるシステムのリファクタリングのためにデータベースの足回りから手をつけていきたい人 オンラインDDLのやり方を知らない人・知っていても色々なパターンがある
サービス稼働中のままSQL Serverの領域を拡張/縮小させる - Qiita
この記事はSilbird Advent Calendar 2017 8日目の記事となります。 弊社では、稼働中のサービスの永続化データ格納先としてAmazon RDS for SQL Serverを利用しています。 その中で経験したDB領域の拡張と縮小について、大きな2つのトラブル事例とその対応内容をご紹介しようと思います。 DB領域の拡張、縮小はサービスを一時的止める（メンテナンスに入れる）た状態でないとできないと思われがちですが、サービス稼働中のまま実行することができます。 [事例1] DB自動拡張中に応答停止 1つめはDBの自動拡張についてです。 DBの初期容量は、想定ユーザー数やアクセス数をもとにある程度余裕を持って見積もっていると思います。しかし、Webサービスの世界ではその見積もりどおりにユーザーが増えていくとは限りません。サービス運営者としては嬉しい悲鳴ですが、ユーザー数・滞
SQLServer: 現在実行中クエリのリアルタイムトラブルシューティング - Qiita
システムが突然遅くなる、特定の機能が突然遅くなった、いつまでたっても実行中のクエリが完了しない、などのトラブルの原因調査をリアルタイムで行うのに使えるクエリと、それらを組み合わせてトラブルシュートする一例を紹介します。 動的管理ビュー(DMV)を使用します。 1. 現在実行中のクエリ一覧を取得する SELECT TOP 100 der.session_id as spid ,der.blocking_session_id as blk_spid ,datediff(s, der.start_time, GETDATE()) as elapsed_sec ,DB_NAME(der.database_id) AS db_name ,des.host_name ,des.program_name ,der.status -- Status of the request. (background
【PHP】mysqliとプリペアドステートメントについて - Furudateのブログ
こんにちは。 今回はPHPについてです。 普段フレームワークで書くことが多いのでいざ平文でやろうとすると忘れていることが多いです。 今回はPHPからMySQLの使用についてです。 PHPを習い始めたころはmysql_connectとか使ってたんですが、現在では非推奨のようです。 MySQLへの接続は、mysqli、PDOのどちらかが推奨されています。 PDOがすごく良さげですが、今回は馴染みやすそうなmysqliについて書こうと思います。（PDOはいつかやってみたいですね） mysqliの基本的な使い方 mysqliではオブジェクト型と手続き型の書き方がありますが、この記事ではオブジェクト型で書きます。 手続き型にする意味がないと思うので。 以下はmysqliの基本的なコードになります。 <?php $mysqli = new mysqli("host", "user", "passwor
MySQL 5.7の透過的データ暗号化 - Qiita
MySQL 5.7.11で導入、5.7.12で一部改良された、透過的データ暗号化をテストしたときのメモです。 とある勉強会のLTでグダグダになったので、あらためて書き直して投稿しておきます。 ※内容は無保証です。 2019/04/30 追記： MySQL 8.0 については以下の記事をご覧ください。 MySQL 8.0.16 でテーブルスペース・REDO ログ／UNDO ログ・システムテーブル暗号化 透過的データ暗号化（TDE）とは アプリケーション（SQL）側で暗号化／復号処理をしなくても、DBのデータファイルが暗号化される機能です。 データファイルや物理メディア（HDDなど）の窃取・盗難対策に有効です。 一方で、アプリケーション側にSQLインジェクションなどの脆弱性がある場合には、何の保護にもなりません。 MySQL以外のRDBMSでは 商用のOracleなどでは、かなり前から使えるよ
ロック待ちでハマる前に知りたかったMySQL InnoDBの行ロックとテーブルロックの挙動
整合性をしっかりとらないといけない処理ではトランザクションをかけるのですが、どうもトランザクションのロック待ちでタイムアウトしてしまうことがあるようです。 java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction トランザクションでテーブル全体にロックがかかってしまう 要するに、「トランザクションを実行するためにロックを獲得しなければいけないが、他のコネクションがロックを握っていて、ロックが獲得できない」ということです。 これの根本的な原因は何かと調べますと、InnoDBでトランザクションを使用するときに、行ロックではなく、テーブル全体にロックがかかってしまう場合がある、というところにたどり着きました。 「InnoDBで行ロック/テーブルロックになる条件」を見ながら、少し試してみます。 テーブ
Pythonで色々なデータベースを操作する - Qiita
Pythonで主だったデータベースを操作する方法を記述する。 Pythonは2.xと3.x両方でWindows環境で実行している。 また、テストデータは下記のページのT01Prefecture.zipを解凍してテーブルとデータを使うものとする。 PHPプログラミング初心者入門講座 http://php5.seesaa.net/article/61269550.html MySQL 環境 Python2.7 または3.3 MySQL 5.6.15 データベースの設定 テーブル CREATE TABLE `t01prefecture` ( `PREF_CD` int(3) NOT NULL DEFAULT '0', `PREF_NAME` varchar(10) DEFAULT NULL, PRIMARY KEY (`PREF_CD`) ) ENGINE=InnoDB D DELIMITER
MySQLのAUTOCOMMIT（オートコミット）覚え書き – OpenGroove
MySQLの機能のひとつ、AUTOCOMMIT（オートコミット）が有効／無効でどのように挙動が変わるのか、今イチ理解できていない。やっぱり、一回書いておかないと。 前提として、トランザクションセーフであるInnoDBテーブルが対象であること（MySAMはトランザクションをサポートしていない）。なお、この記事内における「暗黙のうちに、暗黙的」という表現は「自動的に」と同義語と 捉えるものとする。（・・・と勝手に決めます） AUTOCOMMIT（オートコミット）有効／無効の違い AUTOCOMMIT（オートコミット）を有効にするか無効にするかにより、トランザクションの開始／終了の方法が変化する。 オートコミットを有効にした場合（デフォルトで有効） この場合のトランザクションは単一のSQL文実行時に暗黙のうちに、またはSTART TRANSACTION文によって明示的に開始される。 この中でST
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RDS から mysqldump するときのお作法 - AR ホームベーカリー
サービス終了のお知らせ
MySQLはインデックスされた文字列型カラムに数値型カラムをインデックスを使って結合できない - Qiita
mysqldumpの使い方 オプション編
