SQLアンチパターンを根本から理解する：実務で遭遇した“DBが泣く”5つのNGクエリと改善策 - Qiita
本番環境でデータ量が増えた瞬間、アプリケーションが突然重くなる すべてのエンジニアが一度は直面するこの悪夢。その原因の多くは “気づかぬうちにDBを苦しめているSQL” です。 この記事では、実務で特に被害が大きかった 5つの致命的なSQLアンチパターン と、追加で バッチ処理の最適化（バルクINSERT）、EXISTS vs IN の違い を取り上げ、 なぜ遅くなるのか（原理） どう直すべきか（改善策） どんな落とし穴があるか（トレードオフ） 実務チェックリスト を、技術書レベルでわかりやすく整理します。 目次 インデックスを殺す「関数・演算子」利用 アプリ性能を破壊する「N+1問題」 隠れたパフォーマンスキラー「SELECT *」 前方一致以外の LIKE 検索 バッチ処理最適化：バルクINSERT EXISTS vs IN の違い 補足：EXPLAINを使った実践的な確認フロー 現場
MySQLでDBとテーブルのサイズを確認するSQL - Qiita
SELECT table_schema, sum(data_length) /1024/1024 AS mb FROM information_schema.tables GROUP BY table_schema ORDER BY sum(data_length+index_length) DESC; SELECT table_name, engine, table_rows AS tbl_rows, avg_row_length AS rlen, floor((data_length+index_length)/1024/1024) AS allmb, #総容量 floor((data_length)/1024/1024) AS dmb, #データ容量 floor((index_length)/1024/1024) AS imb #インデックス容量 FROM information_s
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ
DBeaver Community | Free Open-Source Database Management Tool
Basic support for relational databases: MySQL, SQL Server, PostgreSQL and others State of the art Data Editor Powerful SQL Editor Database schema editor DDL view and edit Spatial data viewer Basic AI assistant for SQL generation Basic AI engines (OpenAI, GitHub Copilot) Basic ER Diagrams Basic charts Data export/import in multiple formats Task management Database maintenance tools SSH and proxy Ba
SQLで効率のよい書き方を研究
こんばんは。 笹亀です。 弊社では、MySQLを使用しているシステムが多くあります。 みなさんも、MySQLは頻繁に使用しているのではないでしょうか。 私が特にMySQLなどのRDBMS（Relational Database Management System）を使用するときに気をつけていることが、SQLを記述するということです。 私は「どのようにSQLを発行すればよいか」という点を気にしながら、コーディングをすることが多いです。 自分が経験したことで、SQLの書き方ひとつでも大きな問題になったこともあり、 SQLの書き方には知恵を絞って、いかに効率がよいSQLを記述するかということを心がけるようになりました。 今回はSQLの結果では同じ結果を返す、3種類の結合の速度を比べてみました。 今回はサンプルテーブルとして、下記の２つのテーブルを使用します mysql> desc user_m;
MySQLのUNIONの便利な使い道 - Qiita
INSERT INTO news VALUES ('政治ニュース1', 'seiji', '2012-01-21'), ('政治ニュース2', 'seiji', '2012-01-22'), ('政治ニュース3', 'seiji', '2012-01-23'), ('経済ニュース1', 'keizai', '2012-01-21'), ('経済ニュース2', 'keizai', '2012-01-22'), ('経済ニュース3', 'keizai', '2012-01-23'), ('エンタメニュース1', 'entame', '2012-01-21'), ('エンタメニュース2', 'entame', '2012-01-22'), ('エンタメニュース3', 'entame', '2012-01-23'), ('コラム1', 'koramu', '2012-01-23'), ('コラム2
Pythonで色々なデータベースを操作する - Qiita
# -*- coding: cp932 -*- # mysqlの操作サンプル # easy_install mysql-connector-python import mysql.connector try: cnn = mysql.connector.connect(host='localhost', port=3306, db='Sample001', user='root', passwd='root', charset="cp932") cur = cnn.cursor() #試験データの整理 pref_cd = 100 cur.execute("""DELETE FROM t01prefecture WHERE PREF_CD >= %s""" , (pref_cd,)) cnn.commit() print("単純なSELECT文========================
mysqldump オプションについて - メモがわり
mysqldump 5.0.45 大量のデータをダンプし、復元しようとすると以下の例外が発生。 ERROR 2013 (HT000) at line xxx: Lost connection to MySQL server during query ダンプファイルのエラー行数をみてみると長いSQL文が生成されていた。 [オプション] http://dev.mysql.com/doc/refman/4.1/ja/mysqldump.html この中のオプションで、 e, --extended-insert というオプションがあり、これがデフォルトで使用されているよう・・・ これは、「さらにコンパクトで速い挿入ステートメントを提供」ということらしいが これを解除して復元出来るようになった。 mysqldump --opt --extended-insert=false -uroot -p da
Cloud9でMySQLを使う - Qiita
Cloud9でDB接続するやり方を毎回ggってるのでメモ。 Terminal側での処理 まずは起動 $ mysql-ctl start mysql> の入力画面にする $ mysql-ctl cli 新規DBや新規テーブルの作成はTerminalから直接SQL叩けばOK ※phpMyadminもインストールできる $ phpmyadmin-ctl install Setting Up PHPMyAdmin ちなみにphpMyadminのURIは https://[workspace名]-[UserName].c9users.io/phpmyadmin/index.php PHP側からDBを使う $servername = getenv('IP'); $username = getenv('C9_USER'); $password = ""; $database = "使用するDB名"; $
MySQLパフォーマンスチューニングのためのクエリの基礎知識 - 久保清隆のブログ
前回書いたMySQLパフォーマンスチューニングのためのインデックスの基礎知識に引き続き、MySQLのパフォーマンスチューニングについて学んだことをまとめ。 MySQLを使っていると、クエリが遅い理由をつきとめる必要が出てくる。 どうやって遅いクエリをつきとめ、改善すればよいかについて学んだのでまとめた。 下記のような基礎知識があればパフォーマンスチューニングをうまくやれる、と思う。 クエリ処理の基礎 MySQLがクエリを処理する手順 まずはMySQLがクエリを処理する手順を知っておく必要がある。 処理は以下のような流れで進む。 クエリキャッシュの中からクエリの結果を探す。見つかればそれを返す。 クエリを解析して構成要素に分解する。 クエリの構文が正しいことを確認 クエリについて基本情報を収集する。 クエリを基本的な要素に分解した後、何を実行すべきかを判断する。 クエリオプティマイザが動き始
T-SQL 日付をフォーマットされた文字列に変換する - SQL Server 入門
日付型のデータを SQL Server 側でフォーマットされた文字列に変換したい時ありますよね。 その度に、フォーマットする為の Date and Time の style、何番だったかな？と思ってしまうので、ここに私が良く使う、日付をフォーマットされた文字列に変換する方法を書いておこうと思います。 CONVERT を使って日付をフォーマットして文字列に変換する 一番良く使うのが CONVERT を使って、日付を文字列に変換する方法です。 シンタックスは CONVERT ( data_type [ ( length ) ] , expression, style) で、 expression に変換したい日付が、 style には番号が入ります。 私がよく使う、CONVERT を使った日付を文字列に変換するクエリーは以下の通りです。 DECLARE @Date DATETIME = GET
徳丸浩の日記 - そろそろSQLエスケープに関して一言いっとくか - SQLのエスケープ再考
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2007年11月26日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり 本稿ではSQLインジェクション対策として、SQLのエスケープ処理の方法について検討する。 最近SQLインジェクション攻撃が猛威を振るっていることもあり、SQLインジェクションに対する解説記事が増えてきたようだが、対策方法については十分に書かれていないように感じる。非常に稀なケースの対応が不十分だと言っているのではない。ごく基本的なことが十分書かれていないと思うのだ。 SQLインジェクション対策には二通りある。バインド機構を使うものと、SQLのエスケープによるものだ。このうち、SQLのエスケープについて、十分
これだけは覚えておきたい!!MySQL の６つの自動変換 - sakaikの日々雑感～(T)編
MySQLはとても気ぃつかい屋さんである。我々が投げる多少あいまいな指示も頑張って解釈し、なんとか文句を言わずに実行してみようと挑戦してみてくれる。 今日はそんなMySQLがケナゲに解釈してくれる自動変換について紹介しようと思う。この自動変換、ケナゲなMySQLの奥ゆかしさ故、出した指示と異なる動作をされたことに気がつかないことがある。ここで紹介する６つの自動変換をしっかり脳ミソにたたき込んでおけば、無用なトラブルにハマる時間も減るかもしれない。 １．[数値] 範囲外の数値は頭を押さえつけられる intやsmallint、bigintなどの数値型には、扱える範囲が決まっている。例えばint型なら最大21億ちょっとだ（unsignedの場合は43億弱）。これより大きい数字を登録するよう指示を出すとMySQLはどうするか。そう、頑張って入れられるところまで入れてくれるのである。「入れられるとこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【MySQL】 レコードが無い場合→INSERT、ある場合→UPDATEする「INSERT ... ON DUPLICATE KEY UPDATE 構文」を試してみる。 | バシャログ。
サービス終了のお知らせ
HammerDB — Open-Source Database Benchmark
よく使うmysqldumpのオプションと使用例 - Qiita
What's New in SQL2016 CTP2 Release - MSDN Blogs
