[B! MySQL] azyobuzinのブックマーク

InnoDBのMVCCのガベージコレクションについて - shallowな暮らし

こんにちは、shallow1729:detailです。今回は先日MyNA会というイベントで発表したMySQLの標準のストレージエンジンであるInnoDBのMVCCのガベージコレクションについて書こうと思います。発表自体もアーカイブされているので以下から見る事ができます。「日本 MySQLユーザ会会(MyNA会) 2021年07月 -下位レイヤ勉強会-」公開版 - YouTube まず前半ではMVCCに関連するデータ構造を見ながらガベージコレクションの重要性やlong-running transactionの問題点について解説します。後半では実際のガベージコレクション(purge)の処理をソースコードレベルで追いながら、ユーザーに提供されているパラメーターを解説をします。これまでに比べると踏み込んだ話題なのであまり基礎的な事は解説しません。知らない単語が多いかもしれないですが、適宜調べな

azyobuzin 2021/12/19

MySQL

リンク

MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。今回問題となったクエリ今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー

azyobuzin 2021/12/19

MySQL

リンク

datetime型のカラムから日付データを引っ張ってくる際の高速化 - 適当な日々

フリーランスでwebの仕事をしながらwebサービスとかを作ったり作らなかったり、成長と挫折の記録・・・かもしれないちょっとMySQLのチューニングをしたらすごく早くなったので、メモメモ。 datetime型のカラムから日付のみをwhere訳にデータを引っ張ってくることはよくあります。で、レコードが数万行になってくるとけっこう遅くなったりする。そしてカラムにインデックスを張っても全然速度があがらなかったりします。これはクエリーがインデックスを使用していないからなんですね。苦しまぎれにdate型のカラムを作って日付だけを入れるという手法もありますが、ちょっとスマートじゃないです。 datetime型を維持したままで高速化できます。例えばこういうクエリー [sql ruler="true" lang_name="true"] select * from it em wher

azyobuzin 2012/12/15

リンク

第5回　位置情報を保存しよう（前編）：位置情報サービスのはじめ方｜gihyo.jp … 技術評論社

今回から2回に分けて、位置情報をDatastoreに格納する方法をいくつか紹介します[1]⁠。数値型で保存する緯度経度の情報をデータベースへ格納するときに、もっとも簡単な方法が数値型として保存する方法です。緯度経度がとりうる値の範囲は、以下の通りですので、システムに必要な小数点以下の数字を考慮して型を決めましょう。はてなフォトライフでは、写真に緯度経度のメタ情報を設定することができますが、高精度な緯度経度情報は必要ないので、型を以下のように指定しています。 latitude decimal(7,4) longitude decimal(7,4) decimal(7,4)という指定は、10進数で7桁のデータで、小数点以下は4桁まで格納するというものです。あるオブジェクトの緯度経度を保存し、表示するだけならこれだけで十分ですが、位置情報を中心に扱うサービスになると、格納したデータを緯度

azyobuzin 2012/12/14

リンク

MySQLdb SQL文のエスケープ - 今川館

MySQL dbでcursor.executeをしたときに%sの可変部分をどう処理しているのか調べた。どうも、connection.literalというメソッドがあるようだ。 [MySQL-python-1.2.3c1/MySQL db/cursors.py] def execute(self, query, args=None): ''' 中略 ''' if args is not None: query = query % db.literal(args) try: r = self._query(query) 赤字部分のとおり、SQL文の文字列を%している。 # -*- coding: utf-8 -*- import MySQL db from MySQL db.cursors import DictCursor def get_connection(connect_info): '''

azyobuzin 2012/11/02

リンク

大人のためのInnoDBテーブルとの正しい付き合い方。

InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。 ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE TABLEは不要である。なぜなら、InnoDBが自発的に統計情報を更新するからだ。InnoDBは以下の条件に適合すると、ANALYZE T