MySQLのロックに起因するブロックタイムアウト撃退記 - inSmartBank
こんにちは。スマートバンクのサーバーサイドエンジニアをやっておりますid:moznionです。 すっかり秋めいてきましたね。秋といえばMySQL*1、ということで今回は先日解消した「MySQLのロックに起因するブロックタイムアウト」のトラブルシューティングついて記していきたいと思います。 事の発端 ある時を境にSentryに ActiveRecord::LockWaitTimeout というエラーがしばしば報告されるようになっていました。 SentryにActiveRecord::LockWaitTimeoutが上がってきている様子 Mysql2::Error::TimeoutError: Lock wait timeout exceeded という文言から、MySQL上でロックを取っている他のクエリにブロックされ、そのブロックが長時間に渡ったため自クエリがタイムアウトしてabortしてし
MySQLのファイルフォーマットをAntelopeからBarracudaに変更する
InnoDBとは MySQLのデータベースエンジンの一つ。他のデータベースエンジンにはMyISAMがある。MyISAMのロックがテーブル単位なのに対して、InnoDBのロックはレコード単位。レコードの操作を行う際にテーブル全体をロックするとテーブルの他のレコードも変更できなくなるが、行単位のロックであれば同時に複数のレコードを変更できるため、効率が良い。他にもトランザクションにも違いがあるようなので、別途まとめる。 InnoDBのファイルフォーマット AntelopeとBarracudaがある。デフォルトはAntelopeだが、推奨はBarracudaとなっている。 何も考えずにデータベースを作成するとファイルフォーマットはAntelopeになってしまう。4バイト文字をデータベースに保存しようとしてエンコーディングをutf8mb4にすると、Index column size too lar
MySQL | 文字列関数(置換, 長さ, 切り出し, 結合)の使い方 - わくわくBank
MySQLで利用できる文字列関数について確認します。「文字数の取得」「文字列の結合」「文字列の取得」など利用例を交えて解説します。 mysql> SELECT CHAR_LENGTH('abcde'), CHAR_LENGTH('あいうえお'); +----------------------+--------------------------------+ | CHAR_LENGTH('abcde') | CHAR_LENGTH('あいうえお') | +----------------------+--------------------------------+ | 5 | 5 | +----------------------+--------------------------------+
SQL の実行結果などをファイルに出力する - MySQL 逆引きリファレンス
notee /* 以下でも良い */ \t 出力先のファイルパスは絶対パスでも相対パスでも構いません。ファイル名だけを指定した場合は、mysql へ接続したフォルダ（ディレクトリ）にファイルが生成されます。また、存在するファイルを指定した場合は、上書きではなく新しい出力内容をもとのファイルの最後に追加していきます。 mysql> SELECT COUNT(*); +----------+ | COUNT(*) | +----------+ | 1 | +----------+ 1 row in set (0.00 sec) mysql> tee output.txt ← ここから出力開始。これ以前は記録されない。 Logging to file 'output.txt' mysql> SELECT RAND(); +-------------------+ | RAND() | +----
DB インスタンスのエンジンバージョンのアップグレード - Amazon Relational Database Service
Amazon RDS では、サポート対象の各データベースエンジンの新しいバージョンを提供しているため、DB インスタンスを最新の状態に維持することができます。新しいバージョンには、データベースエンジンのバグ修正、セキュリティの強化、およびその他の改善が含まれます。Amazon RDS がデータベースエンジンの新しいバージョンをサポートすると、DB インスタンスをアップグレードする方法とタイミングを選択できます。 アップグレードには、メジャーバージョンのアップグレードとマイナーバージョンのアップグレードの 2 種類があります。一般的に、メジャーエンジンバージョンのアップグレードは、既存のアプリケーションと互換性のない変更を導入する場合があります。それに対して、マイナーバージョンのアップグレードには、既存のアプリケーションとの下位互換性がある変更のみが含まれます。 マルチ AZ DB クラスタ
MySQLのN-gramを使った全文検索について調べてみました | Simple is Beautiful.
今回MySQL5.7.22を用いて検証しています。 初期設定 データベース作成 mysql> CREATE DATABASE fts; Query OK, 1 row affected (0.00 sec) mysql> use fts; Database changed テーブル作成 テーブル作成時に全文検索をするカラムの型をFULLTEXTにし、パーサーにngramを指定します。 mysql> CREATE TABLE documents (id SERIAL PRIMARY KEY, content VARCHAR(255), FULLTEXT(content) WITH PARSER ngram) CHARACTER SET utf8; Query OK, 0 rows affected (0.10 sec) レコード挿入 レコードの挿入は通常の文字列同様に入れられます。 mysq
MySQLのCollationはどのように決まるか。そして、３つの落とし穴。 - なからなLife
今回は、設定値（パラメータ）の話 Oracle脳には馴染みの薄い、MySQLの「Collation」にまつわる挙動の話atsuizo.hatenadiary.jp の続きです。 前回は、Collation設定についてMySQLのデフォルトで使用される「_general_ci」だと「大文字小文字を区別せず」となり、区別させるには「_bin」を使いましょう、って話をしました。 今回は、そもそもそのCollationを設定する場所はどこにあるか、どのレベルで設定が可能で、デフォルトはどうなっているか、という話です。 パラメータと階層 MySQLでCollationを設定可能なレイヤは4階層（厳密には5階層）になっています。 サーバ（インスタンス）レベル 通常「システム変数」と呼ばれます。 Collationに関連するパラメータは ・collation_connection ・collation_
MySQLの文字コードとCollation - Qiita
まずMySQLの文字コードですが絵文字のみでなく、JIS X 0213の第3・4水準漢字の 一部にUTF8 4バイト文字があり（まぁまず使われないと思いますが）、 MySQLの文字コードはこれからはutf8mb4一択のようです。 charsetは、サーバ、クライアント、サーバー/クライアント感の接続、データベース、、テーブル、カラムで個別に指定でき、 問題を起こさないようにするには、すべて揃えたほうが無難であります。 character_set_server=utf8mb4 character_set_client=utf8mb4 character_set_connection=utf8mb4 character_set_database=utf8mb4 character_set_results=utf8mb4
MySQLで抽出結果をファイルに出力する方法 - Qiita
MySQLでのファイル出力方法について。 バージョン5.7.11でmysqlクライアントを使用して確認しています。 SELECT INTO OUTFILE を使用する サーバ上のファイルに出力します。 構文 以下の構文で抽出結果をファイルに出力することができます。 SELECT * FROM test; +------+---------+ | id | name | +------+---------+ | 1 | isono | | 2 | fu”guta | +------+---------+ 2 rows in set (0.00 sec) mysql> SELECT * FROM test INTO OUTFILE '/var/lib/mysql-files/test.dmp'; Query OK, 2 rows affected (0.00 sec) mysql> syste
MySQL5.6で全文検索やったよ - Qiita
はじめに 題名のとおり、MySQL5.6で全文検索をやったので、またやるときに困んないようにメモを残します。 や、実は全文検索やったの2回目だったんだけど、細かいところどころか大本さえ忘れてて困ったんですよこの前。。。 あと、念のためお断り。 やったのはMySQL5.6です。5.7の各種パーサーの話は出ません。 すでにMySQL5.6が入ってる環境だったんで仕方ない。 今回は素のMySQLをつかってます。なので、Mroongaの話は出ません。 正直、実装当時は知らなかったのもあって調べてもいない。。 プラグインみたいに追加インストールって出来るのかしら？ 今回はファンクションやトリガーを使いません。 メンドかったから(´・ω・｀) まぁ、プログラム側で出来るしね。 my.cnfの設定 何はなくとも、まずは設定をいれないと話にならない。 my.cnfに以下を記述する。 [mysqld] #
MySQL :: MySQL 8.0 リファレンスマニュアル :: 10.10.1 Unicode 文字セット
このセクションでは、Unicode 文字セットで使用可能な照合順序とその区別プロパティについて説明します。 Unicode の一般情報については、セクション10.9「Unicode のサポート」 を参照してください。 MySQL では、複数の Unicode 文字セットがサポートされています: utf8mb4: Unicode 文字セットの UTF-8 エンコーディング。文字ごとに 1 バイトから 4 バイトを使用します。 utf8mb3: Unicode 文字セットの UTF-8 エンコーディング。文字ごとに 1 バイトから 3 バイトを使用します。 utf8: utf8mb3 のエイリアス。 ucs2: 文字ごとに 2 バイトを使用した Unicode 文字セットの UCS-2 エンコーディング。 utf16: 文字ごとに 2 バイトまたは 4 バイトを使用する Unicode 文字セ
Unicode Collation Algorithm - tmtms のメモ
文字コードは面白いね！ わーい！ たのしー！ 🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾🐾 MySQL で utf8mb4_unicode_ci コレーションを使用した時に「🍣」=「🍺」や「ハ」=「パ」になる問題があります。 この utf8mb4_unicode_ci ってなんぞや？と思ってマニュアルを見てみると、 MySQL は、http://www.unicode.org/reports/tr10/ で説明している Unicode 照合順序アルゴリズム (UCA) に従って xxx_unicode_ci 照合順序を実装します。照合順序は、バージョン 4.0.0 UCA 重みキー (http://www.unicode.org/Public/UCA/4.0.0/
MySQLと「令和」 - tmtms のメモ
新元号が「令和」に決まったことなので、MySQLでの扱いについての話を。 普通の文字 「令」も「和」もJIS第一水準に含まれている基本的な文字なので普通に日本語が使用できるcharsetで使用できます。 mysql> create table t ( utf8mb4 varchar(255) charset utf8mb4, utf8mb3 varchar(255) charset utf8mb3, utf16 varchar(255) charset utf16, utf32 varchar(255) charset utf32, cp932 varchar(255) charset cp932, eucjpms varchar(255) charset eucjpms, sjis varchar(255) charset sjis, ujis varchar(255) charset
MySQLと「令和」その２ - tmtms のメモ
MySQLでは異なる字が等しいと見なされることがあるということを書きました。 tmtms.hatenablog.com この動きはMySQLが独自に変なことをしているわけではなく、Unicodeの規則に従っています。 MySQL 8.0 のデフォルトのCollationは Unicode 9.0.0のUnicode Collation Algorithm(UCA) に従っています。 文字にはそれぞれ Weight という値が設定されていてソートに使用されています。この値が同じなら等しい文字とみなされます。 Collation utf8mb4 のデフォルトの Collation は utf8mb4_0900_ai_ci という名前ですが、これは次のような意味です。 名前の要素 意味 utf8mb4 charset名 0900 Unicodeバージョン9.0.0 ai アクセントの違いを無視
MySQL :: MySQL 8.0 リファレンスマニュアル :: 10.9 Unicode のサポート
Unicode 標準には、Basic Multilingual Plane (BMP) の文字と BMP の外部にある補助文字が含まれています。 このセクションでは、MySQL での Unicode のサポートについて説明します。 Unicode 規格自体の詳細は、「Unicode Consortium の web サイト」を参照してください。 BMP 文字には次の 3 つの特性があります。 コードポイント値は 0 から 65535 (または U+0000 と U+FFFF) の間です。 これらは、8、16 または 24 ビット (1 から 3 バイト) を使用して可変長エンコーディングでエンコードできます。 これらは、16 ビット (2 バイト) を使用して固定長エンコーディングでエンコードできます。 主要言語のほとんどすべての文字には、これらで十分です。
MySQLで全てのクエリの確認 - Qiita
実行環境：CentOS6.6, MySQL 5.7.11 MySQLで、クエリログを確認したい時に、下記の方法があります。 1. 実行しているクエリ： mysql> show full processlist\G; *************************** 6. row *************************** Id: <接続識別子、これは、INFORMATION_SCHEMA.PROCESSLIST テーブルの ID カラムの値> User: <発行したMySQLユーザー> Host: <発行しているクライエントのホスト名> db: <データベース名> Command: <コメンド種類：Query, Connect, Sleep等>。クエリの場合、Queryになる Time: <現在の状態どれだけ続いている（数秒）> State: <コメンドの状態:Sendi
MySQL: in 演算子で指定した順番でソートされた結果を求める - あいつの日誌β
テストスクリプト CREATE TABLE test_user_item ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT 'ID', `user_id` int(10) unsigned NOT NULL COMMENT 'ユーザーID', `name` varchar(12) NOT NULL COMMENT 'アイテム名', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='テスト'; INSERT INTO test_user_item (user_id, name) VALUES (1, 'どうのつるぎ'), (2, 'どうのつるぎ'), (4, 'どうのつるぎ'), (3, 'どうのつるぎ'); SELE
Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター | Amazon Web Services
Amazon Web Services ブログ Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター このシリーズの前回のブログ投稿では、Amazon RDS for MySQL でレプリケーションを最適化するために使用する MySQL パラメータと、それらに関連するベストプラクティスについて説明しました。本日の記事では、RDS MySQL 環境でさまざまなセキュリティ機能を実装するために最も重要で一般的に使用されている MySQL パラメータについて説明します。また、RDS DB インスタンスの操作管理と問題のトラブルシューティングに役立つパラメータについても説明します。さらに、照合順序と文字セットに関連するいくつかの便利なパラメータについても説明します。 セキュリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL スロークエリ改善 初心者向け - Qiita
MySQLの文字コード事情 2017春版
