MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
【MySQL】Spiderストレージエンジンによる水平分散(シャーディング) - 株式会社オーツー｜スタッフブログ
どうも、開発2部サーバー担当の山本です。 皆さんDBの水平分散は行ってますか？ 最近ではサービス開始時点から水平分散しているタイトルも割と多いのではないでしょうか。ユーザーやデータが増えるのはサービスが好調な証ではありますが、いざ対応しようと思うと大変ですよね。 今回はMySQLのストレージエンジンであるSpiderを使った水平分散（以下シャーディング）について紹介したいと思います。 Spiderとは Spiderは2009年にver1.0がリリースされた国産のMySQLストレージエンジンで、MySQL以外にもMariaDBとOracleに対応しています。 MySQLにはInnodbを代表にMyISAM、MEMORYなど様々な特徴を持ったストレージエンジンが用意されていますが、Spiderの特徴はストレージエンジンがシャーディングに対応していることです。 ここ最近は皆さんAWSのAuror
TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com 「データベースのクエリログを取得したい」 例えば、データベース（RDBMS）のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。 一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力（のIO負荷）を別サーバに分離したくなります。 では、どうすればよいかというと、例えば アプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離する アプリケーションサーバ側で（notアプリケーションで）記録することで（大抵、サーバ台数の多い）アプリケーション側にIO負荷を分散する というような方法を思いつきます。 そこで、「もし、TCPコネクション上に流れている（例えば）クエリログを解析してログ
PHPとMysqlのコネクションについて調べてみた - Qiita
トランザクションがコネクション切断時とかに、どういう挙動を示すか？調べてみました。 PHP＆MySQLのトランザクション関連の仕様ざっくりと デフォルトでは、すべてのSQLがトランザクションを使用し、オートコミットする。（updateしたら即反映） 明示的に、beginTransactionした場合、そのコネクション上で行われた更新は、commit or rollbackメソッド実行時に一括で反映される。 また、beginTransaction中に接続が切断された場合、rollbackする。 http://dev.mysql.com/doc/refman/5.6/ja/innodb-implicit-commit.html 他のRDBMSだと、コネクション切断時はデフォルトcommitだったりするときもあるので、挙動は確認したほうが良いと思います。 暗黙的コミットにも気をつける 13.3.
MySQLへのクエリをApplication Insights(.NET)のDependencyに出したい - ぷろじぇくと、みすじら。
Created at: 2018-06-06 Application InsightsにはDependencyテレメトリーというリクエスト中に発行された外部リソースへのアクセスなどを記録する仕組みがあり、.NET向けの一式を入れておけばHTTPリクエストやSQL Serverへの問い合わせが自動で記録されます。 一方、標準で対応してないものをDependencyに出すには自前で何らかの方法で記録してあげる必要があります。MySQL Connector/Netもその例にもれず自動では記録されません。SQL Serverへの問い合わせが記録されるのはSqlClient (SQL Serverクライアント)のイベントを記録しているからであって、それ以外のデータベースドライバーでは記録されないのです。 というわけで、当然MySQLへの問い合わせでもDependencyに表示されてほしくなります。
いろんなAnomaly - Qiita
昨日様々なトランザクション分離レベルに付いて書いた。 AnomalyとはSerializableでない実行を引き起こす異常状態パターンのことを言う。 弱い分離レベルほどAnomalyが起きやすい。 これから図を交えながらAnomalyについて説明する。 図中の「W(x)」は「xに何らかの値を書き込む」、「R(x)」は「xの値を読む」をそれぞれ意味する。 分かりやすいようにReadは青、Writeは赤色で統一する。 また、Anomalyの被害に遭うのは常にT1に統一する。 Cはコミットを意味する。 Dirty Read Anomaly 未コミットな値を読んでしまうAnomalyの事。Readがロック関係なしに値を読んでしまう場合などに起きる。 T1が書き換えられる最中のxの値を読んでしまっている。もしT2が途中でアボートしたらT1はどこにも存在しない値を読んだ事になってしまう。 READ U
MySQLで、やたら重いクエリが発生したので、原因を究明するまでの話 - かせいさんとこ
今後の為に原因の追求方法をメモ まずは、どのクエリが重いのか調査 SHOW PROCESSLIST 実行中のプロセスが表示される 処理時間がTimeに表示されたり、実行中のコマンドがInfoに表示されるので、重い処理がどれだか判る MySQL :: MySQL 5.1 リファレンスマニュアル :: 12.5.4.24 SHOW PROCESSLIST 構文 ちなみに、KILLコマンドで、処理中のプロセスを殺すことも可能 EXPLAIN SELECT でどんな風に検索されているか確認 今回は、indexがきちんと使われているか、確認の為に使用 +----+-------------+------------+-------+---------------+------------+---------+------+------+-------------+ | id | select_typ
json型でもindexが貼りたい！ - Qiita
これはマイネットエンターテイメント Advent Calendar三日目の記事です。 今回はmysql5.7で追加されたjson型の基礎的な利用法、メリットとmysql5.7以降に搭載された新機能 Generated Column機能でjson型のデータにインデックスを張る方法について紹介をします 目次 環境 参考資料 基礎的な使い方 型のバリデートについて json型とtext型のパフォーマンス比較 jsonとGenerated Columnの連携によるインデックス利用とパフォーマンス 終わりに 環境 macOS 10.11 mysql 5.7.16 参考資料 公式ドキュメント http://dev.mysql.com/doc/refman/5.7/en/json.html https://dev.mysql.com/doc/refman/5.7/en/json-modification
Dockerの公式MySQLイメージの使い方を徹底的に解説するよ · DQNEO日記
DockerHubでは公式のMySQLイメージが無料で公開されています。 これを使えば簡単にDockerでMySQLサーバを起動することができます。データの永続化もできます。 https://hub.docker.com/_/mysql/ 2015年10月現在では下記３種類のバージョンが用意されています。 タグを指定することで任意のバージョンのイメージを取得できます。 5.5 5.6 5.7 (latest) イメージの取得方法 docker pull mysql これで最新の安定版を取得できます。 バージョンを明示的に取得したい場合はタグを使います。 docker pull mysql:5.7 (2015/10/25現在だと、mysql, mysql:latest, mysql:5.7, mysql:5.7.9はどれも同じイメージを指します。) これのDockerfileを見たい場合はこ
dockerでmysqlを使う - Qiita
この記事はもう随分古いので注意してください。 mysql8.0のdocker-comose.ymlを作成したので新しいmysqlを使う方はそちらを参照してください。 dockerでmysql8を使う ### ここから古いです。 ### 公式のmysqlを使えるようにするのにハマったのでメモ。 ※Dockerのインストールが古かったので新しいリンクに変更しました。 Docker for mac install 公式のmysqlイメージを使う docker pull mysql docker run --name mysql -e MYSQL_ROOT_PASSWORD=mysql -d -p 3306:3306 mysql # 接続確認 passwordはmysqlになります。 mysql -h $(boot2docker ip) -uroot -p
MySQL :: MySQL 5.6 リファレンスマニュアル :: 8.2.2.1 INSERT ステートメントの速度
挿入の速度を最適化するには、多くの小さな操作を 1 つの大きな操作に組み合わせます。理想的には、単一の接続を作成し、多くの新しい行のデータを一度に送信し、すべてのインデックスの更新と一貫性チェックを最後まで延期します。 行の挿入に必要な時間は、次の要因によって決まります。ここでの数はおよその割合を示しています。 接続: (3) サーバーへのクエリーの送信: (2) クエリーの解析: (2) 行の挿入: (1 ×行サイズ) インデックスの挿入: (1 ×インデックス数) クローズ: (1) これには、テーブルを開く初期オーバーヘッドを考慮に入れていません。これは同時実行クエリーごとに 1 回実行されます。 テーブルのサイズによって、log N だけインデックスの挿入が遅くなります (B ツリーインデックスであるとして)。 次の方法を使用して、挿入を高速化できます。 同じクライアントから同時に
MySQL Connector/Jにおける大量INSERTのチューニング - SH2の日記
ピンポイントチューニング講座です。まずは結果から。 このグラフは、以下のテーブルに50,000レコードINSERTしたときの処理時間を示したものです。性能に70倍以上もの差が出ているのはなぜか、見ていきたいと思います。 CREATE TABLE `loadtest` ( `id` int(11) NOT NULL, `data` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 方法1 ベースライン conn = DriverManager.getConnection(JDBC_URL, JDBC_USER, JDBC_PASS); pstmt = conn.prepareStatement("insert into loadtest (id, data) values (?
MySQL5.6で-pオプションをつけてコマンド＆スクリプトを実行する時のWarningを回避する方法 - Qiita
mysql5.6以後では、-pオプションをつけてmysql、mysqladmin、mysqldumpを実行する時、以下のWarningが表示されます。 $ /usr/bin/mysql -u root -ppassowrd -e 'SELECT * FROM information_schema.PROCESSLIST;' Warning: Using a password on the command line interface can be insecure. +--------+------+----------------+-----------+---------+-------+-----------+----------------------------------------------+ | ID | USER | HOST | DB | COMMAND | TIME
tmp_table_size のチューニングとメモリ上に一時テーブルが作れないクエリ - Qiita
Created_tmp_disk_tables の意味 MySQL のチューニングする際に指標とするステータスの一つに Created_tmp_disk_tables というものがあります。 詳しくはもっと詳細な記事を見てくれればいいですが、クエリ実行時にメモリ上に収まりきらなかった一時テーブルを、ディスク上に作成した回数を意味します。 参考:MySQLの「temporary table (一時テーブル)」 と「tmp file(テンポラリファイル)」の違いと「Copying to tmp table」と「copy to tmp table」の違い | 田舎に住みたいエンジニアの日記 そもそも一時テーブルが肥大化するのはテーブルやクエリの設計に問題がある場合もあるので、 まずはクエリ自体を改善して巨大な一時テーブルが作られるのを抑制すべきですが、 大きなデータの集計を定期的に行うなど、要件
(MySQL, SQLite3)大文字小文字を区別する・しない方法いろいろ - すたら日記
目次 原則 MySQL: 大文字小文字を区別させる SQLite3: 『=』で大文字小文字を区別させない MySQL, SQLite3: 『LIKE』で区別させない MySQL, SQLite3: 重複データを探したい 原則下記のような、大文字小文字の種類だけが異なるデータがあるとします。HOGE Hoge hoge下記のSQLを実行すると、大文字小文字は区別されるのでしょうか? SELECT * FROM posts WHERE name = 'hoge' SELECT * FROM posts WHERE name LIKE 'hoge'結果はご覧の通り。 MySQL SQLite3 = 区別しない 区別する LIKE 区別しない 区別しない MySQL: 大文字小文字を区別させるMySQLは特に指定がなければ大文字小文字は区別しません。 では、区別させるには? テーブル作成時に、フィ
MySQLでToo many connectionエラー 原因はunauthenticated user | KennyQi PHP Blog
サーバが稼動して１ヶ月くらい経ったころ、 急にMySQLに接続できなくなってあせりました。 調べると、MySQLへの接続数がサーバ設定値に到達しており、接続ができない状態になっていました。 なんで接続が増えたのか原因を調べると 「MySQLがアクセスしてくるクライアントのIPアドレスのDNSの逆引きをやっているらしく、逆引きができないときに「unauthenticated user」が溢れるという事象が起こる」とのこと。（「unauthenticated user」が溢れた。 – お仕事日記。） 自サバでこの状況が起こっているか確認してみる。 現状、MySQLは最大接続数に達しているため、アクセスできないので とりあえず、 接続要求するスクリプトをいったん止めて、 最大接続数を一時的に増やし、MySQL再起動。
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編） こんにちは nob です。 前編 これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） の記事から１年半が経過してしまいました。ちょっと長いお休みでしたが、その間に蓄えた MySQL パフォーマンス監視の実戦経験を（システム編）としてお届けいたします！ 今回の（システム編）で紹介するツボは 4 つです。（クエリ編）のツボに加えて、この4つに注目して頂ければ MySQL のパフォーマンス監視もバッチリです。 （ツボ１）Load Average < (1 + (cpu数-1)/3) （ツボ２）Checkpoint Age が水平線になったら要注意 （ツボ３）MyISAM は無いよね監視 （ツボ４）万能選手スローログ なお前編と同様この記事では監視ツールとして Cacti と Percona MySQL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
巨大なサイズのテーブルに対するALTER TABLE実行時間の概算方法
IBM Developer
way to prevent queries from waiting for table level lock