MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
innotopが最近息してないなーと思ったんだ
使っている人口がどれくらいいるかわからないですが、 innotop というtopライクにMySQLの状況を表示してくれる便利スクリプトが世の中には存在しています。 日々の覚書: innotopがすごく便利 もともとGoogle Codeにホスティングされてたんだけど、Google Codeはサービス終了しちゃったから（いつからか知らないけど）GitHubに移行してて、ひょっとしたらこのまま（移行だけしてメンテナンスされなくなって）息を引き取るんじゃないか疑惑が当時から俺の中にあったりなかったり。 原因がそれかどうかは全く知らないけれど、 innotopは5.6までは問題なく使える（5.6で使えなくなった時にちゃんと対応された）んだけど、5.7だと `SHOW ENGINE INNODB STATUS` をパースできなくなっていて（それ以外は何とか使える）、随分前からこれはIssueに上がっ
MySQLでALTER TABLE文の進捗状況を確認する - SH2の日記
MySQLでテーブルへのカラム追加やテーブルの再編成を行うには、ALTER TABLE文を使用します。MySQLのALTER TABLE文は、変更後の定義にもとづく作業用テーブルを作成し、変更前のテーブルから作業用テーブルへデータをコピーして、最後に二つのテーブルを入れ替えるという仕組みになっています。テーブルへのインデックス追加についても、現在のところ大半のケースで内部的にALTER TABLE文が実行されています。 ALTER TABLE文の怖いところは、処理がもうすぐ終わるのかどうかが分からないところです。テーブルサイズが1GBを超えるあたりから分単位の時間がかかるようになり、100GBともなると本当に終わるのか？と見ていて不安になります。メンテナンス時間が限られている場合は、作業を中断すべきかどうか難しい判断を迫られることもあります。 実は、というほどではありませんが、ALTER
MySQL5.6新機能を利用しないデータの暖気 - Qiita
MySQLのデータの暖気 システム再起動直後のDBは、データがメモリ上にのっていないために、そのままサービスに投入するとディスクがささる可能性がある。 MySQL5.6からInnoDBのデータを暖気できる機能が実装されたが、それ以前のバージョンのMySQLを利用している場合の暖気方法について簡単にまとめる。 ポイントとしては、InnoDBのprimary keyとテーブルデータの暖気には、SELECT COUNT(*)を使うイメージが強いが、secondary keyのwarmupまで考える場合ではそれだけだと不十分であるというところになると思う。なお下記の暖気方法では、BLOB型やTEXT型には対応していない。 InnoDB テーブルのデータとprimary keyのwarmup
MySQLのトランザクションとテーブルロックの基本事項 - ぼっち勉強会
DB周りは全然分かっていないし毎回調べては忘れていくのでアレコレとメモ。 手元の環境 Mac OS X 10.7.3 MySQL5.5 InnoDB前提 サンプルとして使うテーブル mysql> desc sample; +-------+---------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+---------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | val | int(11) | YES | | NULL | | +-------+---------+------+-----+--
MySQL で採番テーブル - Qiita
LAST_INSERT_ID(expr) を使う方法 公式ドキュメントで紹介されている方法. MySQL 5.6 Reference Manual :: 12.14 Information Functions LAST_INSERT_ID(), LAST_INSERT_ID(expr) If expr is given as an argument to LAST_INSERT_ID(), the value of the argument is returned by the function and is remembered as the next value to be returned by LAST_INSERT_ID(). This can be used to simulate sequences: テーブル準備 採番テーブル create table `seq` ( `i
InnoDB buffer pool dumpで遊ぶ
掲題のMySQL5.6の新機能で遊んでみたメモ。 InnoDBバッファプールの内容をファイルに書き出しておくことが出来る機能が追加された。 書き出すタイミングは正常終了時(SET GLOBALまたはmy.cnfでinnodb_buffer_pool_dump_at_shutdown = 1を設定)または 任意のタイミングで即時書き出し(SET GLOBAL innodb_buffer_pool_dump_now = 1;) 読み出すタイミングは起動時(my.cnfにinnodb_buffer_pool_load_at_startup = 1)または 任意のタイミングで即時読み込み(SET GLOBAL innodb_buffer_pool_load_now = 1;) これで、mysqldを再起動してバッファプールが空っぽになっても 素早くウォームアップできるぞ、ということらしい。 特に何
Home
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
MyRocks: A space- and write-optimized MySQL database
At Facebook we use MySQL to manage many petabytes of data, along with the InnoDB storage engine that serves social activities such as likes, comments, and shares. While InnoDB provides great performance and reliability for a variety of workloads, it has inefficiencies on space and write amplification when used with flash storage. A few years ago, we built RocksDB, an embeddable, persistent key-val
Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果
Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果 FacebookはMySQL用の新しいストレージエンジン「MyRocks」をオープンソースで公開しました。同社のエンジニアである松信嘉範（Yoshinori Matsunobu）氏がFacebookのブログに投稿した記事「MyRocks: A space- and write-optimized MySQL database」で紹介しています。 MySQLのデータベースエンジンとして使われているInnoDBは優れているものの、フラッシュストレージと組み合わせたときに書き込まれるデータ量の効率性などに課題があったため、MyRocksに取り組んだと説明されています。 InnoDB is great for performance and reliabil
MySQL 5.7で削除または廃止予定となる機能について (MySQL Server Blogより) | Yakst
免責事項 この記事はErlend Dahl氏によるMySQL Server Blogの投稿(2015/6/17)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 MySQL 5.7の最初のリリース候補版(RC)のリリースから、次のサーバーのメジャーバージョンが急速に形になってきています。5.6がGAとなってからおよそ2年半にわたって、巨大な製品とコードベースを開発し維持する負担を軽減する為に、サーバーのコードの効率化に取組んできました。 この仕事の重要なところは、廃止予定(deprecation)と削除(removal)です。 機能を廃止予定とする(deprecating)ということは、我々が外部に「この機能は現在のところ利用可能である一方、将来のリリースで廃止されるため、利用の仕方にあわせて適応して欲しい」とお知らせしていることになります。機能を削除する(removi
MySQL InnoDB Pluginのデータ圧縮機能 - SH2の日記
InnoDB Pluginの面白い機能の一つに、データ圧縮機能があります。今回はその仕組みと効果について見ていきたいと思います。まずはグラフをご覧ください。 これはWikipedia日本語版のデータベースをダウンロードし、記事本文の格納されているtextテーブルをMySQL 5.1＋InnoDB Plugin 1.0の環境にロードしたものです。 元テキスト：今回利用したデータは2009/06/21版のものです(jawiki-20090621-pages-articles.xml.bz2)。元テキストはここからXml2sqlを用いてタブ区切りテキストを取り出したものを用いています。このファイルには1,167,411件の記事が格納されており、容量は3,436MBとなっています。 元テキスト gzip：元テキストをgzipコマンドで圧縮したものです。 MyISAM：記事をMyISAMのテーブルに
InnoDB Pluginことはじめ。快適ストレージエンジン生活はじまる！
MySQL 5.1.38からMySQL本体にInnoDB Pluginバンドルされている。一部の先駆的なユーザー以外に、「InnoDB使ってますよ！」もしくは「検証してるよ！」という話をあまり聞かない。そもそもであるが、InnoDB Pluginってなんぞ？！という人が多いんではないかと思うのだが、実際はどうなのだろう？現在はRC版（リリース候補版）という位置づけのInnoDB Pluginであるが、一部影響度の高いバグが残っていたりしてGA版ほどの安定性は求められないものの、ほとんど実用に耐えうる品質になっているといえる。そんなわけで、今日は改めてInnoDB Pluginの使い方・使いどころについて説明するので、ぜひ皆さんの手でInnoDB Pluginを評価してみて頂きたい。 なお、以下の解説は現在の最新バージョンである、InnoDB Plugin 1.0.6を前提にしているので、将
InnoDBの8KBの壁にぶち当たったら。 – sawara.me
InnoDBの行の最大長は約8KBらしい。 意外と少ない。。。 運用中のサービスがこんなエラーを吐いていました。。。 [code gutter=”false”] Got error 139 from storage engine [/code] マジですか。これが噂の「InnoDB 8KBの壁」ですか。。。 設計段階であればテーブル縦分割とかテーブル構造自体を変えちゃえ！ってなるかもしれないですが、運用中のサービスですし、できるだけ全体へのインパクトは少なくしたい(アプリケーションは改修したくない)。って時にテーブルのROW_FORMATを変更して対応しましたよ、って話です。 「ROW_FORMAT=DYNAMIC」または「ROW_FORMAT=COMPRESSED」を使おう！ そうです、結論から言ってROW_FORMATを変更することで対応したんです。 ROW_FORMATについてMyS
innodb_large_prefixを使ってERROR 1071を回避する | Yakst
大きなサイズのインデックスを生成しようとするとERROR 1071が発生することがあり、そんな時にはinnodb_large_prefixパラメータを利用すると良いことがある。 MySQLのInnoDBストレージエンジンのテーブルの長いvarcharカラムを含むカラムにインデックスを生成しようとしたことがあれば、このエラーを見たことがあるだろう。 ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes 文字数制限は、使っている文字コードに依存する。例えば latin1 であればインデックスを生成できる最大カラムは varchar(767)であるが、 utf8 の場合は varchar(255) までである。 インデックスあたり、3072バイトという別の制限もある。767バイトはカラムごとの制限な
Rails + MySQL(InnoDB)で絵文字を使う - Qiita
なぜ絵文字をデフォルトで使えないか utf8は3バイト文字までしか対応していない 絵文字は4バイトなので不正な文字として扱われる 絵文字をMysqlで扱うには 文字コードをutf8mb4にする 参考（MySQLのutf8mb4 文字セットについて）：https://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-utf8mb4.html Rails + MySQLでのutf8mb4の設定フローは下記のとおり。 1. my.cnfを設定 innodb_large_prefix のちに ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes とエラーが出ることがある。 これは767byte問題ともいわれる。InnoDBテーブルのキープリフィックスは最高
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
巨大なサイズのテーブルに対するALTER TABLE実行時間の概算方法
Real-Life Use Case for "Barracuda" InnoDB File Format
InnoDB file formats: Here is one pitfall to avoid
Testing InnoDB "Barracuda" format with compression