MySQLのEXPLAINを徹底解説!!
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ
DBAのためのmysqldumpのtips 25選 | Yakst
MySQL標準のダンプツールmysqldumpについて、基礎的な使い方からよく使われるオプション、特徴までを含む25個の問答集。 1) mysqldumpはテキストバックアップツール？それともバイナリバックアップツール？ テキストバックアップツールだ。バックアップファイルを開けば、データベースとその中のオブジェクトを作り直すための全文が見られる。テーブルにデータを詰め込むためのinsert文ももちろん含まれている。 2) mysqldumpのコマンドラインオプションは？ $ mysqldump -u [uname] -p[pass] –databases [dbname] [dbname2] > [backupfile.sql] 3) 全データベースのバックアップはどうしたらいい？ $ mysqldump -u root -p –all-databases > backupfile.sql
データサイズが大きいDBをmysqldumpする時 – OpenGroove
データサイズが大きいDBに対してオプションを指定せずにmysqldumpを実行するとメモリ 使用率が100%になってしまい、OSがプロセスをkillし始める(Out Of Memory Killer)。 これを回避するには、以下のいずれかをオプションとして指定する。 --quick --opt --single-transaction – -quickはクエリをバッファせずに直接ダンプするため、大量のダンプの際には特に有効。 – -optを使用すると以下のオプションを全て含めて実行することになるので、- -quick より有効なダンプファイルが作成できる、かも。 --quick --add-drop-table --add-locks --extended-insert --lock-talbes 追記：- -opt オプションはMySQL5.1以降はデフォルトで有効だそうだ。 参考URL
MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...
しわっす！DBA 兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ます こんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ 今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま
mk(pt)-query-digestをもっと活用しよう！ - 筋トレとともに生きるDBAの雑記
もはやこれが無くては障害対応ができないぐらい中毒になっているmk-query-digestさんについてです。 mk-query-digest - Analyze query execution logs and generate a query report, filter, replay, or transform queries for MySQL, PostgreSQL, memcached, and more. 例えばこんなことが起きたときは、何を差し置いてもまずtcpdumpを取りに行きます。 状況がおさまってしまってからでは遅いのです。 Load Averageの高騰 Too Many Connections lock wait timeout tcpdump -i bond0 -s 65535 -x -n -q -tttt 'port 3306' > tcpdump.out
pt-ioprofileでMySQLのテンポラリテーブルのサイズを測る
Percona-Toolkitのうちの1つにpt-ioprofileというやつがあって、 straceでwriteやread, fsyncのシステムコール呼び出し状況を記録して、 lsofでファイルディスクリプタ番号と紐付けて、集計して出してくれたりする。 一番単純な使い方は多分こんな感じ。 # pt-ioprofile --cell sizes --run-time 60 2013年 1月 6日 日曜日 17:08:03 JST Tracing process ID 1824 total read pread64 pwrite64 write open _llseek filename 2191 0 1024 1167 0 0 0 /var
RDSでロックなしのALTER TABLE(pt-online-schema-change使用) - Qiita
データ件数が大量に(レコード数100万以上とか)ある場合、ALTER TABLE時にテーブルの書き込みロックが無視できないレベル(時間)で発生します。 テーブルの書き込みロックについて MySQL5.5以前: ALTER TABLE時に発生 MySQL5.6以降: ALTER TABLEでカラムのデータ型変更、全文検索用インデックスの追加、プライマリキーの削除、文字コードの変換/指定 を行った時に発生 参考: http://takatoshiono.hatenablog.com/entry/2015/03/11/013316 pt-online-schema-changeを使用することで、テーブルロックなしでのALTER TABLEができます。 pt-online-schema-changeのインストール方法(Mac homebrew) $ brew install percona-too
mysql replicationの復旧方法
Master_Log_File, Relay_Master_Log_Fileの意味は混同しやすいので、細心の注意を払ってください。また、それぞれのポジションの実態は、master.info, relay.infoというファイルです。 mysql レプリケーション 復旧シナリオ 事前準備 mysql レプリケーション 復旧シナリオ 事前準備 – mysqld_multi環境の構築 mysqld_multiを用いて、3つのmysqld(MySQLサーバ)を起動させます。動作確認のシナリオで使用する/etc/my.cnfの設定は以下の通りです。mysqld_multiの使い方は、mysqld_multiの設定方法を参照ください。 [mysqld] log-bin=mysql-bin relay-log=mysql-relay log-slave-updates master_info_repos
MySQLのチューニング
最近ちょこちょここのサーバーが落ちるのでMySQLをチューニングをしてみました。 アクセスもないのに落ちるので設定の問題なのかは不明っす MySQLTuner 便利な世の中で、こうした方がいいよと教えてくれるツールがあるのでありがたく使います major/MySQLTuner-perl インストール インストールする必要はなく、githubからファイルを落としてくれば使えます 簡単なのはcloneしちゃうことですね ~~~ git clone [email protected]:major/MySQLTuner-perl.git cd MySQLTuner-perl ~~~ 実行する mysqltuner.plを実行するだけでOKです ~~~ perl mysqltuner.pl ~~~ 実行結果 色々ずらーっとでます ~~~ >> MySQLTuner 1.3.0 – Major Hay
MySQL 5.6のインストール後にチューニングすべき項目 | Yakst
MySQLコミュニティマネージャのMorgan Tocker氏による、MySQL 5.6をインストールした後にデフォルト値から変更した方がよいパラメータの解説。 数々のデフォルト値の改善によって、過去のバージョンと比べてMySQL 5.6では設定しなくてはならない値がかなり減った。とは言え、変更すべきものについてここで書いておきたい。 InnoDBの設定 innodb_buffer_pool_size - デフォルトは128M。これは、メモリにロードされるデータとインデックスのためにInnoDBがどのくらいメモリを使うかを指定するものなので、設定すべき重要な値だ。MySQLの専用サーバなら、搭載されているメモリの50%から80%が推奨される設定値だ。例えば、64GBのRAMを搭載しているサーバなら、バッファプールは50GB程度にすべきだろう。 innodb_log_file_size -
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
コードで行うMySQLのアカウント管理 - クックパッド開発者ブログ
インフラストラクチャー部の菅原（@sgwr_dts)です。 インフラストラクチャー部のメンバーはオペレーションのため強力な権限のMySQLアカウントを使用していますが、サービス開発をするエンジニアも業務のためにサービスのDBの参照・更新権限を持ったアカウントが必要になることがあります。 セキュリティやオペレーションミスのことを考えると、すべてのエンジニアのアカウントをスーパーユーザーにするわけにはいかないため、都度適切な権限を付与していますが、手動での作業は地味に手間がかかります。 そこでクックパッドではMySQLのアカウント情報をコード化し、リポジトリで管理するようにしています。 gratanによるコード化 MySQLのアカウント管理はgratanという自作のツールを使って行っています。 gratanを使うとMySQLのアカウントをRubyのDSLで記述することができるようになります。
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応 Google Cloud Platformのブログに投稿された記事「Scaling MySQL in the cloud with Vitess and Kubernetes」で、Vitessは次のように説明されています。 At YouTube, we went on that journey as we scaled our MySQL deployment, which today handles the metadata for billions of daily video views and 300 hours of new video uploads per minute. To do this, we developed the Vitess platform,
MariaDB、データベース向けのプロキシソフトウェア「MaxScale」を発表 | OSDN Magazine
フィンランドMariaDBは、データベース向けのプロキシソフトウェア「MariaDB MaxScale」を発表した。アプリケーションとデータベースの分離を実現するもので、これによりスケールアウトに必要なデータベース管理プロセス作業を簡素化できるという。MariaDBやMySQLのほか、JSONベースのプロトコルでも利用できる。 MaxScaleはデータベースとアプリケーションの間の通信を中継するプロキシとして動作し、フィルタリングやモニタリング、ルーティングといった作業を行える。プラグインアーキテクチャを持ち、アプリケーション開発者とデータベース管理者の双方にフォーカスして開発した5種類のプラグイン（プロトコル、モニタリング、ルーティング、認証、ロギング）を備える。 MariaDBのパーサーを含むことで、トラフィックの解析などが可能。Read/Writeの分割やMaster/Slaveアー
MySQL :: MySQL 5.6 レプリケーション ： チュートリアル - スケーラビリティと可用性の強化
本ホワイトペーパーでは、MySQL レプリケーションや MySQL ユーティリティ を活用した高可用性サービスの構築について、実例やベストプラクティスを交えて説明します。 以下について詳しく解説します： MySQL レプリケーションの設定（MySQL ユーティリティを利用する場合/利用しない場合） 準同期レプリケーションへの移行 MySQL レプリケーションの管理とトラブルシューティング （MySQL ユーティリティを利用する場合/利用しない場合） マスター故障時、スレーブの新マスターへの昇格手順 （手動/自動、MySQL ユーティリティを利用する場合/利用しない場合） 本ペーパー最後で、ユーザー環境にあわせた MySQL レプリケーションの調整、最適化に関する資料も案内しています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのログに InnoDB: Error: Table “mysql”.”innodb_table_stats” not found. て出てた時の対処法 – sawara.me
MySQLテーブル設計入門
MySQL :: MySQL 8.4 Reference Manual :: 17.14 InnoDB Startup Options and System Variables
現場指向のレプリケーション詳説
分割と整合性と戦う
