MySQLパフォーマンスチューニング -my.cnfの見直し- - Qiita
※RDSは使っていません。 負荷を見てみる DBサーバーの負荷状況を見てみます。 当時の監視ツールの画像がないのですが、以下の状況でした。 LA(Load Average)が突き抜けている リクエスト数は「常識的に考えて」それほどでもない メモリの使用量にあまり変化がない swapはしていない ストレージ容量を結構食っている WEBサーバーから見れば、処理待ちのままプロセスが処理されていない典型的なパターンだったと思います。 DBサーバーとしては、LAに対し、メモリの使用量があっていないように思われました。 仮説 上記の状態から、仮説を立てます。 スロークエリ が頻発しているのではないか メモリ が正しく割り当てられていないのではないか 各種ログ の設定が適切ではないのではないか 仮説を検証することで、対策をしていきます。 設定を見直す 上記の仮説の設定は、MySQLの設定ファイルである「
MySQLのメモリ設定の勘所 – sawara.me
MySQLサーバーをダウンさせた夜は数知れず。 その度にmy.cnfの設定を見なおしてみてはトライし、治ったと思いきや突然のダウン。 サーバーがダウンしてしまう原因は何かと聞かれれば、「メモリです」と断言しましょう。 メモリ設定は諸刃の剣。 パフォーマンスを最大に引き出すこともできればそれと引き換えにサーバーをダウンさせてしまうこともできるんです。 今回はMySQLのメモリの設定の勘所というかたちで紹介しようと思います。 グローバルバッファとスレッドバッファ メモリの設定についてまず「グローバルバッファ」と「スレッドバッファ」について理解しておくことが大事です。バッファとは一時的な記憶領域・つまりはメモリの領域のことなのですが。 グローバルバッファ MySQLで使用する全体的なメモリ使用量を計算するには グローバルバッファ + (スレッドバッファ × コネクション数) = メモリ使用量 と
MySQL レプリケーション メモ - Qiita
mysql> show create table sample_tbl\G x *************************** 1. row *************************** Table: sample_tbl Create Table: CREATE TABLE `sample_tbl` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(100) DEFAULT NULL, `updated` datetime DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `id` (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 1 row in set (0.00 sec)
SQL_SLAVE_SKIP_COUNTER がまずいもう一つの理由 | Yakst
MySQL Performance Blogの翻訳。SQL_SLAVE_SKIP_COUNTERを使うとマスタとスレーブ間で不整合が起きる原因となる場合がある。 レプリケーションがおかしくなって、キーの重複や対象行が存在しないといった問題で行の更新や削除が出来なくなった時、 STOP SLAVE; SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1; START SLAVE; を実行して解決するというのは、MySQLの世界ではよくあることだ。これがうまくいって、不正な行やSQL文を修正できることもあるだろう。しかし、その文が複数の文からなるトランザクションの一部だったらどうなるだろう？そうすると、面白いことに、不正な行をスキップすることで、トランザクション全体がスキップされてしまう。これは、 ドキュメント にはちゃんと書かれている。例を見てみよう。 マスタには3行存在し
DBサーバ向けLinuxチューニングを考える 〜 メモリオーバーコミット編 : DSAS開発者の部屋
Cでプログラムを書いていて大量のメモリを確保したくなったとき、大抵は mallocを使うと思いますが、その際には戻り値がNULLかどうかを判断してエラー処理に飛ばすと思います。しかし、Linux のメモリ管理サブシステムには「メモリ・オーバーコミット」という機構があり、実装されているメモリ以上の領域を確保できてしまいます。 #include <stdio.h> #include <stdlib.h> int main() { int i; char *p; for(i=0;i<65536;i++){ p = (char *)malloc(65536); if(0 == (long)p){ break; } } printf("SIZE=%dMB\n",i*65536/1024/1024); return(0); } swapoff したメモリ 1G のマシンでこれを実行するとこんな感じにな
MySQLによるJSONデータ型処理 – variable.jp [データベース,パフォーマンス,運用]
MySQL5.7において、JSON(JavaScript Object Notation)がサポートされていて、 様々な言語やアプリ間で、より簡単にデータの受け渡しが行えるようになりました。 ドキュメントをJSONフォーマットでデータベースに保存して、 様々なアプリケーションから呼び出して利用出来るなど、 汎用性と運用面での活用が出来るようになっています。 1) ネイティブのJSONデータ型 効率的なデータ処理と保管にネイティブ内部バイナリ形式をサポート。 2) 組み込みJSONファンクション 効率よくドキュメントを保存,検索,更新,操作する事を可能にします。 3) JSON コンパレーター 文書データを容易にSQLクエリと統合することが可能 4) Generated Columnsを利用し、ドキュメントにインデックスを利用する事が可能。 新しいアナライザーは,自動的に利用可能で最適な機能
[メモ] MySQLユーザの接続元をサブネットで指定する
検証してないけど細かい制御はできないっぽい grant all privileges on *.* to hoge@'192.168.10.0/255.255.255.0'; Contact MySQL | Login | Register ユーザーが MySQL サーバーに接続しようとすると、サーバーはユーザーの ID と、正しいパスワードを指定することでユーザーが自分の ID を検証できるかどうかに基づいて、接続を受け入れるか拒否します。できない場合、サーバーはアクセスを完全に拒否します。それ以外の場合、サーバーは接続を受け入れてステージ 2 に進み、リクエストを待機します。 ユーザーの ID は 2 つの部分の情報に基づきます。 接続元のクライアントホスト MySQL ユーザー名 ID チェックは、user テーブルの 3 つのスコープカラム (Host、User、Password)
MySQL - InnoDB 全テーブルのレコード数取得！
mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... よくある “information schema” からレコード数を取得する方法は、ストレージエンジン MyISAM では正確にレコード数が取得できるが、ストレージエンジン InnoDB では概算値となり正確に取得できない。 以下、コンソールから概算のレコード数を取得する方法と、正確なレコード数を取得するシェルスクリプトの紹介です。 0. 前提条件 MySQL 5.6.16 サーバでの作業を想定。（MariaDB でも同様だと思われる） 1. 手順１（概算値） コンソール上で以下のように実行する。 もちろん、MySQL サーバにログインして SELECT ... の部分を実行
mysql replicationの復旧方法
Master_Log_File, Relay_Master_Log_Fileの意味は混同しやすいので、細心の注意を払ってください。また、それぞれのポジションの実態は、master.info, relay.infoというファイルです。 mysql レプリケーション 復旧シナリオ 事前準備 mysql レプリケーション 復旧シナリオ 事前準備 – mysqld_multi環境の構築 mysqld_multiを用いて、3つのmysqld(MySQLサーバ)を起動させます。動作確認のシナリオで使用する/etc/my.cnfの設定は以下の通りです。mysqld_multiの使い方は、mysqld_multiの設定方法を参照ください。 [mysqld] log-bin=mysql-bin relay-log=mysql-relay log-slave-updates master_info_repos
MySQL Clusterの特徴とアーキテクチャ
本連載では、実際に「MySQL Cluster」を利用するためのチュートリアルとなるように、その特徴と基本的なアーキテクチャからインストール、基本的な操作などをコマンド付きで解説していきます。第1回の今回は、MySQL Clusterの特徴とアーキテクチャについて紹介します。 MySQL Clusterとは？ 「MySQL Cluster」は「MySQL Server」とは開発ツリーの異なる製品で、共有ディスクを使わずにアクティブ−アクティブのクラスタ構成が組めるリレーショナルデータベースです。カラムやインデックス、ノードの追加・削除といった各種メンテナンス処理をオンラインで実行できる、単一障害点がなく可用性が非常に高い、などの特徴があります。そのため、米国海軍の航空母艦における航空機管制システムなど、ミッションクリティカルな分野でも多く利用されています。 また、基本的にはデータとインデッ
MySQLのデータベースを初期化する - Qiita
MySQL を初期化する方法 MySQLが起動しなくて、にっちもさっちにいかなかった場合の初期化方法をメモします ちなみに、これやるとデータベースからデータから、アカウントからすべて消えてしまいますので注意！！！ 操作手順 プロセスが起動しているか確認 # ps -efw | grep -i mysql root 12787 1 0 06:20 pts/0 00:00:00 /bin/sh /usr/bin/mysqld_safe --datadir=/var/lib/mysql --pid-file=/var/lib/mysql/server01.s-quad.com.pid mysql 13041 12787 0 06:20 pts/0 00:00:14 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-
MySQL :: MySQL 5.7 Reference Manual
Abstract This is the MySQL Reference Manual. It documents MySQL 5.7 through 5.7.48, as well as NDB Cluster releases based on version 7.5 of NDB through 5.7.44-ndb-7.5.36, respectively. It may include documentation of features of MySQL versions that have not yet been released. For information about which versions have been released, see the MySQL 5.7 Release Notes. MySQL 5.7 features. This manual d
MySQL の Replication 機能の振り返りと MySQL 5.7 での新機能 - (-> % read write unlearn)
Oracleさんの「MySQL最新情報セミナー2015春」に参加させて頂いてきました。4時間かけて、MySQLの最新の情報と最新の機能の解説を聞かせて頂きました。MySQL4.1〜5.5で情報のキャッチアップが止まっていREPLICATE_DO_DBる自分としては、新しい情報ばかりで楽しかったです。特にReplicationの機能と MySQ Labs で開発している機能が面白かったです。MySQ Labs では、製品版に対する直接的な機能開発ではなく、もっと先を見据えた実験的な機能の開発とそれに対するコミュニティの意見を得ることを目的としています。RDBの枠を超えたアグレッシブな機能が開発されていて楽しいです。 セミナーの内容はMySQL EnterpriseやMySQL Cluster、Workbenchなど盛り沢山でした。今日は Replication について学んだことを整理・復習
MySQLのレプリ遅延の原因を調べる方法 | dTblog | デザインとプログラムの境界をさまようブログ
MySQLのレプリ遅延の原因には、大きく分けて、転送遅延とSQL実行遅延の2つがあります。 転送遅延は、マスタでバイナリログに出力されたSQLクエリが、スレーブのリレーログに出力されていないケース。SQL実行遅延は、SQLクエリがリレーログに出力されたが、実行が遅れているケース。レプリ遅延時の問題の切り分けとして、まずどちらのケースに該当しているかを判断する必要があります。 転送遅延の判定方法 マスタでの SHOW MASTER STATUS の結果と、対象スレーブでの SHOW SLAVE STATUS の結果を比較します。比較する項目は、以下のとおり。 比較元(MASTER)比較先(SLAVE)説明
#dbts2015 #C13 今から備える #MySQL 最新バージョン 5.7 のメモ - #garagekidztweetz
db tech showcase 2015 初日、午後は二コマ目から再参戦、 ORACLE ACE の @yoku0825 氏のセッションに参加してきました。 スライドまわしが早くてついていくのが、結構つらかったですが、神速で資料を公開してくださるあたり、流石でした！ 内容もさすがの人柱的な内容なので、はてなブックマークしている人たちは、感謝の意をこめて氏の Proposal を Affects me しよう！ 資料がすでに公開されているので蛇足的ではあるけれども、以下、わたしの取ってきたメモも公開しておきます。 概要： 2015/04/08 ついにリリース候補版になったMySQL5.7.7。5.7は積極的を本番に入れたい理由、過去のバージョンからのアップグレードで気を付けることなど、本気の導入に向けたウォーミングアップセッション。 Speaker: 田中 翼(yoku0825) (Tsu
MuninのPluginでMySQLの統計を取得 | うーたんの小部屋
2011/03/102011/03/12サーバー構築 MuninでMySQLのデータを取得します。 今回取得するデータは下記のとおり。 ＜Munin標準＞ ・MySQL queries ・MySQL slow queries ・MySQL threads ・MySQL throughput ＜Munin Exchange＞ ・MySQL Connections ・MySQL Queries Cache Size ・MySQL Queries in cache Munin側でPluginを有効にします。 # ln -s /usr/local/munin/lib/plugins/mysql_queries /etc/munin/plugins/mysql_queries # ln -s /usr/local/munin/lib/plugins/mysql_slowqueries /etc/mu
【Linux】「Fatal error: Can't open and lock privilege tables: Table 'mysql.user' doesn't exist」が出た場合の対処法 - kzy52's blog
CentOS 5.xでMySQLをインストールして起動しようとしたら失敗した。 $ sudo service mysqld start MySQL Daemon failed to start. mysqld を起動中: [失敗] ログを見てみるとmy.confの設定が読めてないみたい？ # /var/log/mysqld.log [ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.user' doesn't exist $ mysql_install_db --datadir=/var/lib/mysql --user=mysql このようにし再度起動したら次は成功しました。 $ sudo service mysqld start mysqld を起動中: [ OK ]
MySQL AB :: MySQL 4.1 リファレンスマニュアル
概要 これは MySQL リファレンスマニュアルです。 MySQL 8.0 から 8.0.25、および NDB のバージョン 8.0 から 8.0.25-ndb-8.0.25 に基づく NDB Cluster リリースについてそれぞれ説明します。 まだリリースされていない MySQL バージョンの機能のドキュメントが含まれている場合があります。 リリースされたバージョンの詳細は、「MySQL 8.0 リリースノート」を参照してください。 MySQL 8.0 の機能. このマニュアルでは、MySQL 8.0 のエディションによっては含まれていない機能について説明します。このような機能は、ご自身にライセンス付与されている MySQL 8.0 のエディションに含まれていない場合があります。 MySQL 8.0 の使用しているエディションに含まれる機能に関する質問がある場合は、MySQL 8.0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
replicate-rewrite-dbについて - Qiita
GeekWind » Blog Archive » MySQL5.5へのアップデートに伴うトラブル