Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成する | iret.media
はじめまして、デプロイ王子こと廣瀬一海(@kazumihirose)です。 sshシェルとか取れない環境などで、参考にコンフィグレーションファイルが欲しいとか思うことがあるわけです。 どういうわけか、つまりはAmazon RDSとかいうわけですが・・・。 まぁ、mysqlを結構使う人にとっては当たり前なのかもしれませんね。 mysql -u root -p -h 127.0.0.1 -A -NBe 'SHOW VARIABLES' | sed 's,t,^=,' | column -ts^ | tr "n" '@' | eval $(echo "sed '" "s,@("{a..z}"),nn1,;" "'") | tr '@' "n" | sed 's,^,,g' Enter password: auto_increment_increment =1 auto_increment_off
EC2上のMySQLのデータの格納場所を移動する | iret.media
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 EC2上に構築したmysqlのデータファイルを格納するディスクが不足したので移動。 EC2はAmazon Linux 2014.03 mysqlは5.5.36 バージョン確認 $ cat /etc/system-release Amazon Linux AMI release 2014.03 $ mysql -u -p Enter password: （中略） mysql> SELECT version(); +-----------+ | version() | +-----------+ | 5.5.36 | +-----------+ 1 row in set (0.00 sec) データの移動 mysql 停止 $ sudo service mysqld stop Stopping mysqld:
cloudpackブログ - mysqlってなんじゃ？（マルチマスタでauto_increment）
MySQLでマルチマスタやシャーディングなどを行った場合、auto_incrementを使いたい場合があります。 たとえばspiderだとすると、複数台のSpiderノードを経由してデータが投入されると、データノードでauto_increment値が競合してしまうことがあるため、auto_incrementのオフセットをspiderノードごとにずらします。 ■spider1 /etc/my.cnf ------ [mysqld] auto_increment_increment = 100 auto_increment_offset = 1 ■spider2 /etc/my.cnf ------ [mysqld] auto_increment_increment = 100 auto_increment_offset = 2 auto_increment_incrementはカウントアップ
cloudpackブログ - mroongaってなんじゃ？ (mroongaでmysql全文検索)
mysqlで全文検索といえばTritonnが有名でした。 現在ではmysqlで全文検索をするときにmroongaというプロダクトが有望なようです。 Tritonnとの違いは以下のサイトが詳しいです。 「全文検索エンジンgroongaを囲む夕べ #1」参加メモ 簡単にいうと、 Tritonn：Sennaという全文検索エンジンをMySQL用に組み込んだものです。MyISAMを前提に組み込まれていることもあり、更新が遅く、また更新時の検索が重くなるなど、ベストなパフォーマンスが得られにくかったようです。 mroonga：groongaという全文検索エンジンをMySQL用にストレージエンジンにしたものです。MyISAMに依存しないため更新時の参照に影響を与えず、更新も速いようです。 では、さっそく導入してみます。 環境はEC2上のCentOS-6.4.1（suz-lab AMI）です。 ○groo
cloudpackブログ - RDSってなんじゃ？（MySQL on EBS-PIOPS vs RDS-PIOPS）
先日、AWSでProvisioned IOPS（以下PIOPS）という機能がEBSとRDSで使用できるようになりました。 そこで今回、EBS with PIOPS上のMySQLと、RDS with PIOPSでベンチマークを取ってみました。 ○RDSの準備 db.m1.large 100GB/1000 IOPS MySQLインスタンスの起動設定をします。 インスタンスタイプはdb.m1.largeにして、ストレージは100GB、use Provisioned IOPSにチェックを入れて、 IOPSを1000に設定します。 そして、手順に従って進みます。 ○EBSの準備 EC2はm1.largeのEBS Optimized EBSは(100GB/1000 IOPS)をマウント MySQLのデータディレクトリをEBS上に配置 なるべく設定をDBパラメータグループに合わせる ○準備 以下のように
CentOS6(EC2)でMySQL Clusterを試してみる(複数サーバ編) | iret.media
以前紹介した記事「CentOS6でMySQL Clusterを試してみる(単一サーバ編)」にて、 単一のサーバでの稼働が確認できたので、今回は複数サーバ(EC2 x 2)での確認になります。 ○各種プロセス(mysqld, ndbd, ndb_mgmd)の停止(両EC2で) # /etc/init.d/mysql stop Shutting down MySQL... SUCCESS! # killall ndbd # killall ndb_mgmd ○Hostsファイルに各ノードを登録(両EC2で) # cat /etc/hosts ... 10.160.102.121 mgmd-1 ndbd-1 mysqld-1 10.150.174.36 mgmd-2 ndbd-2 mysqld-2 ○設定ファイルの調整(両EC2で) # /etc/my.cnf ... [mysqld] ndbc
cloudpackブログ - CentOS6でMySQL Clusterを試してみる(単一サーバ編)
以前紹介した記事「CentOS6でMySQL Clusterを試してみる(インストール編)」にて、 MySQL Clusterのインストールができたので、今回は単一サーバへの実装を試してみます。 ○MySQLの停止とNDB用ディレクトリの作成 # service mysql stop Shutting down MySQL.. SUCCESS! # mkdir /var/lib/ndb ○Hostsファイルに各ノードを登録 # cat /etc/hosts ... 10.160.102.121 mgmd-1 ndbd-1 mysqld-1 ○設定ファイルの調整 # cat /etc/my.cnf ... [mysqld] ndbcluster [mysql_cluster] ndb_connectstring=mgmd-1 [ndb_mgmd] config_file=/var/lib/n
CentOS6でMySQL Clusterを試してみる(インストール編) | iret.media
今回はAWS上でMySQL Clusterのテストを行いました。 過去記事「CentOS(yum)でMySQL Cluster」にあるように、以前（CentOS5）はyumで インストールできたのですが、CentOS6ではリポジトリからすぐに見つからなかったため、 下記のRPMでインストールしました。 ○依存パッケージの準備とインストールと確認 # yum -y install libaio # rpm -Uvh http://cdn.mysql.com/Downloads/MySQL-Cluster-7.2/MySQL-Cluster-client-gpl-7.2.10-1.el6.x86_64.rpm # rpm -Uvh http://cdn.mysql.com/Downloads/MySQL-Cluster-7.2/MySQL-Cluster-server-gpl-7.2.10-1
cloudpackブログ - MySQL5.5で文字コードUTF-8を設定
MySQLの設定ファイルは、/etc/my.cnfとなり、 5.5以前の場合はUTF-8の設定時に、下記の対応をしていたと思います。 [mysqld] default-character-set=utf8 character-set-server = utf8 しかしMySQL5.5の場合、上記を設定してrestartをすると、下記のエラーで起動ができません。 [ERROR] /usr/libexec/mysqld: unknown variable ‘default-character-set=utf8’ MySQL5.5の場合は、下記の設定のみでOKとなります。 [mysqld] character-set-server = utf8 起動ができない時等はログを確認すれば、原因がわかります。 こちらの記事はなかの人（be_hase）監修のもと掲載しています。 元記事は、こちら
cloudpackブログ - データベースの情報スキーマについて
こんにちは。 職人見習いの高嶋です。 MySQLやPostgreSQL、Oracleなどの様々なRDBMSが存在しますが、あるデータベース内のテーブルの一覧を取得する場合等にそれぞれコマンドが異なっていました。 例）今までのテーブル一覧情報の取得方法 ■MySQL SHOW TABLES; ■PostgreSQL SELECT * FROM pg_tables; ■Oracle SELECT * FROM TAB; これらをSQLの標準規格であるSQL:2003（ISO/IEC 9075:2003）に定められ、共通したコマンドで管理・確認ができつつある情報スキーマを説明します。 情報スキーマとは、テーブルやユーザといった各種オブジェクトの情報(メタデータ)を参照するためのデータベースとテーブルであり、他のRDBMSでいうところの「データディクショナリ」や「システムカタログ」と同じようなもの
cloudpackブログ - MySQLパフォーマンスチューニング vol.2
こんにちは。 職人見習いの高嶋です。 MySQLパフォーマンスチューニング vol.1で紹介したSlowLogの続きになります。 指定した秒数を超えるSQL文の実行があった場合、SlowLogにそのSQL文の情報が記載されると 前回紹介しましたが、それ以外にも、インデックスを使用していないSQL文を記載する事もできます。 /etc/my.cnfにて、下記の設定をすることで可能です。 log-long-format インデックスを使用しなかったSQL文も記録します 不特定多数が実行するサービスにおいて、インデックスを利用していないSQL文を 利用している場合は大抵問題となります。 ちなみに、以下のような形式でログに記載されます。 # Time: 040623 22:53:30 # User@Host: [ODBC] @ localhost [127.0.0.1] # Query_t
cloudpackブログ - MySQL5.1をソースからコンパイル
今回は、MySQL5.1系のソースからのコンパイル方法を紹介します。 はじめに、ncurses-develをインスールします。 yum install ncurses-devel MySQLは、ここからSource Codeを指定してダウンロードします。 今回は、/usr/local/mysql にインストールします。 また、innodbを利用する場合は、オプションでinnobaseを指定します。 ./configure --prefix=/usr/local/mysql --with-plugins=innobase make make install インストール後データを初期化します。 /usr/local/mysql/bin/mysql_install_db 起動スクリプトは、下記となります。 /usr/local/mysql/share/mysql/mysql.server これ
cloudpackブログ - MySQLパフォーマンスチューニング Vol.1
こんにちは。 職人見習いの高嶋です。 データベースを利用したインターネットコンテンツは、不特定多数のユーザが利用するため、しっかりとしたテーブル設計やインデックス設定を行い、正しいSQL文を書かないといけません。 それでもやはり処理が遅いSQL文が存在してしまい、ユーザーがそのSQLを立て続けに実行するとサーバ負荷が上がり、サーバがダウンしてしまう事があります。 今回は、MySQLを用いている場合に、処理の遅いSQL文の見つけ方を備忘として記載します。 /etc/my.cnfに下記の設定を記述します。 log-slow-queries SlowLogの有効化(ログファイル名を指定可能) long-query-time=1 SlowLogに記録する処理時間の上限 log-long-format インデックスを使用しなかったSQL文も記録する
cloudpackブログ - 統計ってなんじゃ？(MySQLで度数分布)
プロジェクトの運用を行っている際に、ユーザーのサービス利用傾向を知るためにデータの統計を依頼されることがあります。 例として、ゲームの場合ですとユーザーがどのアイテムを何個所持しているかを調べて欲しいと依頼された場合、一人ひとりのユーザーの持ち物を調べるとなると、結局DBのダンプになってしまいます。 このような場合は、「何個もっているユーザーが何人いる」ということを調べることで、ユーザーの全体的な動向を知ることができます。 ここでは、0～9個の人は何人、１0～19個の人は何人というように段階的に範囲を絞って、アイテムごとにMySQLから統計を取ってみたいと思います。 このような統計の取り方を度数分布といいます。 対象となるテーブルは下記とします。 ●ユーザー mysql> select id, name, age, created_at from user limit 5; +----+-
cloudpackブログ - MySQLのLOAD DATA INFILE文でCSVを追加でインポートした時にAUTO_INCREMENTが連番にならない
こんにちは。 職人見習いの櫛田です。 MySQLのバグのようでLOAD DATA INFILE文でcsvを追加でインポートした時にAUTO_INCREMENTが連番にならず、インポートしたレコード数にもよりますが、数百番飛んだ値になっていました。 そこで、連番になるようにAUTO_INCREMENTの値を指定して対応しました。 （※MySQLを再起動すれば、連番になるようです。） ○CSVのインポート 20111130.csvというファイルをインポートします。 LOAD DATA LOCAL INFILE "/home/hoge/20111130.csv" INTO TABLE dbname.tablename FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'rn' IGNORE 1 LINES (@a,@b,@c
cloudpackブログ - シェルってなんじゃ？（MySQLに簡単ランダムデータ生成）
DBに大量のデータをランダムで入れ込みたいのですが、データの内容やテーブル同士の結合などをさほど気にしなくて良い場合は、ジェネレーターなどをインストールするよりもシェルで簡単にプログラムを書いてしまいた場合があります。 ここでは、MySQLにシェルからINSERTし続けるシェルを書いてみたいと思います。 例として、対象となるテーブルは以下の通りとします。 CREATE TABLE user ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(50) DEFAULT NULL, age int(11) DEFAULT NULL, description text, created_at datetime DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB ここで、idはオートインクリメント、cre
cloudpackブログ - HAProxy(1.4)でMySQLの自動フェイルオーバーにあわせて接続先を変更
VPC上のEC2(CentOS 6.0)でDRBD(8.3)とHeartbeat(3.0)とMySQL(5.5)の記事で自動フェイルオーバーするMySQLができたので、次は、それに合わせて接続先を変更する仕組みを考えます。 EC2はVPCの場合でも、仮想IPアドレスを利用することができないので、まず、hostsファイルを変更したり、内部DNSをたて、DNSレコードを変更したりして、自動フェイルオーバーに合わせた接続変更(接続ホスト名のIPアドレスを変更)を行う方法を考えると思います。 ただ、上記の方法ではミドルウェアのインストールや設定のみでは完結せず、多少の仕組みの作り込みが必要になってしまうはずです。 今回は、MySQLに接続するサーバには必ずHAProxyをインストールし、アプリケーションはlocalhostのMySQL(HAProxy)に接続し、フェイルオーバーに伴う接続先変更はH
cloudpackブログ - RDS(MySQL)をNagiosで監視
RDSの監視は、Nagiosで下記のように行っています。 define host { use cloudpack-dummy-host host_name suz-lab-rds address suzlab.xxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com } define service { use cloudpack-service host_name suz-lab-rds service_description dns check_command check-dns-ip-cloudpack!xxx.xxx.xxx.xxx } define service { use cloudpack-service host_name suz-lab-rds service_description mysql check_command check-m
cloudpackブログ - 稼働中のMySQLに無停止でスレーブを追加する
2011年10月19日 稼働中のMySQLに無停止でスレーブを追加する Tweet MySQLは簡単にレプリケーションすることができるので便利です。 最初からレプリケーションを前提に構築するのは簡単にできますが、 実は運用が始まってしまってから、なかなか停止できないMySQLにも、 ほぼ無停止でスレーブサーバを追加することができます。 現状の設定状況にもよりますが、再起動は必要になるかもしれません。 ○マスターでバイナリログを出力するようにする my.cnfで、binlog_do_dbの設定に、レプリケーション対象となるデータベースを指定します。 [mysqld] binlog_do_db=your_db ○マスタのserver_idを設定する my.cnf で server_idの設定をします。 レプリケーションする際に、個々のサーバを識別するのに使われ、 任意のユニ
cloudpackブログ - EC2でMySQL(世界編2 Spiderとレプリケーションで高速負荷分散)
前回のEC2でMySQL(世界編1 Spiderとレプリケーションで世界進出)では、Spiderとレプリケーションで、リージョン間での高速なデータ分散を紹介しました。 前回で少し触れましたが、この構成では例えば、EU側のDBにJPのデータの書き込みには対応することができません。 これを解決し、どちらのリージョンからもすべての商品を投入できるようにしてみたいと思います。 構成は以下の通りになります。 SpiderノードのDBで、書き込みと読み込みでそれぞれ別々のテーブルを用意し、別々のデータノードにそれぞれシャーディングを行います。 データノードの作成とレプリケーションの設定は前回と同じなので割愛します。 ○Spiderノード spider_ja CREATE TABLE item_r ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(25
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
