RDSでParameter Groups変更時のDBリブートについて調査してみた | iret.media
こんにちは、cloudpack の 今岡 です。 Amazon RDS はインスタンスのスペックに応じて、自動でDBパラメータを調整してくれるのが売りでもありますが、どうしても変更したいパラメータがあったりします。有名なところでは max_allowed_packet character_set_xxx 系 この辺りのパラメータや、もっと重いパラメータ(クエリキャッシュの有効化等) 変更時に、DBリブートはかかるのか、かけなくていいのかを検証します。今回はとりあえずMySQLです。 リブートが掛かっていないかの確認 スクリプトを用意しました。しょうもないスクリプトですが、使ってください。 #!/bin/bash while : do dt=$(date) state=$(timeout 5 mysqladmin ping -u -p -h) echo $dt-$state sleep 1
MySQLに保存するデータ暗号化方式下載 | iret.media
こんにちは。cloudpack の 脳筋 (岸上) です。 Oracle では表領域暗号化等、多数の暗号化機能がありましたが、 MySQL ではどうするのかというと、Encryption関数が提供されていました。 MySQL :: MySQL 5.5 Reference Manual :: 12.13 Encryption and Compression Functions EncryptionはAES128のようですが、MySQL 5.6.17以上では256bit長にて暗号化できる模様です。 AES_ENCRYPT() and AES_DECRYPT() implement encryption and decryption of data using the official AES (Advanced Encryption Standard) algorithm, previousl
インフラエンジニアでも覚えておくと嬉しいかもしれない MySQL の join と mysqldiff を試してみる。 | iret.media
ども、cloudpack の 自称インフラエンジニアかっぱ (@inokara) です。 インフラエンジニアに定年は無い ので MySQL の join 位は挙動を抑えておきたいのでどさくさ紛れに動作確認を行ったのでその際のメモ。レプリケーションが狂ってしまった！等の時にマスターとスレーブの差分をチェックしなければいけないって状況になった時に役立ちそうな気がするけど…そんな事も知らんのかって怒られそうで怖い。 あと、mysqldiff という Perl 製のツールが紹介されていたので試してみる。 参考 mysqldiff DBテーブルの差分を出力するMySQL::diffをインストールする メモ 動作確認準備 create database d1; use d1; create table t1(id int, user_id varchar(20)); create database d
[エラー対処] /usr/bin/mysql_install_db実行時にFATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db: | iret.media
こんにちは。cloudpack の 脳筋 (岸上) です。 エラー内容 # /usr/bin/mysql_install_db FATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db: Data::Dumper 上記が出たら # yum install -y perl-Data-Dumper でData-Dumperモジュールを導入してmysql_install_dbを再実行 # /usr/bin/mysql_install_db WARNING: The host 'host' could not be looked up with /usr/bin/resolveip. This probably means that your libc libr
Galera Cluster に Asynchronous replicateion ノードを追加する | iret.media
こんばんは。cloudpack の 脳筋 (岸上) です。 Galera Cluster を構成しているCluster nodeにはMySQLレプリケーションノードが追加できます。 以下はパラメータの設定例ですが log_slave_updates は必ず有効にしておかないと、 SlaveノードでCHANGE MASTER TOを実行したノードからのトランザクションしかレプリケーションされません。 server_id= binlog_format=ROW log_bin=binlog log_slave_updates=1 relay_log=relay-bin expire_logs_days=8 さっきかなり痛い目にあった… んでスレーブを追加する利点ですが(AWS的に) 別AZへのバックアップが可能(GaleraのWANモードでもいいよねというのもあるけど…) スレーブでクッソ重いク
EBS スナップショットでほげほげするアレ | iret.media
こんにちは、cloudpack の がみさんです。 とりあえず突貫で。 curl 刺さった時とかどうするののアレ --query で volume_id 指定するんだけど変数食わせられないから微妙 mysql停止起動失敗のアレ mysql起動後にレプリケーションチェックしないとアレ #!/bin/bash REGION="--region ap-northeast-1" init() { INSTANCE_ID=`curl -s http://169.254.169.254/latest/meta-data/instance-id` BACKUP_VOLUMEID=`aws ec2 describe-instances --instance-id ${INSTANCE_ID} ${REGION} --query 'Reservations[].Instances[].BlockDevice
Amazon VPC 内の RDS(MySQL) に SSH のポートフォワードを利用して接続するメモ
ども、cloudpack の かっぱ (@inokara) です。 はじめに Amazon VPC 内の Amazon RDS に VPC 外から接続する方法の一つとして SSH のポートフォワードを利用して接続するメモ。（特に RDS に限らずオンプレにて同様に外部から閉ざされた MySQL に接続する場合にも同じ方法でいけるはずです。） 参考 RDSにSSHのポートフォワーディングでMySQLに接続する方法 CakePHP編 RDS が VPC 外にある場合には… ちょっと話は脱線しますが RDS が VPC 外にある場合には上図にある Client の IP アドレスをセキュリティグループに定義するだけで接続することはできずはずです。ただ、クライアントの接続拠点が増える度にセキュリティグループの設定変更を行うのはあまりスマートではないです。そもそも、RDS に Public な IP
深淵の闇から逃れる為のMariaDB Galera Cluster 5.5 入門 | iret.media
こんにちわ、cloudpack の がみさんです。 MariaDB Galera Cluster 5.5を試す oujiにMySQLの深淵の闇(マスタ昇格とかマスタ昇格とか)から逃れたいと相談したところ MariaDB Galera Clusterが良いと教えてもらったのでやっとこさ試した記録を残します。 RDS最高なのですが、選定できないと思われるケースもあるのでこっちが利用できたらいいな。 MariaDB Galera Clusterって何 デュアルマスタ構成が可能なデータベースクラスタらしいです。最高。 今回はMySQL 5.5からMariaDBへの移行を考え MariaDB Galera Clusterは5.5で試しています。 MariaDB 5.5はMySQL 5.5と互換性があるので、アプリケーションやデータベースを変更せずmysqldumpで移行できると思います。 詳しい資料
Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成する | iret.media
はじめまして、デプロイ王子こと廣瀬一海(@kazumihirose)です。 sshシェルとか取れない環境などで、参考にコンフィグレーションファイルが欲しいとか思うことがあるわけです。 どういうわけか、つまりはAmazon RDSとかいうわけですが・・・。 まぁ、mysqlを結構使う人にとっては当たり前なのかもしれませんね。 mysql -u root -p -h 127.0.0.1 -A -NBe 'SHOW VARIABLES' | sed 's,t,^=,' | column -ts^ | tr "n" '@' | eval $(echo "sed '" "s,@("{a..z}"),nn1,;" "'") | tr '@' "n" | sed 's,^,,g' Enter password: auto_increment_increment =1 auto_increment_off
EC2上のMySQLのデータの格納場所を移動する | iret.media
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 EC2上に構築したmysqlのデータファイルを格納するディスクが不足したので移動。 EC2はAmazon Linux 2014.03 mysqlは5.5.36 バージョン確認 $ cat /etc/system-release Amazon Linux AMI release 2014.03 $ mysql -u -p Enter password: （中略） mysql> SELECT version(); +-----------+ | version() | +-----------+ | 5.5.36 | +-----------+ 1 row in set (0.00 sec) データの移動 mysql 停止 $ sudo service mysqld stop Stopping mysqld:
cloudpackブログ - mysqlってなんじゃ？（マルチマスタでauto_increment）
MySQLでマルチマスタやシャーディングなどを行った場合、auto_incrementを使いたい場合があります。 たとえばspiderだとすると、複数台のSpiderノードを経由してデータが投入されると、データノードでauto_increment値が競合してしまうことがあるため、auto_incrementのオフセットをspiderノードごとにずらします。 ■spider1 /etc/my.cnf ------ [mysqld] auto_increment_increment = 100 auto_increment_offset = 1 ■spider2 /etc/my.cnf ------ [mysqld] auto_increment_increment = 100 auto_increment_offset = 2 auto_increment_incrementはカウントアップ
cloudpackブログ - mroongaってなんじゃ？ (mroongaでmysql全文検索)
mysqlで全文検索といえばTritonnが有名でした。 現在ではmysqlで全文検索をするときにmroongaというプロダクトが有望なようです。 Tritonnとの違いは以下のサイトが詳しいです。 「全文検索エンジンgroongaを囲む夕べ #1」参加メモ 簡単にいうと、 Tritonn：Sennaという全文検索エンジンをMySQL用に組み込んだものです。MyISAMを前提に組み込まれていることもあり、更新が遅く、また更新時の検索が重くなるなど、ベストなパフォーマンスが得られにくかったようです。 mroonga：groongaという全文検索エンジンをMySQL用にストレージエンジンにしたものです。MyISAMに依存しないため更新時の参照に影響を与えず、更新も速いようです。 では、さっそく導入してみます。 環境はEC2上のCentOS-6.4.1（suz-lab AMI）です。 ○groo
cloudpackブログ - RDSってなんじゃ？（MySQL on EBS-PIOPS vs RDS-PIOPS）
先日、AWSでProvisioned IOPS（以下PIOPS）という機能がEBSとRDSで使用できるようになりました。 そこで今回、EBS with PIOPS上のMySQLと、RDS with PIOPSでベンチマークを取ってみました。 ○RDSの準備 db.m1.large 100GB/1000 IOPS MySQLインスタンスの起動設定をします。 インスタンスタイプはdb.m1.largeにして、ストレージは100GB、use Provisioned IOPSにチェックを入れて、 IOPSを1000に設定します。 そして、手順に従って進みます。 ○EBSの準備 EC2はm1.largeのEBS Optimized EBSは(100GB/1000 IOPS)をマウント MySQLのデータディレクトリをEBS上に配置 なるべく設定をDBパラメータグループに合わせる ○準備 以下のように
CentOS6(EC2)でMySQL Clusterを試してみる(複数サーバ編) | iret.media
以前紹介した記事「CentOS6でMySQL Clusterを試してみる(単一サーバ編)」にて、 単一のサーバでの稼働が確認できたので、今回は複数サーバ(EC2 x 2)での確認になります。 ○各種プロセス(mysqld, ndbd, ndb_mgmd)の停止(両EC2で) # /etc/init.d/mysql stop Shutting down MySQL... SUCCESS! # killall ndbd # killall ndb_mgmd ○Hostsファイルに各ノードを登録(両EC2で) # cat /etc/hosts ... 10.160.102.121 mgmd-1 ndbd-1 mysqld-1 10.150.174.36 mgmd-2 ndbd-2 mysqld-2 ○設定ファイルの調整(両EC2で) # /etc/my.cnf ... [mysqld] ndbc
cloudpackブログ - CentOS6でMySQL Clusterを試してみる(単一サーバ編)
以前紹介した記事「CentOS6でMySQL Clusterを試してみる(インストール編)」にて、 MySQL Clusterのインストールができたので、今回は単一サーバへの実装を試してみます。 ○MySQLの停止とNDB用ディレクトリの作成 # service mysql stop Shutting down MySQL.. SUCCESS! # mkdir /var/lib/ndb ○Hostsファイルに各ノードを登録 # cat /etc/hosts ... 10.160.102.121 mgmd-1 ndbd-1 mysqld-1 ○設定ファイルの調整 # cat /etc/my.cnf ... [mysqld] ndbcluster [mysql_cluster] ndb_connectstring=mgmd-1 [ndb_mgmd] config_file=/var/lib/n
CentOS6でMySQL Clusterを試してみる(インストール編) | iret.media
今回はAWS上でMySQL Clusterのテストを行いました。 過去記事「CentOS(yum)でMySQL Cluster」にあるように、以前（CentOS5）はyumで インストールできたのですが、CentOS6ではリポジトリからすぐに見つからなかったため、 下記のRPMでインストールしました。 ○依存パッケージの準備とインストールと確認 # yum -y install libaio # rpm -Uvh http://cdn.mysql.com/Downloads/MySQL-Cluster-7.2/MySQL-Cluster-client-gpl-7.2.10-1.el6.x86_64.rpm # rpm -Uvh http://cdn.mysql.com/Downloads/MySQL-Cluster-7.2/MySQL-Cluster-server-gpl-7.2.10-1
cloudpackブログ - MySQL5.5で文字コードUTF-8を設定
MySQLの設定ファイルは、/etc/my.cnfとなり、 5.5以前の場合はUTF-8の設定時に、下記の対応をしていたと思います。 [mysqld] default-character-set=utf8 character-set-server = utf8 しかしMySQL5.5の場合、上記を設定してrestartをすると、下記のエラーで起動ができません。 [ERROR] /usr/libexec/mysqld: unknown variable ‘default-character-set=utf8’ MySQL5.5の場合は、下記の設定のみでOKとなります。 [mysqld] character-set-server = utf8 起動ができない時等はログを確認すれば、原因がわかります。 こちらの記事はなかの人（be_hase）監修のもと掲載しています。 元記事は、こちら
cloudpackブログ - データベースの情報スキーマについて
こんにちは。 職人見習いの高嶋です。 MySQLやPostgreSQL、Oracleなどの様々なRDBMSが存在しますが、あるデータベース内のテーブルの一覧を取得する場合等にそれぞれコマンドが異なっていました。 例）今までのテーブル一覧情報の取得方法 ■MySQL SHOW TABLES; ■PostgreSQL SELECT * FROM pg_tables; ■Oracle SELECT * FROM TAB; これらをSQLの標準規格であるSQL:2003（ISO/IEC 9075:2003）に定められ、共通したコマンドで管理・確認ができつつある情報スキーマを説明します。 情報スキーマとは、テーブルやユーザといった各種オブジェクトの情報(メタデータ)を参照するためのデータベースとテーブルであり、他のRDBMSでいうところの「データディクショナリ」や「システムカタログ」と同じようなもの
cloudpackブログ - MySQLパフォーマンスチューニング vol.2
こんにちは。 職人見習いの高嶋です。 MySQLパフォーマンスチューニング vol.1で紹介したSlowLogの続きになります。 指定した秒数を超えるSQL文の実行があった場合、SlowLogにそのSQL文の情報が記載されると 前回紹介しましたが、それ以外にも、インデックスを使用していないSQL文を記載する事もできます。 /etc/my.cnfにて、下記の設定をすることで可能です。 log-long-format インデックスを使用しなかったSQL文も記録します 不特定多数が実行するサービスにおいて、インデックスを利用していないSQL文を 利用している場合は大抵問題となります。 ちなみに、以下のような形式でログに記載されます。 # Time: 040623 22:53:30 # User@Host: [ODBC] @ localhost [127.0.0.1] # Query_t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ELBでSSL TerminationしてるとPHPMyAdminが辛かった件 | iret.media