cloudpackブログ - MySQL5.1をソースからコンパイル
今回は、MySQL5.1系のソースからのコンパイル方法を紹介します。 はじめに、ncurses-develをインスールします。 yum install ncurses-devel MySQLは、ここからSource Codeを指定してダウンロードします。 今回は、/usr/local/mysql にインストールします。 また、innodbを利用する場合は、オプションでinnobaseを指定します。 ./configure --prefix=/usr/local/mysql --with-plugins=innobase make make install インストール後データを初期化します。 /usr/local/mysql/bin/mysql_install_db 起動スクリプトは、下記となります。 /usr/local/mysql/share/mysql/mysql.server これ
cloudpackブログ - MySQLパフォーマンスチューニング Vol.1
こんにちは。 職人見習いの高嶋です。 データベースを利用したインターネットコンテンツは、不特定多数のユーザが利用するため、しっかりとしたテーブル設計やインデックス設定を行い、正しいSQL文を書かないといけません。 それでもやはり処理が遅いSQL文が存在してしまい、ユーザーがそのSQLを立て続けに実行するとサーバ負荷が上がり、サーバがダウンしてしまう事があります。 今回は、MySQLを用いている場合に、処理の遅いSQL文の見つけ方を備忘として記載します。 /etc/my.cnfに下記の設定を記述します。 log-slow-queries SlowLogの有効化(ログファイル名を指定可能) long-query-time=1 SlowLogに記録する処理時間の上限 log-long-format インデックスを使用しなかったSQL文も記録する
cloudpackブログ - 統計ってなんじゃ？(MySQLで度数分布)
プロジェクトの運用を行っている際に、ユーザーのサービス利用傾向を知るためにデータの統計を依頼されることがあります。 例として、ゲームの場合ですとユーザーがどのアイテムを何個所持しているかを調べて欲しいと依頼された場合、一人ひとりのユーザーの持ち物を調べるとなると、結局DBのダンプになってしまいます。 このような場合は、「何個もっているユーザーが何人いる」ということを調べることで、ユーザーの全体的な動向を知ることができます。 ここでは、0～9個の人は何人、１0～19個の人は何人というように段階的に範囲を絞って、アイテムごとにMySQLから統計を取ってみたいと思います。 このような統計の取り方を度数分布といいます。 対象となるテーブルは下記とします。 ●ユーザー mysql> select id, name, age, created_at from user limit 5; +----+-
cloudpackブログ - MySQLのLOAD DATA INFILE文でCSVを追加でインポートした時にAUTO_INCREMENTが連番にならない
こんにちは。 職人見習いの櫛田です。 MySQLのバグのようでLOAD DATA INFILE文でcsvを追加でインポートした時にAUTO_INCREMENTが連番にならず、インポートしたレコード数にもよりますが、数百番飛んだ値になっていました。 そこで、連番になるようにAUTO_INCREMENTの値を指定して対応しました。 （※MySQLを再起動すれば、連番になるようです。） ○CSVのインポート 20111130.csvというファイルをインポートします。 LOAD DATA LOCAL INFILE "/home/hoge/20111130.csv" INTO TABLE dbname.tablename FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'rn' IGNORE 1 LINES (@a,@b,@c
cloudpackブログ - シェルってなんじゃ？（MySQLに簡単ランダムデータ生成）
DBに大量のデータをランダムで入れ込みたいのですが、データの内容やテーブル同士の結合などをさほど気にしなくて良い場合は、ジェネレーターなどをインストールするよりもシェルで簡単にプログラムを書いてしまいた場合があります。 ここでは、MySQLにシェルからINSERTし続けるシェルを書いてみたいと思います。 例として、対象となるテーブルは以下の通りとします。 CREATE TABLE user ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(50) DEFAULT NULL, age int(11) DEFAULT NULL, description text, created_at datetime DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB ここで、idはオートインクリメント、cre
cloudpackブログ - HAProxy(1.4)でMySQLの自動フェイルオーバーにあわせて接続先を変更
VPC上のEC2(CentOS 6.0)でDRBD(8.3)とHeartbeat(3.0)とMySQL(5.5)の記事で自動フェイルオーバーするMySQLができたので、次は、それに合わせて接続先を変更する仕組みを考えます。 EC2はVPCの場合でも、仮想IPアドレスを利用することができないので、まず、hostsファイルを変更したり、内部DNSをたて、DNSレコードを変更したりして、自動フェイルオーバーに合わせた接続変更(接続ホスト名のIPアドレスを変更)を行う方法を考えると思います。 ただ、上記の方法ではミドルウェアのインストールや設定のみでは完結せず、多少の仕組みの作り込みが必要になってしまうはずです。 今回は、MySQLに接続するサーバには必ずHAProxyをインストールし、アプリケーションはlocalhostのMySQL(HAProxy)に接続し、フェイルオーバーに伴う接続先変更はH
cloudpackブログ - RDS(MySQL)をNagiosで監視
RDSの監視は、Nagiosで下記のように行っています。 define host { use cloudpack-dummy-host host_name suz-lab-rds address suzlab.xxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com } define service { use cloudpack-service host_name suz-lab-rds service_description dns check_command check-dns-ip-cloudpack!xxx.xxx.xxx.xxx } define service { use cloudpack-service host_name suz-lab-rds service_description mysql check_command check-m
cloudpackブログ - 稼働中のMySQLに無停止でスレーブを追加する
2011年10月19日 稼働中のMySQLに無停止でスレーブを追加する Tweet MySQLは簡単にレプリケーションすることができるので便利です。 最初からレプリケーションを前提に構築するのは簡単にできますが、 実は運用が始まってしまってから、なかなか停止できないMySQLにも、 ほぼ無停止でスレーブサーバを追加することができます。 現状の設定状況にもよりますが、再起動は必要になるかもしれません。 ○マスターでバイナリログを出力するようにする my.cnfで、binlog_do_dbの設定に、レプリケーション対象となるデータベースを指定します。 [mysqld] binlog_do_db=your_db ○マスタのserver_idを設定する my.cnf で server_idの設定をします。 レプリケーションする際に、個々のサーバを識別するのに使われ、 任意のユニ
cloudpackブログ - EC2でMySQL(世界編2 Spiderとレプリケーションで高速負荷分散)
前回のEC2でMySQL(世界編1 Spiderとレプリケーションで世界進出)では、Spiderとレプリケーションで、リージョン間での高速なデータ分散を紹介しました。 前回で少し触れましたが、この構成では例えば、EU側のDBにJPのデータの書き込みには対応することができません。 これを解決し、どちらのリージョンからもすべての商品を投入できるようにしてみたいと思います。 構成は以下の通りになります。 SpiderノードのDBで、書き込みと読み込みでそれぞれ別々のテーブルを用意し、別々のデータノードにそれぞれシャーディングを行います。 データノードの作成とレプリケーションの設定は前回と同じなので割愛します。 ○Spiderノード spider_ja CREATE TABLE item_r ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(25
cloudpackブログ - EC2でMySQL(世界編1 Spiderとレプリケーションで世界進出)
EC2でMySQL(運用編 VP＋Spiderで無停止負荷分散)などを紹介してきましたが、再び、Spiderの話題になります。 WEBアプリを世界展開する際に、要件の1つとして、世界各国のユーザは全てのデータを参照できる必要がありますが、データの登録は各国、地域の担当者が各自のデータを登録したい、というケースが多々あると思います。 例として、商品の販売サイトで、EUと日本にそれぞれ管理者がいるとします。 その場合のユースケースとしては、下記となります。 EUの管理者はEUの商品を登録する 日本の管理者は日本の商品を登録する ユーザーは全ての商品を閲覧できる この時、商品を登録するDBがどのリージョンにあるかによって、ユーザや管理者の間でレスポンススピードに差が出ます。 DBを日本に置くとEUのユーザや管理者には遅いシステムとなってしまい、EUに置くとその逆になります。 そのため、各リージョ
cloudpackブログ - MySQLユーザを作成する
今回は、基本に戻りMySQLのユーザ作成について紹介します。 MySQLを利用する場合、rootユーザが存在しますが、 可能であればroot以外のユーザで作業することが望ましいと思います。 そのような場合は、下記の2つのコマンドを実行します。 GRANT ALL PRIVILEGES ON *.* TO ユーザ名@"%" IDENTIFIED BY 'パスワード' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO ユーザ名@localhost IDENTIFIED BY 'パスワード' WITH GRANT OPTION; 上記の場合、管理者権限が付与されていますので、一般ユーザ権限のみ付与したい場合は、 下記コマンドを実行します。 GRANT SELECT,INSERT,UPDATE,DELETE ON データベース名.* TO ユーザ名
cloudpackブログ - EC2でMySQL(運用編 VPで無停止ALTER)
WEBサイトを運用をしている場合、仕様の追加変更やパフォーマンス対策など、様々な理由で、テーブルの構造を途中で変更する必要性が出てきます。 このような場合、通常では一時的にWEBサイトを停止し、メンテナンス期間中にDBにALTERをします。 しかし、このような機会が頻繁に得られない場合などは、稼働中に変更しなければならないケースもあるかと思います。 そこで今回は、EC2でMySQL(VP編 VPってなんじゃ？)で紹介したVPを利用して、 停止することなくテーブルにALTERをする方法を紹介したいと思います。 初期のテーブルが以下の通りとしますと、 create table gift( id int auto_increment, gift_name varchar(255), description text, created_at datetime not null, primary k
cloudpackブログ - EC2でMySQL(VP編 VPってなんじゃ？)
今回は、VPの紹介をします。 VPとはVertical Partitioning（垂直パーティショニング）の略で、Spiderと同じく斯波建徳さんの作ったMySQLのストレージエンジンになります。 これは、Spiderの姉妹品のようなもので、1つのテーブルを複数のテーブルにカラム分割します。 イメージとしては、以下のようなものになります。 VIEWに似ていますが、 INSERTできる 複数の分割先のテーブル（子テーブル）でカラムの重複が可能 などの点で、VIEWと異なり、これだけの違いでさまざまなことが可能になります。 VPもSpiderと同じくCommentを利用して設定します。 インストール方法は、EC2でMySQL(Spider編1 Spiderってなんじゃ？)で紹介したSpiderのバイナリにVPも含まれているので、そちらを参照してください。 では、まずは試してみます。 たとえば以
cloudpackブログ - MySQLバイナリログ保存期間をオンラインのまま変更
バイナリログ出力を設定していると、日々変更ログが蓄積していきますが、一定期間分だけ保存するように設定しておかないと無尽蔵に増加してしまいます。 これを制御するパラメータが expire_logs_days になります。 このパラメータに何も指定してないとデフォルト値の 0 になっており、永久に保存されますが、整数値を指定すると、その日数の分だけ保管され、 それより過去のデータは自動的に削除されるようになります。 例: expire_logs_days が 7 だと7日間分のバイナリログだけ保存される expire_logs_days はマニュアルを見ると「Dynamic Variable: Yes」とあるので オンライン（起動中）でも変更可能なようなので、試してみます。 # mysql Welcome to the MySQL monitor. Commands end with ; or
cloudpackブログ - EC2でMySQL(Spider編3 Spiderの先にSpider)
EC2はあまり関係なくなってきていますが、引き続きSpiderの話題になります。 Spiderの特性や構成について考えていくと、Spiderで分割するためのパーティショニングにより、さまざまな分割方法を考えることができます。 また、データが増えていくと、分散した先でもさらに負荷軽減が必要になる可能性も考えられます。 EC2でMySQL(Spider編1 Spiderってなんじゃ？)で少し触れましたが、Spiderはストレージエンジンであり、リンク先のテーブルのストレージエンジンに制限はありません。 ここで、Spiderのリンク先にSpiderテーブルを指定したらどうなるか実験してみました。 構成は、下記のようになります。 ここでは、全てTokyoリージョン内とします。 また、IPは仮のものとなります。 SpiderノードA(111.111.0.1) データノードA-1(111.111.0.
cloudpackブログ - EC2でMySQL(Spider編2 リージョン間SpiderでSSL接続)
少し間が空いてしまいましたが、Spiderの続きになります。 EC2でMySQL(Spider編1 Spiderってなんじゃ？)では、Spiderを使用して書き込みの分散を行いました。 今回は、Spiderによる書き込み分散をリージョン間で試してみます。 構成は以下の通りになります。(IPは仮のものです) Spiderノード(Tokyoリージョン、123.123.123.123) データノード1(Tokyoリージョン、111.111.111.111) データノード2(EUリージョン、222.222.222.222) また、リージョン間はインターネット接続になるため、SSLで接続するのが安全です。 インストールやデータベースの作成、セキュリティグループの設定など基本的な部分は前回と同じなので割愛します。 ちなみにこのサンプルで使用している証明書類は自前の証明書になります。 ○データノードの設
cloudpackブログ - MySQLスレーブ側を作り直す
何らかの問題で、マスターとスレーブの同期が取れなくなってしまうことがあります。 問題は色々なケースがありますが、このような場合に、スレーブの再構築を行う手順を復習のために書いておきます。 参考：MySQLのレプリケーション DB（マスター側） ・内部IPを確認します。 [root@db1 mysql]# ifconfig eth0 Link encap:Ethernet HWaddr 12:31:3E:00:2E:61 inet addr:10.162.48.139 Bcast:10.162.48.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:293449 errors:0 dropped:0 overruns:0 frame:0 TX packets:757109 er
cloudpackブログ - RDS MySQLでmax_connectionsを変更する
RDS MySQLを利用していてmax_connectionsを変更したい場合があります。 そのような場合は、modify_db_parameter_groupを使用して変更します。 まずは、現行のmax_connectionsの確認です。 (m1.largeを利用しているとします。) mysql> show variables like 'max_connections'; +-----------------+-------+ | Variable_name | Value | +-----------------+-------+ | max_connections | 640 | +-----------------+-------+ 1 row in set (0.00 sec) 上記から現在640ということが分かります。 この値を1500に変更したい場合は、下記のようなphpを
cloudpackブログ - MySQLのレプリケーションでマスターサーバを変更
EC2はStop/StartやAMIから起動し直した場合に、Private IP / Private DNS Nameが変更されてしまいます。 MySQLのスレーブサーバで上記を直接指定している場合は、変更されてしまうと下記のように接続エラーになってしまいます。 mysql> show slave statusG ... Last_IO_Error: error connecting to master 'repl@ip-yyy-yyy-yyy-yyy.us-west-1.compute.internal:3306' - retry-time: 60 retries: 86400 ... このような場合は、下記のようにスレーブサーバ上で新しいPrivate IP / Private DNS Nameを指定すれば大丈夫です。 mysql> STOP SLAVE; mysql> CHANGE
cloudpackブログ - Postfix Adminを設定する(SMTP-AUTH/Postfix Admin設定編)
Postfix Adminを設定する(MySQL/postfix/設定編)にてPostfixの設定が完了しましたので、次はSMTP-AUTH/Postfix Adminの設定を行います。 ・SMTP-AUTHの設定 yum install cyrus-sasl-sql yum install cyrus-sasl-plain yum install cyrus-sasl-md5 ・smtpd.confの修正 vi /usr/lib/sasl2/smtpd.conf pwcheck_method: auxprop auxprop_plugin: sql sql_engine: mysql sql_hostnames: localhost sql_user: postfix sql_passwd: postfixpasswd sql_database: postfix sql_select:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
