cloudpackブログ - EC2でMySQL(世界編1 Spiderとレプリケーションで世界進出)
EC2でMySQL(運用編 VP＋Spiderで無停止負荷分散)などを紹介してきましたが、再び、Spiderの話題になります。 WEBアプリを世界展開する際に、要件の1つとして、世界各国のユーザは全てのデータを参照できる必要がありますが、データの登録は各国、地域の担当者が各自のデータを登録したい、というケースが多々あると思います。 例として、商品の販売サイトで、EUと日本にそれぞれ管理者がいるとします。 その場合のユースケースとしては、下記となります。 EUの管理者はEUの商品を登録する 日本の管理者は日本の商品を登録する ユーザーは全ての商品を閲覧できる この時、商品を登録するDBがどのリージョンにあるかによって、ユーザや管理者の間でレスポンススピードに差が出ます。 DBを日本に置くとEUのユーザや管理者には遅いシステムとなってしまい、EUに置くとその逆になります。 そのため、各リージョ
cloudpackブログ - MySQLユーザを作成する
今回は、基本に戻りMySQLのユーザ作成について紹介します。 MySQLを利用する場合、rootユーザが存在しますが、 可能であればroot以外のユーザで作業することが望ましいと思います。 そのような場合は、下記の2つのコマンドを実行します。 GRANT ALL PRIVILEGES ON *.* TO ユーザ名@"%" IDENTIFIED BY 'パスワード' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO ユーザ名@localhost IDENTIFIED BY 'パスワード' WITH GRANT OPTION; 上記の場合、管理者権限が付与されていますので、一般ユーザ権限のみ付与したい場合は、 下記コマンドを実行します。 GRANT SELECT,INSERT,UPDATE,DELETE ON データベース名.* TO ユーザ名
cloudpackブログ - EC2でMySQL(運用編 VPで無停止ALTER)
WEBサイトを運用をしている場合、仕様の追加変更やパフォーマンス対策など、様々な理由で、テーブルの構造を途中で変更する必要性が出てきます。 このような場合、通常では一時的にWEBサイトを停止し、メンテナンス期間中にDBにALTERをします。 しかし、このような機会が頻繁に得られない場合などは、稼働中に変更しなければならないケースもあるかと思います。 そこで今回は、EC2でMySQL(VP編 VPってなんじゃ？)で紹介したVPを利用して、 停止することなくテーブルにALTERをする方法を紹介したいと思います。 初期のテーブルが以下の通りとしますと、 create table gift( id int auto_increment, gift_name varchar(255), description text, created_at datetime not null, primary k
cloudpackブログ - EC2でMySQL(VP編 VPってなんじゃ？)
今回は、VPの紹介をします。 VPとはVertical Partitioning（垂直パーティショニング）の略で、Spiderと同じく斯波建徳さんの作ったMySQLのストレージエンジンになります。 これは、Spiderの姉妹品のようなもので、1つのテーブルを複数のテーブルにカラム分割します。 イメージとしては、以下のようなものになります。 VIEWに似ていますが、 INSERTできる 複数の分割先のテーブル（子テーブル）でカラムの重複が可能 などの点で、VIEWと異なり、これだけの違いでさまざまなことが可能になります。 VPもSpiderと同じくCommentを利用して設定します。 インストール方法は、EC2でMySQL(Spider編1 Spiderってなんじゃ？)で紹介したSpiderのバイナリにVPも含まれているので、そちらを参照してください。 では、まずは試してみます。 たとえば以
cloudpackブログ - MySQLバイナリログ保存期間をオンラインのまま変更
バイナリログ出力を設定していると、日々変更ログが蓄積していきますが、一定期間分だけ保存するように設定しておかないと無尽蔵に増加してしまいます。 これを制御するパラメータが expire_logs_days になります。 このパラメータに何も指定してないとデフォルト値の 0 になっており、永久に保存されますが、整数値を指定すると、その日数の分だけ保管され、 それより過去のデータは自動的に削除されるようになります。 例: expire_logs_days が 7 だと7日間分のバイナリログだけ保存される expire_logs_days はマニュアルを見ると「Dynamic Variable: Yes」とあるので オンライン（起動中）でも変更可能なようなので、試してみます。 # mysql Welcome to the MySQL monitor. Commands end with ; or
cloudpackブログ - EC2でMySQL(Spider編3 Spiderの先にSpider)
EC2はあまり関係なくなってきていますが、引き続きSpiderの話題になります。 Spiderの特性や構成について考えていくと、Spiderで分割するためのパーティショニングにより、さまざまな分割方法を考えることができます。 また、データが増えていくと、分散した先でもさらに負荷軽減が必要になる可能性も考えられます。 EC2でMySQL(Spider編1 Spiderってなんじゃ？)で少し触れましたが、Spiderはストレージエンジンであり、リンク先のテーブルのストレージエンジンに制限はありません。 ここで、Spiderのリンク先にSpiderテーブルを指定したらどうなるか実験してみました。 構成は、下記のようになります。 ここでは、全てTokyoリージョン内とします。 また、IPは仮のものとなります。 SpiderノードA(111.111.0.1) データノードA-1(111.111.0.
cloudpackブログ - EC2でMySQL(Spider編2 リージョン間SpiderでSSL接続)
少し間が空いてしまいましたが、Spiderの続きになります。 EC2でMySQL(Spider編1 Spiderってなんじゃ？)では、Spiderを使用して書き込みの分散を行いました。 今回は、Spiderによる書き込み分散をリージョン間で試してみます。 構成は以下の通りになります。(IPは仮のものです) Spiderノード(Tokyoリージョン、123.123.123.123) データノード1(Tokyoリージョン、111.111.111.111) データノード2(EUリージョン、222.222.222.222) また、リージョン間はインターネット接続になるため、SSLで接続するのが安全です。 インストールやデータベースの作成、セキュリティグループの設定など基本的な部分は前回と同じなので割愛します。 ちなみにこのサンプルで使用している証明書類は自前の証明書になります。 ○データノードの設
cloudpackブログ - MySQLスレーブ側を作り直す
何らかの問題で、マスターとスレーブの同期が取れなくなってしまうことがあります。 問題は色々なケースがありますが、このような場合に、スレーブの再構築を行う手順を復習のために書いておきます。 参考：MySQLのレプリケーション DB（マスター側） ・内部IPを確認します。 [root@db1 mysql]# ifconfig eth0 Link encap:Ethernet HWaddr 12:31:3E:00:2E:61 inet addr:10.162.48.139 Bcast:10.162.48.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:293449 errors:0 dropped:0 overruns:0 frame:0 TX packets:757109 er
cloudpackブログ - RDS MySQLでmax_connectionsを変更する
RDS MySQLを利用していてmax_connectionsを変更したい場合があります。 そのような場合は、modify_db_parameter_groupを使用して変更します。 まずは、現行のmax_connectionsの確認です。 (m1.largeを利用しているとします。) mysql> show variables like 'max_connections'; +-----------------+-------+ | Variable_name | Value | +-----------------+-------+ | max_connections | 640 | +-----------------+-------+ 1 row in set (0.00 sec) 上記から現在640ということが分かります。 この値を1500に変更したい場合は、下記のようなphpを
cloudpackブログ - MySQLのレプリケーションでマスターサーバを変更
EC2はStop/StartやAMIから起動し直した場合に、Private IP / Private DNS Nameが変更されてしまいます。 MySQLのスレーブサーバで上記を直接指定している場合は、変更されてしまうと下記のように接続エラーになってしまいます。 mysql> show slave statusG ... Last_IO_Error: error connecting to master 'repl@ip-yyy-yyy-yyy-yyy.us-west-1.compute.internal:3306' - retry-time: 60 retries: 86400 ... このような場合は、下記のようにスレーブサーバ上で新しいPrivate IP / Private DNS Nameを指定すれば大丈夫です。 mysql> STOP SLAVE; mysql> CHANGE
cloudpackブログ - Postfix Adminを設定する(SMTP-AUTH/Postfix Admin設定編)
Postfix Adminを設定する(MySQL/postfix/設定編)にてPostfixの設定が完了しましたので、次はSMTP-AUTH/Postfix Adminの設定を行います。 ・SMTP-AUTHの設定 yum install cyrus-sasl-sql yum install cyrus-sasl-plain yum install cyrus-sasl-md5 ・smtpd.confの修正 vi /usr/lib/sasl2/smtpd.conf pwcheck_method: auxprop auxprop_plugin: sql sql_engine: mysql sql_hostnames: localhost sql_user: postfix sql_passwd: postfixpasswd sql_database: postfix sql_select:
cloudpackブログ - MySQLのユーザー一覧を確認
久しぶりにメンテナンスをするMySQLで、そのときの資料がすぐに見つからないときに、ユーザー一覧を確認するのに便利です。 mysql> select Host, User, Password from mysql.user; +--------------+----------+-------------------------------------------+ | Host | User | Password | +--------------+----------+-------------------------------------------+ | localhost | root | | | localhost | | | | % | test | *EF7F84CF1B6023B08DFA2D65123DD9F793F82E0D | +--------------+--
cloudpackブログ - EC2でMySQL(Spider編1 Spiderってなんじゃ？)
今回はEC2上での、MySQLとSpiderについての記事になります。 MySQLでの負荷分散となるとレプリケーションが主でしたが、参照系の負荷は分散できても更新処理は分散することが難しく、それがボトルネックになっていましたが、このSpiderを利用すると、更新も参照も負荷分散することができます。 Spiderは斯波健徳さんが開発したMySQLのストレージエンジンで、MySQLでのシャーディングという、データを分散して保存することで負荷を分散する処理を行うことができます。 尚、Spiderには以下の機能と特徴があります。 異なるMySQLインスタンスのテーブルを同一インスタンスのテーブルのように扱うことが可能になります。 XAトランザクションを含むトランザクションをサポートしているため、更新系DBのクラスタリングに 利用することが可能です。 テーブルパーティショニングをサポートしているため
cloudpackブログ - MySQLのレプリケーションをSSL接続で
MySQLにSSLで接続できるようになったので、今度はレプリケーションをSSLで行ってみます。 MySQLのレプリケーション自体は、基本的にMySQLのレプリケーションで紹介した通りですが、変更点は次の通りとなります。 ○マスターサーバ (1)上記で紹介したようにMySQLにSSLで接続できるようにしておきます。 (2)下記のようにレプリケーションに利用するユーザーをREQUIRE SSLオプションでSSL接続のみ受け付けるようにします。 mysql> GRANT REPLICATION SLAVE ON *.* TO repl@xxx.xxx.xxx.xxx IDENTIFIED BY 'xxxxxxxx' REQUIRE SSL; ○スレーブサーバ (3)CHANGE MASTER TO …を行うときにSSL関係の値も指定します。 mysql> CHANGE MASTER TO ->
cloudpackブログ - CentOS5.6にMySQL4.0.24のインストール
少し今さらという感じの話しになりますが、とある案件で、システムをすべてAWSに移行する作業があったのですが、アプリ依存で、どうしてもMySQLを旧バージョンで動かさないといけない案件に遭遇しました。 MySQL4.1系から5系にするのは以前に行ったのですが、MySQL4.0系から5系にするとアプリが動作しませんでした。 そこで、アプリの改修が大規模になってしまうということで、現行と同バージョンのままで対応することにしました。 まず、MySQLをインストールするために、下記のRPMをダウンロードします。 （関連モジュールもダウンロードします。） wget ftp://ftp.pbone.net/mirror/mirror.cheetaweb.com/MySQL/4.0/MySQL-server-4.0.24-0.x86_64.rpm wget ftp://ftp.pbone.net/mirr
cloudpackブログ - MySQLにSSLで接続
MySQLにインターネット経由で接続するような場合は、SSL接続にしたいので試してみました。 まずは、現状の確認です。SSL接続が無効になっていることがわかります。 mysql> SHOW VARIABLES LIKE '%ssl%'; +---------------+----------+ | Variable_name | Value | +---------------+----------+ | have_openssl | DISABLED | | have_ssl | DISABLED | | ssl_ca | | | ssl_capath | | | ssl_cert | | | ssl_cipher | | | ssl_key | | +---------------+----------+ SSL接続には、当然、証明書類が必要になるので、下記のディレクトリで作成します。
cloudpackブログ - EC2でMySQL(簡単インストール編)
今回は普通のMySQLと同じですが、まずは基本編ということで簡潔に進めたいと思います。 そこで今回は、linuxバイナリを使用してみます。 まずは、ファイルをダウンロードして展開します。 # su - # cd /usr/local/src # wget http://downloads.mysql.com/archives/mysql-5.5/mysql-5.5.14-linux2.6-i686.tar.gz # tar xzvf mysql-5.5.14-linux2.6-i686.tar.gz # mv mysql-5.5.14-linux2.6-i686 /usr/local/mysql-5.5.14 # ln -s /usr/local/mysql-5.5.14 /usr/local/mysql 次にユーザーを作成し、所有権などを設定します。 # groupadd mysql #
cloudpackブログ - RDS MySQL マイナーアップデートについて
先日、amazonから下記のようなメールを受信しました。 【件名』 Amazon RDS: Announcing auto-upgrade schedule for MySQL 5.1 and MySQL 5.5 【本文】 Dear Amazon RDS Customer, ～ ～ US West (Northern California), Asia Pacific (Singapore) and Asia Pacific (Tokyo): July 25th to July 31st, 2011 US East (Virginia) and EU (Ireland): Aug 1st to Aug 7th, 2011 ～ これは、下記の日程にて各リージョンのMySQLをマイナーアップデートするというお知らせでした。 ○7/25～7/31 US West (Northern Califo
cloudpackブログ - MySQL 破損したテーブルを復旧させる
先日、MySQLを操作していたら、下記のようなエラーに遭遇しました。 mysql> select * from テーブル名; ERROR 144 (HY000): Table './データベース/テーブル名' is marked as crashed and last (automatic?) repair failed 上記エラーは、テーブルが破損していることを示しています。 エラー確認としては、check tableコマンドを利用します。 mysql> check table テーブル名 quick; +------------------+-------+----------+----------------------------------------------------------+ | Table | Op | Msg_type | Msg_text | +-------
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudpackブログ - EC2でMySQL（リージョン間レプリケーション編）