Post by @spring-mt
**追記 2012/11/05** "sync_binlog = 1のときの値"というタイトルでtumblrにコメント頂いたのですが、tumblrの操作をミスったせいかお名前が分からなくなってしまいました>_< 再度ブログを見て頂けた際は、宜しければtwitterで[@Spring_MT](https://twitter.com/Spring_MT)宛にreply頂ければと思います。。。 MySQL Casual Talks in Fukuoka Vol2で発表した内容の詳細です。 ## AWSでMySQLのベンチを取ってみた @Spring_MT ## ベンチマークをとったマシン * EC2 Smallインスタンス 項目 | 詳細 | ----|---- CPU Cores | 1 Core CPU Units | 1 ECU Memory | 1.7 GB ## ベンチマークを取るテー
大きなサイズのデータをmyisamからinnodbに移行する検証をしたメモ - Road To Nowhere
ハマってなんとか解決したことや、現状困ったりしていることを書いてみる。 前置き 対象のデータ（現在1テーブル）は、約1億レコード、50G。引き続き膨張していくことが予想される。 今はmyisamで運用。更新処理が非常に高負荷。しかもロックが発生するため、オンライン中の更新ができない。1日1回新旧のテーブルを置き換えることで更新。 目指すところは、参照のパフォーマンスを落とさずにリアルタイム更新。次の方向で検証中。 まずテーブルを参照時の条件に沿う形で分割。さらに更新する単位でパーティショニング。これにより参照＆更新のパフォーマンスアップを狙う。 myisamからinnodbにすることでロックなしでオンライン中の更新を実現にする。 検証環境 OS: CentOS 5.5 MySQL: 5.5.8 サーバの搭載メモリ: 32G ibdata1、大きくなり過ぎ！ myisamと違ってinnodb
MySQL :: MySQL 8.0 リファレンスマニュアル :: 15.6.1.5 MyISAM から InnoDB へのテーブルの変換
信頼性とスケーラビリティを向上させるために InnoDB に変換する MyISAM テーブルがある場合は、変換する前に次のガイドラインとヒントを確認してください。 以前のバージョンの MySQL で作成されたパーティション化された MyISAM テーブルは、MySQL 8.0 と互換性がありません。 このようなテーブルは、パーティション化を削除するか、InnoDB に変換して、アップグレード前に準備する必要があります。 詳細は、セクション24.6.2「ストレージエンジンに関連するパーティショニング制限」を参照してください。 MyISAM テーブルから移行するときに、結果をキャッシュする際に必要でなくなったメモリーが解放されるように、key_buffer_size 構成オプションの値を小さくします。 InnoDB テーブル用のキャッシュメモリー割り当てと同様の役割を担う innodb_buf
Provisioned IOPSの検討 - JPOUG Advent Calendar 2012 - SH2の日記
2012年9月にAmazon RDSでProvisioned IOPSというサービスが利用できるようになりました。本日はこれを題材にして、IOPSを保証するということについて勉強していきたいと思います。このエントリは、JPOUG Advent Calendar 2012の17日目となります。16日目は@maroon1stさんでした。 Amazon RDSについては、@horiuchiさんが15日目のエントリでまとめ記事を書いていらっしゃいます。Provisioned IOPSについては記事の反響で第3位ということで、なかなか注目度が高かったことが分かりますね。 Amazon RDS 2012年 サービスアップデートまとめ - Amazon Web Services ブログ 【AWS発表】Amazon RDS でハイパフォーマンスなプロビジョンドIOPSストレージを利用可能に(東京リージョン
Nix::WebLab : MySQL(innodb)の再起動 で AUTO_INCREMENTカラム の値がリセット？！
2011年10月14日18:36 カテゴリMySQLMySQL5.1系 MySQL(innodb)の再起動 で AUTO_INCREMENTカラム の値がリセット？！ こちらも以前から気にはしていたのですが、実際に問題が発生したので記録を残しておきます。 InnoDB と MyISAM の AUTO_INCREMENT の違い InnoDBとMYISAMのAUTO_INCREMENT検証 MYSQL.InnoDBでAUTO_INCREMENT値はメモリにだけ保存する。 AUTO_INCREMENTの挙動まとめ（InnoDB） これを知っておかないと、MySQLサーバの再起動でDBデータの不整合が発生するかもしれません！ いずれも同じ問題に触れていますが、公式ドキュメントでは以下のように記載されています。 AUTO_INCREMENT カラムが InnoDB 内でどのように機能するか Inn
MyISAMからInnoDBへ切り替えるときの注意点
MySQLを使い始めて間もない人がよく陥る罠の中に、気づくと使ってるストレージエンジンがMyISAMだった！ということがある。デフォルトのストレージエンジンはMyISAMなので、MySQLに詳しくない人たちが比較的陥りやすい罠なのだ。そもそもストレージエンジンという概念自体がMySQL独自のものなので仕方のない話である。MyISAMは素晴らしいストレージエンジン（たとえばこのYahoo!の中の人による投稿で言われているように）であるが、長所もあれば短所もある。例えば、 トランザクション対応ではない。 クラッシュセーフではない。 更新と参照が入り乱れた場合の同時実行性能がよくない。 テーブルが大きく（数億行とか）なるとINSERTの性能が劣化する。 などなど。特に前者の2つが問題で、アトミックな操作が必要なところでロジックを実装出来なかったり、サーバがクラッシュした時にデータがお亡くなりにな
[MySQL]複合キーAUTO_INCREMENTのMyISAMをInnoDBに移行する
今回は敬語で書きます。ちょっと弱気です。深い理由はありません。 間違っているところがあったらビシバシご指摘ください。 やっとInnoDBが使えるMyISAMよりInnoDBのほうが優位な点が多くなってからだいぶ経つのですが、ウチでは夜間のバックアップをOSファイルコピーでやっていたため「MyISAM縛り」がありました。 最近になってmysqldumpを利用するよう変更するなどして、やっと縛りを取り払うことができました。 本格的にInnoDBを使い始めようと思ってるところです。 しかし、ただ単純にALTER TABLEしてしまえばよいわけではありません。 MyISAMからInnoDBへの移行についてはnippondanji氏のブログでも触れられていますが、いくつか注意すべき点があります。 漢(オトコ)のコンピュータ道: MyISAMからInnoDBへ切り替えるときの注意点 1年半以上まえのエ
MySQLリモートDBの結果をローカルCSVファイルに出力する方法 | 開発メモるアル
MySQLのデータをCSVファイルに出力したい場合、 SELECT … INTO OUTFILE 構文を使うのがよくあるパターンなのですが、 DBサーバーがリモートホスト上にある場合はこの方法が使えません。 CSVファイルに出力するコマンド このコマンドで、リモートDBの結果をローカルCSVファイルに出力できます。 構文 mysql -u [ユーザー名] -p -h [DBサーバーホスト名] [DB名] -e "`cat [実行SQLファイル名]`" | sed -e 's/\t/,/g' > [出力CSVファイルパス] 実行例 $ mysql -u test -p -h dbhost testdb -e "`cat outcsv.sql`" | sed -e 's/\t/,/g' > /tmp/test.csv いろいろ調べた結果たどり着いたのが以上の方法です。 理由とか気にならない人は
[MySQL] mysqldump のオプションを整理してみる | バシャログ。
ベイスたん かわいいよ、ベイスたん・・・！ということで、みなさんこんにちは nakamura です。 またまた MySQL のちょいネタですが、今回は mysqldump コマンドのオプションをいくつか整理してみようと思います。mysqldump なんて数え切れないほど使っているはずなのに、まだまだ知らないオプションがあったりするんですね～。知ってるとちょいちょい使える場面あると思いますよ！ --opt --opt は mysqldump コマンドのデフォルトオプションであり、--add-drop-table, --add-locks, --create-options, --disable-keys, --extended-insert, --lock-tables, --quick, --set-charset をひとつのオプションにまとめたものです。それぞれオプションの解説は以下の通
![[MySQL] mysqldump のオプションを整理してみる | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/20c0b0df62783283e7ba333774006e31f6235c74/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fdb01.jpg)
[MySQL] プロンプトの表示を変えておくといいかもしれない | バシャログ。
もう 11 月ってウソでしょ・・・時の流れの速さに引くわ～。どうもこんにちは nakamura です。 完全にちょいネタですが、最近知った MySQL の設定で mysql コマンドで接続した際のプロンプトの表示を変える方法をご紹介しようと思います。screen とかで複数の DB に同時につなぐケースがある人はこれやっとくと便利ですよ。 設定方法 と言ってもブログに書くほどでもないボリュームですが・・・。 $HOME/.my.cnf にこんな感じの設定を追加するだけです。全てのユーザに適用させたければ /etc/my.cnf に書いてください。 [mysql] prompt = '\u@mysql://db1.example.com/\d $ ' 上記を書いた上で例えば information_schema に接続してみるとプロンプトはこんな感じになります。 root@mysql://d
MySQL の便利機能をメモ | バシャログ。
先日、台風が来てるというのに終電間際の電車で寝過ごし、どしゃ降りの中土地勘のない場所を 1 時間ほど歩いた kimoto です。ネタとして楽しんでいた iOS6 の地図をこんなに恨めしく思う事になるとは…。いまだに脚が痛い。 今回は MySQL で、頻繁に使うことはないものの便利なためちょいちょい使う。そして、その度にググっている…。 そんな機能達をまとめてメモっておこうと思います。 目次はこんな感じ。ではどうぞ。 GROUP で集計したデータの合計値を出力したい！ 結果を結合した状態で取得したい！ SELECT の結果を INSERT したい！ 結果をランダムに取得したい！ まずはこんなデータを用意してみました mysql> SELECT * FROM users; +----+-----------+-----+-----+------+ | id | name | sex | age
[MySQL] ステータス取得系の SQL まとめ | バシャログ。
夏休みまだ取れてないよ～・・・夏終わっちゃうよ～・・・みなさん、こんちには nakamura です。 コンテンツ DB への更新・参照等は日々使うので割りと覚えやすいですが、パフォーマンスチューニング等行う際にテーブルや MySQL 自体のステータスを取得する SQL ってしょっちゅう使うわけではないので結構忘れがちですよね～。今日はその辺りの SQL 文を備忘録も兼ねてまとめてみようと思います。 テーブル関連 テーブルの一覧を取得。 show tables; テーブル構造を取得。 describe table_name; ; describe にはショートカットが用意されています。 desc table_name; CREATE TABLE 文を取得。 show create table table_name; テーブルの状態を取得。 ; 全てのテーブルを表示 show table st
[MySQL] サイト無停止で ALTER TABLE を可能にする pt-online-schema-change | バシャログ。
早く沖縄オフィス作ってくれないかなー寒くて仕事にならないよ！みなさんこんにちは nakamura です。 ローンチ後もサイトの運用を受け持っているとどうしても機能追加などで DB のテーブル構成を変えなきゃいけないって事あると思います。データ量がさほど多くなければ問題にならないかもしれませんが、MySQL の ALTER TABLE はテーブル全体に対して書き込みロックをかけてしまうため、サイズの大きなテーブルの場合結構な時間サイトを止める必要が出てきてしまったり。。。いい加減なんとかならないのかよ！と思って探していたら中々いい感じのツールを見つけたので今回はそのご紹介です。 Percona Toolkit pt-online-schema-change は Percona Toolkit という MySQL を使う上での便利機能をまとめたツール群に含まれています。pt-online-sc
Sequel Pro ｰ SSH経由でも接続できるGUIのMySQLクライアント | バシャログ。
もう2月後半なんですが、5年以上使ってきたコートがいろいろほつれたりボタンとれたりしてだましだまし使ってる状態だったので、買い直したtanakaです。もうシーズンオフになってから来年用に安くなったものを買えば良いんじゃないか、とも一瞬思いましたが。 今日はあるサイトで知った、Mac用のMySQLクライアント Sequel Pro が非常に便利なので、紹介します。 Sequel Proの入手と特徴 本家サイトからdmgファイルをダウンロードして、インストールしてください。 Sequel Pro いままで使ったことのあるツール(phpMyAdmin, IDE付属のMySQLクライアント)とSequel Proを比べたときの違い、長所は SSH経由でリモートホストのMySQLサーバーに接続できる SQL入力時のオートコンプリート(キーワード、テーブル名、フィールド名補完機能)が強力 の二点です。
MySQLのmysqldump で --skip-opt を使うときに気をつけるただひとつのオプション - sakaikの日々雑感～(T)編
久々にMySQL関係でハマりました。原因は mysqldump です。実は数ヶ月前にも同じ現象で悩み、その時は深い調査しないまま対処療法をしてしまいました。今回、やはり技術者たるもの、しっかりと根本原因を追及しなければならないなと反省した次第です。 MySQL 5.0 以降の mysqldump では --opt オプションがデフォルトで有効となっています。これは以下の８つのオプションを一括して指定するオプションです。 --add-drop-table --add-locks --create-options --disable-keys --extended-insert --lock-tables --quick --set-charset この中で --extended-insert オプションがあることにより、レコードをコンマ区切りにして、できるかぎり一括してひとつのINSERT文
Amazon RDS で肥大化したslow_logテーブルをクリアする方法
以前AmazonRDSでslow queryを出力するようにする方法にてRDSでslow_logを出力するように設定すると、mysqlデータベースのslow_logテーブルにログが保存されるようになるのですが、このテーブルに保存されたデータは、RDSで作成できるユーザーの権限では削除することができません。 mysql> delete from slow_log; ERROR 1556 (HY000): You can't use locks with log tables. mysql> truncate table slow_log; ERROR 1044 (42000): Access denied for user 'xxxx'@'%' to database 'mysql' このことはgeneral_logにも言えるのですが、 これに対して、Amazonから以下のストアドプロシージ
MySQLデータベース自動バックアップ運用(mysqlhotcopy) - Fedoraで自宅サーバー構築
MySQLデータベースの自動バックアップを行なう。 ここでは、MySQL全データベースをサーバー内の別ディレクトリへバックアップする。 [root@fedora ~]# vi mysql-backup.sh ← MySQLデータベースバックアップスクリプト作成 #!/bin/bash PATH=/usr/local/sbin:/usr/bin:/bin # バックアップ先ディレクトリ BACKDIR=/backup/mysql # MySQLrootパスワード ROOTPASS=Mysqlrootパスワード # バックアップ先ディレクトリ再作成 rm -rf $BACKDIR mkdir -p $BACKDIR # データベース名取得 DBLIST=`ls -p /var/lib/mysql | grep / | tr -d /` # データベースごとにバックアップ for dbname
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MYISAMとINNODBでauto_increment検証 – variable.jp [データベース,パフォーマンス,運用]
http://www.xn--vps-073b3a72a.com/
viste.com