そのALTER TABLEがオンラインALTER TABLEかどうかを確かめる方法
同じ構造を持った空のテーブルを作ります mysql57> SHOW CREATE TABLE t1\G *************************** 1. row *************************** Table: t1 Create Table: CREATE TABLE `t1` ( `num` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `val` varchar(32) DEFAULT NULL, UNIQUE KEY `num` (`num`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 1 row in set (0.00 sec) mysql57> CREATE TEMPORARY TABLE tt1 LIKE t1; Query OK, 0 rows affecte
ロック待ちでハマる前に知りたかったMySQL InnoDBの行ロックとテーブルロックの挙動
整合性をしっかりとらないといけない処理ではトランザクションをかけるのですが、どうもトランザクションのロック待ちでタイムアウトしてしまうことがあるようです。 java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction トランザクションでテーブル全体にロックがかかってしまう 要するに、「トランザクションを実行するためにロックを獲得しなければいけないが、他のコネクションがロックを握っていて、ロックが獲得できない」ということです。 これの根本的な原因は何かと調べますと、InnoDBでトランザクションを使用するときに、行ロックではなく、テーブル全体にロックがかかってしまう場合がある、というところにたどり着きました。 「InnoDBで行ロック/テーブルロックになる条件」を見ながら、少し試してみます。 テーブ
MySQLのAUTOCOMMIT（オートコミット）覚え書き – OpenGroove
MySQLの機能のひとつ、AUTOCOMMIT（オートコミット）が有効／無効でどのように挙動が変わるのか、今イチ理解できていない。やっぱり、一回書いておかないと。 前提として、トランザクションセーフであるInnoDBテーブルが対象であること（MySAMはトランザクションをサポートしていない）。なお、この記事内における「暗黙のうちに、暗黙的」という表現は「自動的に」と同義語と 捉えるものとする。（・・・と勝手に決めます） AUTOCOMMIT（オートコミット）有効／無効の違い AUTOCOMMIT（オートコミット）を有効にするか無効にするかにより、トランザクションの開始／終了の方法が変化する。 オートコミットを有効にした場合（デフォルトで有効） この場合のトランザクションは単一のSQL文実行時に暗黙のうちに、またはSTART TRANSACTION文によって明示的に開始される。 この中でST
INSERT ON DUPLICATE KEY UPDATE って便利！！ - スタジオ・アルカナ技術ブログ
プライマリーキーや、ユニークキーが重複した際にUPDATEをかける、MySQLの便利な構文INSERT ON DUPLICATE KEY UPDATE。 これを使って一括更新(挿入)する方法を今更ながら知りましたので、メモ！ テスト用のテーブルの準備 まず、こんなテーブルを作成。 CREATE TABLE `duplicate` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `value` varchar(255) NOT NULL, `update_at` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHAR
Microsoft PowerPoint - database_stress_testing_tools_5_publish.ppt
1 (5) ( ) JPOUG> SET EVENTS 20120721 2012/07/21 2 • DB Oracle MySQL – RDBMS – Oracle MySQL 8 2 • Twitter @sh2nd • id:sh2 • 3 • – 1 http://d.hatena.ne.jp/sh2/20090802 – 2 http://d.hatena.ne.jp/sh2/20090816 – 3 http://d.hatena.ne.jp/sh2/20100112 – 4 http://d.hatena.ne.jp/sh2/20100510 • 4 • 2 4 5 • • A • D A • Apache Bench • Apache JMeter • HP LoadRunner B • SPECjbb2005 C • Oracle Real Application Te
データベース負荷テストツールまとめ(1) - SH2の日記
Webシステム開発において性能試験を行う場合、hp LoadRunnerやApache JMeterといったウェブブラウザをエミュレーションしてくれる負荷テストツールを用いるのが定番だと思います。そんななか、たまにデータベース単体での性能を測ってほしいと頼まれることがあるので、そうした便利なツールはあるのかなと思って調べてみました。 データベースに対する負荷テストツールは探すとたくさん出てくるのですが、案件で使用しているRDBMSに対応していなかったり、トランザクション仕様が希望と異なっていたり、微妙に作りが悪かったりと、ニーズに合致したツールはすぐには見つかりません。そんなときにこのエントリがツール探しの参考になればと思います。 pgbench 対応RDBMS：PostgreSQL 対応OS：Linuxなど 言語：C 作者：石井達夫氏 ライセンス：独自(BSDライセンスに近い) トランザ
Cloud9でMySQLを使う - Qiita
Cloud9でDB接続するやり方を毎回ggってるのでメモ。 Terminal側での処理 まずは起動 $ mysql-ctl start mysql> の入力画面にする $ mysql-ctl cli 新規DBや新規テーブルの作成はTerminalから直接SQL叩けばOK ※phpMyadminもインストールできる $ phpmyadmin-ctl install Setting Up PHPMyAdmin ちなみにphpMyadminのURIは https://[workspace名]-[UserName].c9users.io/phpmyadmin/index.php PHP側からDBを使う $servername = getenv('IP'); $username = getenv('C9_USER'); $password = ""; $database = "使用するDB名"; $
MariaDBをCentOS 6にyumでインストールする方法
MariaDBとは？ MariaDBは、MySQL派生のオープンソースな関係データベース管理システム（RDBMS）である。 MariaDBの開発は、MySQLのオリジナルコードの作者でMySQL ABの創設者でもあるMichael “Monty” Wideniusにより、 現在オラクルによって所有されているMySQLをフォークして立ち上げられたプロジェクトにより行われている。 配布ライセンスは、GNU General Public Licenseのバージョン2。 via http://ja.wikipedia.org/wiki/MariaDB 基本的にはMySQLと互換のリレーショナルデータベースです。 特別な学習コストなく使えるそうです。 つい先日、MariaDB 10.0.1がリリースされたので、インストールをしてみました。 MariaDBをインストール CentOS 6.3で試してみ
高負荷サイトのボトルネックを見つけるには : DSAS開発者の部屋
はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立
RDSのデータをmysqldumpしてS3に保存する - (ﾟ∀ﾟ)o彡 sasata299's blog
2014年01月07日13:52 AWS Ruby RDSのデータをmysqldumpしてS3に保存する 弊社ではデータを AWS の RDS を使って管理しています。バックアップは自動で取ってくれるんですが、RDS では残せるバックアップのスナップショット数が決まっているのでもう少し過去のバックアップも取りたい。気軽にバックアップを S3 に保存することは出来ないものか。 追記：14:12 RDS のスナップショットを手動で取ったりすれば良いんですけど、アカウントが悪用されたりして全部消えちゃったら怖いなぁと。そういう背景もあって念のため S3 上にも置いておきたいなぁと思った次第です(＊ﾟ∀ﾟ) 追記：14:17 バックアップのスナップショット数増やすことも可能みたいですね。 @sasata299 あとAmazonに申請すればRDSのスナップショットの上限値を増やせるらしいので参考にど
Amazon RDS編～ログ管理について～
こんにちは！ JQです。 前回までのレシピでは『Amazon VPCを使ってWEBサーバを構築しよう！パート①、パート② 』と称して、VPC上でのWEBサーバ構築についてご紹介していたかと思います。 今回は『Amazon RDSのログに関するお話』をしたいと思いますが、その前に『Amazon RDS』に関する情報をご紹介します！ 先日、WEBコンソールから今まで確認出来なかったRDSのmysql_errorのログが確認出来る様になりました。 RDSもさらに便利になっていきますね！ さて、それでは本題であるAmazon RDSのログに関してお話していきます。 まずは、RDSのerror.logの設定方法をしていきます。 1.RDSの画面に移動して、ログを見たいRDSを選択します。 2.画面下部のタブに「Logs」という項目があるので、そちらをクリックします。 3.error/mysql-er
mysqldump と repair with keycache - いちいの日記
でかいテーブルをdumpしてimportしなおすときに、alter enable keysで "repair with keycache" に悩まされてたんですが、MySQL Forums見てたらそのものズバリなのを見つけたのでメモ。 http://forums.mysql.com/read.php?35,155467,166902 ご存知の方には当たりまえな感じですが、自分はそもそも repair by sorting と repair with keycache の2通りのメッセージが出し分けられていること自体に気づいてませんでした。 mysqldump mysqldumpをつかってデータベースを(そのままimportに使える)SQL文に吐き出します。 % mysqldump -uuser -ppass -hhost hoge > hoge.sql このときhoge.sqlの中身はこん
大きめのテーブルにカラムやインデックスを追加する際の注意 - LukeSilvia’s diary
先日大きめ(といっても500万行くらい)のテーブルにインデックス付きのカラムを追加しようとして痛い目にあったので調査。 大きめのテーブルにカラムやインデックスを追加するとどうなるか 今回は単純に、「ALTER TABLE 〜 」で追加しようとしました。追加するカラムは3つで、 varchar(255) インデックスなし varchar(255) ↓のdate 型カラムとマルチカラムインデックスの形式のユニークインデックスあり date インデックスあり SQL を実行し、状況を「SHOW PROCESSLIST」で監視していたら、1つ目のカラム追加で次のような状態に… 最初にState が「copy to tmp table」状態になり、次の状態に遷移するまで1時間かかる 次にState が「Repair with keycache」状態になり、完了までに1時間かかる 次のカラム追加に対す
MySQL バイナリログを使ったデータリカバリ | Ore no homepage
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
xdebugを使ったコードカバレッジ集計
こんにちは、牧野です。久々のブログになりました。。 私事ですが、昨年末、鎌倉に引っ越しました。 今は毎日、鎌倉から1時間半くらいかけて会社に通っています。 前の自転車通勤と比べて片道1時間くらい余計にかかるのですが、通勤電車は混んでおらず（大体11時出社）、席に座って好きなことをして過ごせるので、かえって楽になりました。 会社が始まるのが遅ければ、鎌倉暮らしはおすすめです。 さて、今回はPHPのコードカバレッジについてです。 コードカバレッジとは、プログラムコードのうちどれくらいの割合実行されたのかを表すものです。 例えば、システムのテストをした結果、コードカバレッジが100%になっていれば、全てのプログラムを一通りテストできた、ということが言えます。 今回やりたかったのは、ウェブアクセスして動作確認を進めていく中で、全体のうちどれくらいの割合テストできたのか、どの部分がまだテストできてい
Mysqlでinsert、delete、updateが遅い場合の対策 - Qiita
遅い原因 insertする際に、対象テーブルのインデックスブロックを読み込んで、 更新かけるので、インデックスサイズが大きいと、パフォーマンスが落ちる。 なので、テーブルのデータ増加が原因で、I/Oが発生し、徐々に遅くなっていく。 インメモリで処理できなくなると、突如としてパフォーマンスに影響が出やすい テーブルサイズをできるだけ小さく(レコード長を小さく) インデックスサイズを小さくすること(無闇にインデックス貼らない) パーティショニング(DB間のテーブル移動) 不要データ削除 16KB毎(たぶん)のブロック単位でデータを保持しているので、 断片化されたデータを削除しても効果が薄いです。 Auto Incrementの場合は、ID1〜10000等をまとめて削除する等であれば、効果が期待できます。 ただし、ただし次のインサート以降、空いたブロックを活用するので積極的にデータ削除。 インデ
クエリキャッシュは切ったほうがいいんじゃなイカ？ : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の2日目は、昨日に引き続き、MySQLを骨までしゃぶるためのテクニックです。 ソーシャルゲームは一般サイトよりもDBへの更新クエリの割合が多くなりがちです。更新クエリが多いMySQLでは、通常は有益なクエリキャッシュが無益どころか有害になります。 そもそもキャッシュヒット率が低い。20%以下なんてこともザラにある しかもクエリキャッシュの更新はグローバルなロックを取得する からです。特に後者は問題です。ただの参照クエリもクエリキャッシュを更新する上に、更新クエリはクエリキャッシュの全エントリをチェックして、更新したテーブルに影響がありそうな全キャッシュをdiscardしていくためです。たとえばユーザーの行動力のようなパラメータを格納した参照も更新も多いテーブルでクエリキャッシュが有効になって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mysqldumpの使い方 オプション編
よく使うmysqldumpのオプションと使用例 - Qiita
MySQL 容量確保のためのデータ削除方式 | Ore no homepage