mysqlbinlog なんてやめて show binlog events を使おう - いちいの日記
夜中に眠いのに master のディスク容量がいっぱいで、でも binlog 用のスペースがない slave たちはまだ明日起きてから対応するんでも間に合うとき。よくありますよね。 ほっといてエラーになるよりかはその場しのげる方がマシ 多少サービス止めるなり i/o 負荷が高くてもいいから何とかしたい 根本的には master 切り替えるしかない だが、そこまで元気がない そんなとき、いままで mysqlbinlog と格闘しながら pos のコピペに注意しつつやってたんですが、 show binlog events という便利コマンドがあることを今更知ったメモです。 基本的な方針 master から絶対に読み込みがないデータを消して、延命することにします。しかし innodb だったりするので単に delete しても容量は減りません。 そこで、えいやとアプリを止めて (or table
mysqldumpの--order-by-primaryオプションについて - SH2の日記
TIPSです。このようなテーブルがありまして、 CREATE TABLE `link` ( `id1` int(11) NOT NULL DEFAULT '0', `id2` int(11) NOT NULL DEFAULT '0', PRIMARY KEY (`id1`,`id2`), KEY `ix1` (`id2`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;データは以下のような感じで、このときは2,900万レコードありました。 +---------+---------+ | id1 | id2 | +---------+---------+ | 5 | 69 | | 5 | 1022 | | 5 | 1487 | … | 1081 | 2021414 | | 1081 | 2087813 | | 1082 | 11 | | 1082 | 225
tech note: [AWS] MySQL な RDS を 5.1 => 5.5 する(予定
Monday, December 12, 2011 [AWS] MySQL な RDS を 5.1 => 5.5 する(予定 EC2, RDS 再起動祭りの最中、まえから標題の作業をすることになっていたのでごそごそと事前作業。 主に所要時間がどれほどかかるかの計測に勤しむ。。 まず抑えておくポイント。 その1 「CSV での出力はややめんどい」 というのも、RDS は MySQL のインスタンスではあるもの、ふつーのサーバのように ssh ログインしてローカルにファイルを作成することができない ( SELECT ... INTO OUTFILE ができない ) 。こんなかんじ => https://forums.aws.amazon.com/thread.jspa?threadID=41443 まるっと SELECT なんだよなぁ。。。うぅむ。 当然ながらまるっとデータディレ
InnoDB の圧縮を使うときの運用 - いちいの日記
.@nippondanji さんにブログにまとめろと言われた気がするのだけど、あんま大したネタではないです。しかも、この作業は失敗する可能性を見越していたのであまり作業ログを取ってなかった...。 ので、ちょっと疑問に思った点を幾つか書いておこうかと思います。 でかい InnoDB なテーブル とあるテーブルが大きくなってしまい、運用がめんどくさくて困ってました。 mysql> show create table hoge\G *************************** 1. row *************************** Table: hoge Create Table: CREATE TABLE `hoge` ( `date` date NOT NULL, `key` int(10) unsigned NOT NULL, `value` double NOT
Percona Toolkit moved to https://jira.percona.com/projects/PT in Launchpad
Advanced command-line tools used by Percona for MySQL support and consulting Bug tracking moved to moved to https://jira.percona.com/projects/PT Percona support staff uses Percona Toolkit tools to automate a variety of MySQL and system tasks. These tools are superior alternatives to private or "one-off" scripts because they are professionally developed, formally tested with a suite of over 4000 un
MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...
しわっす！DBA 兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ます こんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ 今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま
nabokov7; rehash : mysql の気持ちになって考えよう
November 08, 201100:12 カテゴリmysqlプログラミング mysql の気持ちになって考えよう 先のエントリで書いた「ソフトウェアの気持ちになって考える」というのを、データベースに応用してみよう。 例えば mysql でマルチカラムインデックスを3つのカラム (A,B,C) に張った場合、 「where A=? and B=? and C > ?」や「where A=? and B = ?」にはそのインデックスが使われるが 「where C=?」や「where B=? and C=?」には有効に働かない、という点に注意する必要がある。 これを、where句に指定されるカラムは複合インデックスのleft most prefixでなければならないと表現するのだけど、それだけ聞くとなにやら小難しい複雑なルールに見える。なぜそのような制約があるんだろう？ mysql の気持ち
ニフラムされて光の彼方へ消え去ろうとしている人に触れているとどうなるのだろう。 - ニフラムで消せる相手は自分くらいです
急にランキング集計することになってしまったデータの作成を極力MySQLだけでする。 とつぜん「この機能にユーザランキングが欲しいよ。なるはやで。もちろん更新間隔も短めなやつ。当日のランキングとデイリーランキングあるといいな。」みたいな依頼をされる事が多い業務をしております。 そんな時はとりあえず既存の資源だけで何とかしなきゃいけないので、頑張ってSQLとわずかなプログラムで対応したりしております。 とりあえずランキングで出したいデータ例 順位, 点数 1, 100 2, 98 3, 97 3, 97 5, 95 てな感じで同位がいたら、ちゃんと何か何これ、ほら、説明できないけど、アレっぽくする。 hogeをn個取得する度に insert でガンガン追加していく謎の user_hoge_nums テーブル desc user_hoge_nums; +------------+--------
MySQLでALTER TABLE文の進捗状況を確認する - SH2の日記
MySQLでテーブルへのカラム追加やテーブルの再編成を行うには、ALTER TABLE文を使用します。MySQLのALTER TABLE文は、変更後の定義にもとづく作業用テーブルを作成し、変更前のテーブルから作業用テーブルへデータをコピーして、最後に二つのテーブルを入れ替えるという仕組みになっています。テーブルへのインデックス追加についても、現在のところ大半のケースで内部的にALTER TABLE文が実行されています。 ALTER TABLE文の怖いところは、処理がもうすぐ終わるのかどうかが分からないところです。テーブルサイズが1GBを超えるあたりから分単位の時間がかかるようになり、100GBともなると本当に終わるのか？と見ていて不安になります。メンテナンス時間が限られている場合は、作業を中断すべきかどうか難しい判断を迫られることもあります。 実は、というほどではありませんが、ALTER
MySQL :: MySQL 8.4 Reference Manual :: 14.23 Miscellaneous Functions
Functions That Test Spatial Relations Between Geometry Objects
【MySQL】ERROR 1054 (42S22): Unknown column ～ in ‘on clause’ at softelメモ
問題 SQLは間違ってないと思うんだけど、MySQL4系からMySQL5に変えたら、エラーが発生する。 mysql> select * from t1, t2 left outer join t3 on t1.a=t3.c; ERROR 1054 (42S22): Unknown column 't1.a' in 'on clause' 答え MySQL 5.0.12 より古いものを新しいバージョンを変えるとき問題が発生する。 MySQL5の不具合というか、今までが不具合だったと言うべきか、SQLを書き換えるしかないらしい。 カンマ演算子の先行は、INNER JOIN、CROSS JOIN、LEFT JOIN 等のそれよりも少ないです。もし接合条件がある場合にカンマ接合と別のタイプの接合を混合すると、Unknown column ‘col_name’ in ‘on clause’ という形
MySQL5で「Unknown column … in ‘on clause’」エラーが出る場合の対処法 | colori
MySQL5系に移したら突然動かなくなった… MySQL3とかMySQL4でこれまで運用してきたシステムがMySQL5系になって急に動かなくなった経験はありませんか？ 実際にSQL文を双方に入力しても、旧バージョンだとちゃんと動きますが、MySQL5系では以下のようなエラーが出ることがあります。 そして大抵、そのSQL文には以下の条件が含まれているはずです。 エラー内容 エラーが出るSQL文条件 「FROM a,b」 のように複数のテーブルを参照している。「JOIN」構文が含まれている。 原因はJOIN構文の優先度変更 答えはMySQLのマニュアルに書いてあるのですが、JOINの優先度が高くなったしまったために、カンマよりも勝ってしまうことによる構文エラーだったのですね。 MySQL 5.1 リファレンスマニュアル :: 12.2.7.1 JOIN 構文 以前は、カンマ演算子(,)と JO
MySQL(InnoDB)でCOUNTしたくないとき - かみぽのメモ
たとえば、MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログに出てくるようなInnoDBをメッセージキューのように使っているときに、キューにどれだけメッセージが溜まってるかを確認したいとき、普通に考えるとCOUNTすると思う。 SELECT COUNT(*) AS count FROM test_queue;この軽い気持ちでしたCOUNTが、もしうっかりキューに100万レコードぐらいあったりするとInnoDBだとPRIMARYキー総なめとかしちゃってレスポンスにかかる0.1秒ぐらいのあいだ罪悪感に苛まれることでしょう。 このとき冷静に考えると、もしキューが1件も処理されていなければ、idはauto_incrementなので特に細工していなければ SELECT MAX(id) AS count FROM test_queue;これも全体のレコード数に等しいでしょう。
MySQL4.0系→MySQL5.0系 | feedforce Engineers' blog
MySQLのバージョンアップ MySQL 4.0 までは、3.X から 4.0 に upgrade しても、なんの影響もなくそのまま古いデータ(/var/lib/mysql)を使えました。 ダンプ→リストア不要、「ALTER TABLE」も不要。 4.1 以上にupgradeするときは、日本語キャラクターセットを使っている場合、注意しなくてはならない点が複数存在します。 4.0→5.0 追加機能 詳細： http://lists.mysql.com/mysql-ja/262 http://www.klab.org/media/mysql/ - ストアドプロシージャ、ストアドファンクションを実装 - トリガーを実装 - ビューを実装 - サーバサイドカーソル機能を実装 - 情報スキーマを実装 - XA 分散・トランザクションの実装 - HEAP(MEMORY) テーブルのインデックスに、BT
MyNA Web Site
ライセンスはどうなっていますか？商用利用ではどうすべきですか？ † GPL か 有料のライセンスか。 2007年1月1日時点では Community : GPL Enterprise : 有料で別のライセンス GPL については http://www.gnu.org/home.ja.html をご覧ください。 ↑ mysqld が最低必要とする物 † basedir/share/ ディレクトリ以下(shareファイル。errmsg.sys や charsets/) datadir/mysql/ (mysql 権限データベース、テーブル) 権限テーブルや charsets/ がなければ mysqld は起動しない。 errmsg.sys はバージョンによって数が違うので、違うバージョンの errmsg.sys を使用していると mysqld が起動しない。 これらが起きた場合、.err ファ
れぶろぐ - [MySQL] MySQL 4.1 以降の文字化け問題
■ MySQL 4.1 以降の文字化け問題 先に結論を書いておく。 skip-character-set-client-handshake オプションを使いましょう。 それで解決します。 今回、MySQL 4.0 → 4.1 に移行しようと思い、 あちこちで情報を集めて回ったが、 init-connect を使えばいいとか、 そのはずなのになぜかうまくいきませんとか、 いろいろ書いてあって混乱させられた。 結局、 日本 MySQL ユーザ会のサイトの FAQ に載っている情報が、一番詳しくてまとまっていると思うので、 そちらの情報を一読することをオススメする。 が、せっかくなので、 自分なりに理解したことをまとめてみる。 （以下の説明で、**** の部分は utf8 か ujis か sjis のいずれか） MySQL 本体の設定 バイナリで配布されている MySQL は、 大抵はデフォ
MySQL 4.1での日本語文字化けのメカニズム（？）
v4.0までの文字コードの扱い サーバだけが設定された文字セットで動作する。クライアントはサーバの文字セットに合わせて動作する。 v4.1からの文字セットの扱い サーバとクライアントがそれぞれ別に設定された文字セットで動作する。サーバと異なる文字セットのクライアントが接続してきた場合、サーバはsjisに変換してからクライアントにデータを送る。 このとき変換できない文字は’?‘になったりおかしな文字になる。 ありがちなケースとしては、サーバはきちんとujisに設定したがクライアントがlatin1というケース。一般に配布されているPHPやMySQLやlibmysqlは明記されてない限りはlatin1が標準になっている可能性が高い（MySQL ABで配布しているバイナリもlatin1）。 クライアントの文字セットを合わせるにはmy.cnfで適切な設定を行うか、mysqlクライアントの起動時にオプ
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
libnss-mysql
WordPressインストール時に文字化け | アイビースター