二千万レコードあるテーブルへのalterをサービスを止めずに流す | All Your Bugs Are Belong To Ass
※このエントリはMySQL Casual Advent Calendar 2015の5日目のエントリです。 openark-kit というものについて ここまで読んでわかった方は、この先を読む必要はありません。 openark-kitとは、mysqlの運用に便利なツールキットを14個あつめたソフトウェアパッケージです。 Shlomi Noachという方がPythonで開発しており、少なくとも2009年に発表されているようです。 2015-12-05時点での最新版は196.1となっており、.tar.gz および .deb で配布されております。 このエントリを書いた背景事情 そもそも僕自身、50を超えるクラスタ化されたmysqlノードと一緒に業務生活を送っております。 ところが、システムが非常に古くさい構成のため、合計レコード数が2億から3億程度ある垂直分割されたテーブルに対しALTERを投
複合インデックスで範囲検索が遅いとき - （ひ）メモ
DDLとデータは末尾に示しますが、複合インデックスが効くはずのクエリなんだけどナめてる行数が多くて困ったというお話です。(MySQL 5.1.55) このクエリで返ってくる行数は246件なんですが、それにしてはナめてる行数(rows)がやたら多いです。where句で使っているageとlast_updateとで複合インデックスを張っているのに、です。 between使用: explain extended select id from betweeeeen where age between 30 and 35 and last_update >= 946612000 \G ↓ id: 1 select_type: SIMPLE table: betweeeeen type: range possible_keys: i1 key: i1 key_len: 10 ref: NULL rows
MySQLコマンドラインツールで使えるコマンド小ネタ
MySQLコマンドラインツールで使えるコマンド小ネタ 2012-12-12 知らなくても何とかなるけど、知っておくと役に立つmysqlシェルから使えるコマンド。 systemコマンド MySQLのプロンプトを開いたままで、ロードアベレージを見たいとか、SQLを書いておいたファイル名を見たい、という時は、OSのシェルで実行できるコマンドをMySQLシェルから実行するsystemコマンドを使えばよい。 mysql> system uptime 10:47:48 up 24 min, 5 users, load average: 3.94, 3.68, 2.57 mysql> system ls test.sh sample01.sql teeコマンド 実行結果をターミナルにも表示するがファイルにも保存しておきたい時はteeコマンド。ファイルへの書き出しをやめる時はnotee。ファイルには、プロ
MySQLのメモリ設定の勘所 – sawara.me
MySQLサーバーをダウンさせた夜は数知れず。 その度にmy.cnfの設定を見なおしてみてはトライし、治ったと思いきや突然のダウン。 サーバーがダウンしてしまう原因は何かと聞かれれば、「メモリです」と断言しましょう。 メモリ設定は諸刃の剣。 パフォーマンスを最大に引き出すこともできればそれと引き換えにサーバーをダウンさせてしまうこともできるんです。 今回はMySQLのメモリの設定の勘所というかたちで紹介しようと思います。 グローバルバッファとスレッドバッファ メモリの設定についてまず「グローバルバッファ」と「スレッドバッファ」について理解しておくことが大事です。バッファとは一時的な記憶領域・つまりはメモリの領域のことなのですが。 グローバルバッファ MySQLで使用する全体的なメモリ使用量を計算するには グローバルバッファ + (スレッドバッファ × コネクション数) = メモリ使用量 と
mk(pt)-query-digestをもっと活用しよう！ - 筋トレとともに生きるDBAの雑記
もはやこれが無くては障害対応ができないぐらい中毒になっているmk-query-digestさんについてです。 mk-query-digest - Analyze query execution logs and generate a query report, filter, replay, or transform queries for MySQL, PostgreSQL, memcached, and more. 例えばこんなことが起きたときは、何を差し置いてもまずtcpdumpを取りに行きます。 状況がおさまってしまってからでは遅いのです。 Load Averageの高騰 Too Many Connections lock wait timeout tcpdump -i bond0 -s 65535 -x -n -q -tttt 'port 3306' > tcpdump.out
chiba.pm 2回目に行ってきた #chibapm - 目の前に僕らの道がある
行ってきた。 http://atnd.org/events/36981 自分の観測範囲だと総武線沿いというか千葉方面で勉強会があまりないので、chiba.pmはすごいありがいたいです。 ゆるふわな感じでPerlについて話ができてとても楽しかったです。 今回は基本全員LTしないといけないということに前日の夜に気がついて1時間で死霊を作るというていたらくでした。次回は余裕を持って、ちゃんとした発表をしたいです。 はなしたこと pt-query-digestは便利だよって話をしました。 (pt|mk)-query-digestに関しては自分以外の人が詳しく書いているのでそちらの方も参照いただければ、より理解できるかと。 ゆるふわにクエリ解析したい ※MySQL前提の話です。 アプリケーションのボトルネックになるのは、だいたいDBなのですが、じゃあ、どうやってボトルネックとなっているクエリを特定す
MySQLのクエリ集計手法いろいろ | Ore no homepage
Webサービスを開発/運用してるモンとしては、いろんなWebサービスを触ってみなきゃアカンってことで、アメリカの若モンに大人気ってふれこみのsnapchatに登録してみた。これでリア充の仲間入りやと思ったが、snapchat友達が同僚二人しかいないうえに、利用シーンがあまり思い浮かばないww オジサン困っちゃいました。画像とか送信できるんだけど、数秒で消えるの。むしろそこがウリっていうね。どうやって遊ぼうか…。 2月はブログ書かなかったなーと思ったのでMySQL小ネタ。世間的にも自分的にも真新しくもなんともないTipsです。 innotopで集計 実は以前、Qiitaに書いたので↓をば。。。 http://qiita.com/la_luna_azul/items/505ca441b8c8e6a87aaa 流れるクエリ、ロックの状況、トランザクション(show engine innodb s
innotopでMySQL状態をtop風に表示（グループ単位で！） - mikedaの日記
innotopはMySQLの状態をtop風に表示するコマンドです。 DBを1台ずつ見ていくぶんには特に使う必要性を感じなかったのですが、 サーバのグルーピング＆一括表示機能があることを知ってこれはけっこう便利なのでは？と思いなおしたので インストールからグループ設定までについて書いてみます。 サンプルイメージ グループ単位でクエリーリストを表示 グループ単位でレプリケーション状態を表示 インストール ここからダウンロードしてインストールします。 ※今回使ったのはinnotop1.8 ＆ CentOS5.Xです。 依存モジュールのインストール # yum install perl-DBI perl-DBD-mysql # rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.r
データベースとテーブルのサイズを確認する方法 - Simple, Slowly
テーブルのサイズはphpMyAdminでも見れますが、コマンドから見れたほうが何かと便利なので、調べてみました。 全てのデータベースのサイズを確認する # MB単位 select table_schema, sum(data_length+index_length) /1024 /1024 as MB from information_schema.tables group by table_schema order by sum(data_length+index_length) desc; +--------------------------+---------------+ | table_schema | MB | +--------------------------+---------------+ | database1 | 5579.89978790| | databas
InnoDBで行ロック/テーブルロックになる条件を調べた #mysqlcasual Advent Calendar 2013 - あおうさ＠日記
はじめに この記事は、MySQL Casual Advent Calendar 2013 7日目の記事です。 〜 Casual に記事を書けばええんやでヽ(´ー｀)ノ 〜 私がMySQLで えっ？！ っと思った下記エントリーの挙動が何故そうなってしまうのかを書きたいと思います。 InnoDBで行ロック/テーブルロックになる条件 MyISAM はテーブルロック、InnoDB は行ロックが掛かるというのは有名な話じゃないかと。 ただ、最近知ったのですが、InnoDB だとしても必ずしも行ロックになるわけではなく、テーブルロックになる場合もあるようですね。 ... InnoDB であってもユニーク制約 or インデックスが張られているカラムで検索した場合以外はテーブルロックになってしまうようです。これは注意しないと思わぬところでテーブルロックになってしまって大変なことになりそう！ http://
MySQL :: MySQL 5.6 リファレンスマニュアル :: 14.2.13.7 物理的な行構造
ロック読み取り (SELECT ... FOR UPDATE および SELECT ... LOCK IN SHARE MODE)
MySQL :: MySQL 8.0 リファレンスマニュアル :: 15.6.2.2 InnoDB インデックスの物理構造
空間インデックスを除き、InnoDB インデックスは B-tree データ構造です。 空間インデックスでは、多次元データのインデックス付けに特化したデータ構造である R-trees を使用します。 インデックスレコードは、B ツリーまたは R ツリーデータ構造のリーフページに格納されます。 インデックスページのデフォルトサイズは 16K バイトです。 新しいレコードが InnoDB clustered index に挿入されると、InnoDB は将来のインデックスレコードの挿入および更新のために 1/16 のページを解放しようとします。 インデックスレコードが順次 (昇順または降順) に挿入されると、インデックスページの約 15/16 までがいっぱいになります。 レコードがランダムに挿入された場合は、ページの 1/2 から 15/16 までがいっぱいになります。 InnoDB では、B ツ
mysqlについてです。これから作るとあるテーブルのインデックスの容量を見積もりたいのですが、どのように計算すれば - 良いのでしょうか？... - Yahoo!知恵袋
MySQLを含め主要なRDBMSで実装されているインデクスは、B-TREE構造です。 MySQLを含め主要なRDBMSでは、B-TREE構造以外のインデクスも実装している場合もあります。 さらに、MySQLでは、ストレージエンジンにより、インデクスの構造、何のアドレスを持つか（行のアドレスを持つのか、複数行が格納されているページアドレスを持つのか）が違ってきます。 どの程度の精度で、容量見積りをしたいのかによっても、話がまったく違ってきます。 B-TREE構造のインデクスの精度を持った算出方法例を、考え方を理解してもらうために提示しておきます。 MySQLのマニュアルでは、MyISAMに関しては、かなり雑な概算式が掲載されています。 http://dev.mysql.com/doc/refman/5.1/ja/key-space.html (key_length+4)/0.67 * 行数・
MySQL Index勉強会外部公開用
12. © CROOZ,Inc. 12 １．INDEXとはなにか 何枚目がなにかを事前にメモっておけば良い！ スート ランク 位置 ハート Q 1 スペード 9 2 : : : ダイヤ 1 40 : : : スペード 6 45 なぜなら、要求は「カードを引く回数を最も少なく してスペード6を探すこと」 セコいとかおもうヒトはいるか もしれませんが何もセコいこ はしていないです。 前提条件など一切ないから このメモさえあれば位置を指定して1回引けば済む
mysqld_multiで複数のインスタンスを立ち上げ - ngyukiの日記
１つのサーバで複数のMySQLのインスタンスを立ち上げるために mysqld_multi を使ったときのメモです。 使用した版は 5.1.61-1.el6_2.1 (CentOS6) です。 設定ファイルを作成します。 vi /etc/my.cnfとりあえず以下の様に作成します、基本的な設定のみです。 # クライアントの設定 [client] default-character-set = utf8 # mysqld_multiの設定 [mysqld_multi] mysqld = /usr/bin/mysqld_safe mysqladmin = /usr/bin/mysqladmin log = /var/log/mysql/multi.log # 全てのインスタンスで共通の設定 [mysqld] character-set-server = utf8 default-storage-
MySQL :: MySQL 8.0 リファレンスマニュアル :: 11.7 データ型のストレージ要件
ディスク上のテーブルデータのストレージ要件は、複数の要因によって異なります。 別々のストレージエンジンは異なる方法でデータ型を表し、ローデータを格納します。 カラムか行全体のどちらかでテーブルデータを圧縮できますが、テーブルまたはカラムのストレージ要件の計算が複雑になります。 ディスク上のストレージレイアウトが違っていても、テーブル行に関する情報を通信および交換する内部 MySQL API は、すべてのストレージエンジンにわたって適用される一貫したデータ構造を使用します。 このセクションでは、データ型の固定サイズ表現を使用するストレージエンジンの内部形式およびサイズを含め、MySQL がサポートするデータ型ごとのストレージ要件に関するガイドラインおよび情報について説明します。 情報はカテゴリまたはストレージエンジンごとに示します。 テーブルの内部表現の最大行サイズは 65,535 バイトで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL Bugs: #30477: Allow returning unordered result from GROUP BY
Beginning MySQL
株式会社スタイルズ
Mysql toranomaki
