MySQLでデータ領域をシステムと別diskにするならtmpdirも設定した方がいい - 酒日記 はてな支店
某所に300ホスト以上を2年ほど監視していたZabbixのMySQLがありまして、データが100GBぐらいになってメモリ8GBのホストではdisk IOが辛くなってきたので、移行することにしました。普段はそんなにでもないのですが、housekeeperが動作して古いデータを消しに行くとバッファプールに乗っていない部分に読みに行って重いのです。 この際折角なので Intel S3700 (サーバ用のSSD) をおごり、 Zabbix-1.8 から 2.0 にアップグレード MySQL-5.0.77 から MySQL-5.6.11 に変更 システムは HDD で /dev/sda1 データは SSD で /dev/sdb1 を /data にマウント という構成で移行の検証を行っていたところ… MySQLのバージョンが大きく上がるので mysqldump を取得して restore 後、pat
MySQL5.6のちょっとした話 - まめ畑
最近、とあるサービスの本番環境にMySQL5.6を導入していっています。社内だけの環境も含めて5システムに導入しました。 5.5からのアップデートや最初から5.6というものもあります。 今回、導入で変わった点いろいろありますが、メモ程度にまとめておきます。 間違いなどありましたら指摘していただけるとありがたいです。 Replicationエラー時 今までは、replicationのエラーが起こった場合は SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1; とかでダメなクエリを確認しつつSKIP出来ればしていましたが、5.6でGTIDモードONの場合、これが使えなくなりました。 GTID便利なんですが、この点少し不便です。 以下のように直します。 まず、slaveでmaster server UUIDと最新のGTID、Retrieved_Gtid_Setを確認します
ioDrive+MySQL勉強会
4. ちょっとインフラーチーム体制の話 ・28タイトル（最近調べ） ・売上はIR資料見てください ・ソーシャル系のサーバ（Web/DB）で90台程度 ・サーバもネットワークもストレージも自分達で選定、発注、構築、 監視、運用 ・このメンバーで別システム200台程のブログシステムをDC移 転（さすがに赤帽とか呼びまくってサービス断は4時間程度で 完了） ・アルバイト、契約社員、外注一切なし。 ・色々なことに挑戦したいが、インフラメンバー3～4人 5. インフラ運用（サーバ購入は至難の道） 既不人気タイトルDBの統合 企画開発からサービス 集約、スレーブはく奪 開始のお知らせ （いつも突然。その週とかもある） （マシン確保） サービス伸びてきて 新サービス用サーバ作成 スレーブ追加 • 実は2012年はソーシャル用のサーバは１台も購入していない。（ネット ワーク増強（中）やio-Drive等
MySQLをFusion-io ioDriveで使うためのチューニング
「高嶺の花」の製品であったFusion-io ioDriveが、さくらインターネットの専用サーバプランにより月5万円でお手軽に扱えるようになりました。 今回は、このサーバを使ってMySQLのチューニングをしていきます。 使用したサーバ http://server.sakura.ad.jp/dedicated/expressg2.html さくらの専用サーバ エクスプレスG2シリーズ Fujitsu RX100 S7 Xeon 4Core SATA + ioDrive 320GB Memory 32GB ioDriveの接続とライブラリの確認 ioDriveの接続を確認 # lspci | grep -i fusion 01:00.0 Mass storage controller: Fusion-io ioDimm3 (rev 01) # rpm -qa | grep "iomemory"
my.cnfの変更点のせいでMySQL5.6がなかなか起動しない件 - 文系プログラマによるTIPSブログ
いつのものやつですね。 つい先日MySQL 5.6 GAが公開されたので、早速macにインストールしてみました。 DMG形式インストールしたので、インストールで躓くことはありませんでした。 .bash_profileにmysql/binのパスも通しました。 さて、起動です。 ( #^^) 「今日も平常運転ですねMySQLさん」 まあお約束ですね。起動しません。my.cnfの設定が悪いわけです。 my.cnfはMySQL5.1で使っていたものをそのまま使ってみました。 名前が変わったり廃止された設定が混在しており、修正にかなり手間がかかりました。 以下は私の環境で動かしているmy.cnfの設定です。 [client] port=3306 default-character-set = utf8mb4 [mysqld] port=3306 # wrong #default-character-
MySQL 5.6新機能解説@dbtechshowcase2012
1. MySQL 5.6 新機能解説 ＠ db tech showcase 2012 奥野 幹也 @nippondanji mikiya (dot) okuno (at) gmail (dot) com 2. 免責事項 ● 本プレゼンテーションにおいて示されている見解は、私自身 の見解であって、オラクル・コーポレーションの見解を必ず しも反映したものではありません。ご了承ください。 3. 自己紹介 ● MySQL サポートエンジニア – 2000 年にサン・マイクロシステムズ入社 ● 主にハードウェアのサポートを担当 – 2007 年に MySQL KK へ転職 ● 気付くとまたサン・マイクロシステムズに・・・ – 現在は日本オラクルに在席。 – サポート一筋 12 年 ● 日々のしごと – MySQL トラブルシューティング全般 – Q&A 回答 など ● ブログ – 漢のコンピュータ道
MySQLの設定ファイル my.cnf をgithubにて公開しました & チューニングポイントの紹介 - blog.nomadscafe.jp
YAPC::Asiaのスライドで予告していた通り、実際に弊社のいくつかのサービスで使っている my.cnf を公開しました。 github: https://github.com/kazeburo/mysetup/tree/master/mysql 今回、公開した理由はMySQl Beginners Talksの発表の中でも触れている通りです。MySQLのソースコード中に含まれるサンプルのmy.cnfが最近のサーバハードウェアや運用に合わなくなって来ているという状況で、自分の設定にイマイチ自信が持てていない人は少なくないはず。そこで各社秘伝のタレ的な my.cnf をOpen & Shareすることで、モダンなmy.cnfを作り上げる事ができるんじゃないかという考えの下、今回 github にて公開しました。 ファイルは4つあり、それぞれ MySQL 4.0、5.1、5.5、そしてテスト中
MySQL 5.6のInnoDB memcached pluginを使ってみる - 酒日記 はてな支店
MySQL 5.6の RC 版が出ましたね。魅力的な機能が満載で皆さんwktkしていることと思います。早速、個人的に気になっていた memcached plugin を試してみました。 最初に結論から言いますが、現時点 (5.6.7rc) では HandlerSocket の代わりに使えるようなものではなさそうです。 memcached protocol でアクセスできるのは全体で 1 テーブルのみ 訂正: namespace という仕組みで複数テーブルにmapが可能です テーブルの文字コードは latin1 である必要がある 【2012-11-22 追記】5.6.8RCでは、文字コードが latin1 であるという制限は撤廃されました 「MySQL のテーブルに memcached protocol でアクセスできる」というよりは、「memcached のストレージを InnoDB にで
MySQL 5.1→5.6のmy.cnfの差分とか - （ひ）メモ
MySQL 5.1で使ってたmy.cnfを試しに5.6で動くようにしたときの差分す。網羅的には調べてないんで他にも廃止になったパラメータはあるかもです。あくまで参考までに。 # log-binにパラメータ指定しないと怒られます -log-bin +log-bin = mysqld-bin # old-passwordsはオン、オフだけじゃなくて引数(0, 1, 2)が必須になって、引数の値によって挙動がかわります。 -old-passwords +old-passwords = 1 # これ指定しないと、リモートからのpre-4.1な認証方法で接続できないです +skip-secure-auth # これ指定しないと、pre-4.1な認証方法で接続できないです★下に追記あり +default-authentication-plugin = mysql_old_password # パラメー
Downloads · mcafee/mysql-audit · GitHub
Download Packages 1,550 downloads audit-plugin-mysql-5.5-1.0.3-371-linux-x86_64.zip — MySQL 5.5 Linux 64bit - AUDIT Plugin Binary Distribution - 1.0.3 257KB · Uploaded Dec 2, 2012 442 downloads audit-plugin-mysql-5.5-1.0.3-371-linux-i386.zip — MySQL 5.5 Linux 32bit - AUDIT Plugin Binary Distribution - 1.0.3 247KB · Uploaded Dec 2, 2012 417 downloads audit-plugin-mysql-5.1-1.0.3-371-linux-x86_64.zi
Replication Booster for MySQL を試す - blog.nomadscafe.jp
松信さんが作った Replication Booster for MySQL をデータサイズが大きいデータベースに対して使ってみました。 Yoshinori Matsunobu’s blog: Making slave pre-fetching work better with SSD github - yoshinorim/replication-booster-for-mysql Replication Booster for MySQL をものすごく簡単に説明すると、以下のようになるでしょうか。 MySQL でレプリケーションを設定した場合、マスターのバイナリログをIOスレッドが読み取り、relay-logへ記録します。そしてSQLスレッドがrelay-logから読み取ってテーブルを更新して行きます。Replication Booster を実行するとrelay-logを読み取り、更
mysqlbinlog なんてやめて show binlog events を使おう - いちいの日記
夜中に眠いのに master のディスク容量がいっぱいで、でも binlog 用のスペースがない slave たちはまだ明日起きてから対応するんでも間に合うとき。よくありますよね。 ほっといてエラーになるよりかはその場しのげる方がマシ 多少サービス止めるなり i/o 負荷が高くてもいいから何とかしたい 根本的には master 切り替えるしかない だが、そこまで元気がない そんなとき、いままで mysqlbinlog と格闘しながら pos のコピペに注意しつつやってたんですが、 show binlog events という便利コマンドがあることを今更知ったメモです。 基本的な方針 master から絶対に読み込みがないデータを消して、延命することにします。しかし innodb だったりするので単に delete しても容量は減りません。 そこで、えいやとアプリを止めて (or table
レプリケーション作成を簡単にする mysql40dump という mysqldump の wrapper を作った話 - blog.nomadscafe.jp
みなさん mysqldump は好きですか？ 自分はどっちでもありません。 MySQLでよくあるMaster-Slave構成を作る手順は以下のようになると思います MasterからSlaveとなるサーバに一貫性を保った状態のコピーをし、そのデータのバイナリログのファイル・ポジションをメモ。 SLAVEでデータをリストアし、Masterのホスト名、レプリケーションに使うユーザ名・パスワードとメモしたバイナリログのポジションをCHANGE MASTER文に渡し、START SLAVE 一貫性の取れたコピーを作成するためにmysqldumpやxtrabackup、LVMなどでのスナップショットが利用できますが、もっとも簡単な方法がmysqldumpだと思います。 mysqldumpで一貫性のあるデータをとり、その際のバイナリログポジションを記録するには $ mysqldump --single-
CloudForecastでMySQLのレプリケーション監視 - blog.nomadscafe.jp
MySQLのレプリケーションの遅延状況を取得するプラグインをCloudForecast本体に追加しました。 host_configで --- component_config: resources: - traffic:eth0 - traffic:eth1 - basic - mysql - innodb - mysqlreplication このように追加すれば使えます。 作られるグラフな下のような感じで、秒数による表示とバイナリログのポジションの2つが作成されます。 グラフは某サービスの実際のレプリケーション遅延状況です。データが非常に多いので結構遅れてる事が多いですね。蛇足ですがMySQL4系の場合は「Seconds Behind Master」がないので秒数は常に0になります^^ 大きくレプリケーションが遅延するタイミングがあれば、その際に発行されているクエリを見直してみる等の用
クエリキャッシュを切ったほうがいイカ？ ベンチマークしてみた - 酒日記 はてな支店
カジュアル！(挨拶) このエントリは MySQL Casual Advent Calendar 2011 の18日目の記事です。 昔、専ら PostgreSQL を使っていた頃、MySQL のクエリキャッシュって簡単に性能上がるしみたいだし羨ましいなあ、と思っていました。そのため、1年ほど前から業務で MySQL を使うようになっても、クエリキャッシュは当然のごとく有効にしておりました。 ところが先日 DSAS開発者の部屋:クエリキャッシュは切ったほうがいいんじゃなイカ？ というエントリを読みまして、クエリキャッシュはグローバルロックを獲得するとのこと。これはちょっと検証してみなければなるまい、ということでベンチマークをしてみました。 ベンチマーク結果 結果は別ページにまとめました benchmark script と my.cnf ざっくりと説明しますと、 平均 260 byte/行、1
SHOW PROCESSLIST を使ったカジュアルなプロファイラを強化しました : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の11日目です。 「SHOW FULL PROCESSLIST を使った MySQL のプロファイリング」 で紹介したプロファイラですが、 id:sh2 さんからはてブで 秒間10回叩く例も http://developer.cybozu.co.jp/kazuho/2009/07/mysql-539d.html 。変数ぽい部分をカットする処理はmysqldumpslowのコードを移植するといいかも というコメントをいただきました。 そろそろネタに困っていたので、 せっかくなので、多くのユースケースで 便利に使えるように改良しました。ぜひご活用ください。 myprofiler.py (gist) github 解説 クエリのサマライズ 前のバージョンでは = 以降をバッサリとカットしてしまって
MySQLにおけるレプリケーション遅延の傾向と対策
レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのようなことはない。ほとんどの場合は即座にスレーブの更新が行われる。 なぜ遅延は発生するのか、どのように遅延が起きていることを調べるのか、どのように回避するのかということを本エントリでは解説したい。うまく遅延と付き合って、MySQLのレプリケーションをより快適に運用してもらえればと思う。 そもそも遅延とは何かMySQLのレプリケーションは非同期で行われる。これは準同期でも同じであり、スレーブにおいて更新が起きるのはマスターよりも一瞬遅れてしまう。これは非同期であるが故に逃れ
MySQLに対して、カジュアルにやってはいけない事をやってみよう[追記アリ] - oranie's blog
※ブクマコメントで指摘頂いた箇所を追記しました＞＜ MySQL Casual Advent Calendar 2011 21日目の記事です。 前日は@sohgohさんの 「MySQLのUDFでカジュアルにファイル操作【MySQL Casual Advent Calendar 2011 20日目】」 でした。図や動画もあって見やすいですね！ 改めて自己紹介です。21日目を担当する、今回のカレンダーでNo.1カジュアルの座を狙っているid:oranie（オラニエ）です。 今回はMySQLもそこそこで、僕の名前の正しい読み方だけを覚えてくれれば今日は大丈夫です。 意図的に間違えている人もたまにいますが、心が汚れすぎていると思うのでお寺で座禅とかした方がいいと思います。 今までの記事を拝見させて頂き、みんな真面目に色々Tipsを書いているのでニッチ狙い＆初心者の僕は 「MySQLに対して、カジュア
![MySQLに対して、カジュアルにやってはいけない事をやってみよう[追記アリ] - oranie's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/e7aa7259082e2b3a6d5f7863e2a9b834b82248ad/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F13208692334729889652%2F8454420450078344003%2F1419834482)
MySQLのコマンドたち - すぎゃーんメモ
http://mysql-casual.org/2011/11/mysql-casual-advent-calendar-2011.html の6日目の記事として書かせていただきます、sugyanです。 勢いで参加表明してしまい、今日慌てて久しぶりにMySQLを触りました。 MySQLでFizzBuzz ストアドプロシージャって使ったこと無かったので初めて触ってみました。 DROP PROCEDURE IF EXISTS FizzBuzz; delimiter // CREATE PROCEDURE FizzBuzz(n INT) BEGIN DECLARE i INT DEFAULT 1; WHILE i <= n DO SELECT CASE WHEN i % 3 = 0 AND i % 5 = 0 THEN 'FizzBuzz' WHEN i % 5 = 0 THEN 'Buzz'
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLの冗長化 2013-01-24
