MySQLにおけるレプリケーション遅延の傾向と対策
レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのようなことはない。ほとんどの場合は即座にスレーブの更新が行われる。 なぜ遅延は発生するのか、どのように遅延が起きていることを調べるのか、どのように回避するのかということを本エントリでは解説したい。うまく遅延と付き合って、MySQLのレプリケーションをより快適に運用してもらえればと思う。 そもそも遅延とは何かMySQLのレプリケーションは非同期で行われる。これは準同期でも同じであり、スレーブにおいて更新が起きるのはマスターよりも一瞬遅れてしまう。これは非同期であるが故に逃れ
lessでソースコードに色をつける
シェルの操作中「テキストファイルをちょこっと覗きたいな」と思ったときに抜群に便利なlessコマンドであるが、普段綺麗に色付けされたソースコードを見慣れていると、モノクロのソースコードの見づらさに愕然としてしまう。結局lessを終了して他のエディタで開きなおすことになるのだが、lessでソースコードに色付け（シンタックスハイライト）できれば便利なのになーっ！と思ったことはないだろうか。そう、あるんです！lessでシンタックスハイライトする方法はあるんです！というわけで、今日はその方法を紹介しよう。 GNU Source-highlight結論から言うと、今日紹介する方法はGNU Source-highlightを使う。GNU Source-highlightを使えばイッパツだ。なのでまずGNU Source-highlightをインストールしよう。UbuntuやFedoraならリポジトリにあ
[書評]MySQLをハックしまくりたい人のためのスゴ本「MySQL 5.1 Plugin Development」
MySQLはGPLv2で頒布されているフリー（自由な）ソフトウェアだ。誰でも自由に改造、改善、機能追加して、GPLv2のもと再頒布することが出来る。 そうは言っても改造なんて敷居が高くて出来ないよ・・・という人に朗報なのが本書「MySQL 5.1 Plugin Development」だ！MySQLはストレージエンジンによってデータを管理するレイヤーが独立しているのはよく知られているが、MySQL 5.1ではさらに一歩進んで、ストレージエンジンを含む様々なプラグインを作成できるようになった。プラグインAPIを使ってMySQLを拡張すれば、無造作に改造してしまうよりもずっと楽にMySQLをハック*1することが出来るだろう。 MySQL 5.1で利用可能なプラグインPlugin APIは、MySQL 5.1で新たに追加された機能である。これにより、共有ライブラリ形式で後から機能を追加することが
![[書評]MySQLをハックしまくりたい人のためのスゴ本「MySQL 5.1 Plugin Development」](https://cdn-ak-scissors.b.st-hatena.com/image/square/3165ef8c077a667a657fd339d76a79f3f1c61732/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAJ0KDdVrPXiuDGq-VAZPqqvw6A0UTON9n_J6zp4jPrtoggBaA9_y3VJdVf3Ytk5TFv26f6-hkR9WoPjYUiZ1bgPvMJEjzXED8KLhmGfTJgpyn4x9z3i0aSLLvUjKrdZ9F7YAdWZ4mvpT0as%3Dw1200-h630-p-k-no-nu)
WebM/VP8には罠がある？いいえ、誤解です。
本田雅一氏がツイッターにて「グーグルVP8の特許問題」と表してかなりとんでもない勘違いをしているようなので指摘しておこう。氏のつぶやきはTogetterにまとめられているので、興味がある人はどうぞ。 ソースコードの参照条件に特許の権利放棄条件を絡めるなど、未だかつて聞いたことがない。オープンソースソフトウェアにおいては特にだ。オープンソースソフトウェアのソースコードを参照するのに特許の権利放棄が条件として課せられていたら大変なことになる。一般公開されているソースコードを見てしまったら「そこの前！ソースコードを見たなッ！じゃあお前の特許は無効だからなッ！」というようなことになってしまうのだから。もちろん、そのようなことは現在の法律では不可能であるが。 WebM（VP8）のライセンスWebMはVP8とVorbisからなる動画＋音声のフォーマットなのは周知の事実である。VP8はもともとOn2 T
Ruby会議2010へ行ってきた。
Ruby会議2010へ行ってきた。何を隠そう、Ruby会議に参加したのは今回が初めてである。休日に自由時間を確保するのは、小さな子供が居る既婚者男性諸君であればそれが如何に厳しいことかということを理解しているはずだ。だが息子も３歳になり、さらに幸いにも予定が一切かぶっていなかったため、３日間すべて参加することが出来たのであった。 Ruby会議2010のテーマは「Conflict and Resolution」（衝突と解決）である。大規模なオープンソースプロジェクトには人々の衝突がつきものであるため、日本有数のオープンソースプロジェクトであるRubyにはピッタリのテーマであるといえよう。というわけで、Ruby会議初参加者による視点で、面白かったことや気になったことなどについてレポートをお届けしたい。 １日目まず最初に、今回一番の目当てにしていた「Ruby開発会議つくば」を傍聴。gdgdなリラ
漢(オトコ)のコンピュータ道: モダンなMySQLの開発環境の構築方法
遅ればせながら モダンな Perl の開発環境の構築方法 モダンなPHPの開発環境の構築方法 モダンなPythonの開発環境の構築方法 モダンな Java の開発環境の構築方法 に続いてみる。MySQLは言語じゃないけど。 コンパイラ等MySQLをソースからビルドするのでなければコンパイラ等は必要ないけど、どうせアプリ開発に必要なので「MySQLなんかいつでもハックしてやるぞ！」という意気込みを示すために入れておこう。OSXならXcode、LinuxならGCC。最新のソースコードじゃないとヤダ！という粋な人にはBazaarのインストールもお勧めしたい。Bazaarは言わずと知れた分散バージョン管理システムであり、MySQL開発チームも採用している。最新のソースコードは次のコマンドでゲット可能だ。 shell> bzr branch lp:mysql-server/5.1 mysql-5.1
オープンソースによる新しい受託スタイルの提案
前々回のエントリ「受託開発とGPL」では、受託開発においてGPLのソフトウェアを用いる際に注意すべき点やライセンスの扱いについて書いた。ただし、その視点はあくまでも「GPLはSIerにとって注意すべき≒厄介なシロモノであり、如何に地雷を踏まないようにするか」というものであったように思う。だが、「厄介である」という性質は、裏を返せば「味方につけると頼もしい」ということだ。つまり、GPLは、味方になれば強力で頼もしい存在なのである！今日は、SIerが今の開発スタイルから脱却し、如何にしてGPLを味方につけて戦っていくかということについて語ろうと思う。ちょっとひどい妄想夢物語的な記述も入っているのだが、「何言ってんだコイツ？！」とツッコミたいところをぐっとこらえて最後までお付き合い頂ければ幸いである。 システム全体を再構築するのは大変SIと一口で言ってもその規模は大小様々であるが、業務（基幹系）
オープンソースでお金を稼ぐ方法いろいろ。
オープンソースソフトウェア（以下OSS）が広く使われるようになって久しい。ご存じの通りOSSは無償で入手できるものばかりであるため、多くの人が疑問に思うことがひとつある。それは、「OSS開発者はどこから収入を得ているのか？」ということだ。収入源の実体がよく分からないために「霞を食って生きているのか？」などと揶揄されることもある。実際OSS開発者は「どうやって収入を得るか？」ということについて色々と悩んでいる場合も多かったりするのだが、実はOSSには様々なビジネスモデルも存在する。そんなわけで、今日はOSSを活用して収入を得る様々な方法について詳解しよう。OSS開発者になることに躊躇している人の背中を後押しすることが出来れば幸いである。 プロプラエタリソフトウェアのビジネスモデルまずはおさらいである。OSSのビジネスモデルについて考える前に、プロプラエタリソフトウェアのビジネスモデル（特にラ
たった3秒でInnoDBのデータローディングが快適になるライフハック
MySQLに限った話ではないが、データベース管理システムに大量のデータを投入するのは時間が掛かり大変苦痛を伴う作業である。劇的に効能があるわけではないが、MySQLを利用しているとき、特にInnoDBを使っている場合にはデータの投入を高速化するためにいくつかテクニックがあるので紹介しよう。皆さんの作業時間が短縮され、少しでも早く帰路に着いたりサービスインさせたりという形でお役に立てれば幸いである。ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！ ログファイルサイズの調整データ投入時に限った話ではないが、ログファイルサイズを調整するのは更新性能にとって非常に重要なファクターである。バッファプールのサイズが重要なことに代わりはないが、同じぐらいログファイルのサイズも重要である。InnoDBはログファイルを使い切ってしまうと、バッファプール
IBMはオープンソースを支持し続けるのか？
IBMがオープンソースソフトウェアを開発している企業に対して、特許をもって威嚇したという旨のニュースが掲載された。 マイコミジャーナル「米IBMの書簡にオープンソース支持者が非難」 メインフレームエミュレータの「Hercules」を提供する仏TurboHerculesが3月、欧州委員会(EC)に対して申し立てた競争法違反の調査に関連して、著名なオープンソース支持者が米IBMがTurboHerculesに対して送った書簡を公開し、「これまでのオープンソース支持は偽善」とIBMを激しく非難している。 フリー（自由な）ソフトウェア支持者としては、特許で威嚇と聞くと反応せざるを得ないのだが、IBMの一体何がいけないのだろうか？今日はこのニュースについて「著名なオープンソース支持者」であるFlorian Mueller氏による主張の意義を検証してみたい。 Hercules（ヘラクレス） emulat
ジョナサン・シュワルツの発言から考察するソフトウェア特許の有害性
少し古い話だが、元SunのCEOであるジョナサン・シュワルツ氏が自身のブログで「スティーブ・ジョブズに訴えると脅された」と語った。これは先日、AppleがHTCを提訴したことを受けて語った内容であるが、その辺のいきさつについてはZDNetの記事やITMediaの記事、シュワルツ氏のブログエントリなどを見て頂きたい。（ZDNetの記事がよくまとまっている。） ジョナサンが放ったカウンター元記事でも語られているが、いずれの場合もジョナサン・シュワルツ氏は、サン・マイクロシステムズが保有していた特許で対抗した。以下はZDNetの記事からの引用だ。まずはAppleから。 Appleに対して、Schwartz氏はAppleのプレゼンテーションソフト「Keynote」と、Schwartz氏が設立に関わりSunが買収したLighthouse Designの「Concurrence」との間の類似点を持ち出
貧乏だってプロファイリングは出来る！！ - poor man's profiler
従来より、プロファイリングのためのソフトウェアと言えば高価なものが中心であった。もっと安く、お金を掛けずに、簡単に、早くプログラムのボトルネックを探し出す方法はないのか？！ということで編み出されたプロファイリングテクノロジーがある。その名も、「poor man's profiler」だ。 poor man's profilerの全容は、次のページで知ることが出来る。 Poor Man's Profiler http://poormansprofiler.org/ poor man's profilerは、現Facebook（元MySQL ABのサポートエンジニア）のDomas Mituzasによって開発されたプロファイリングテクノロジーである。以下が、その全ソースコードである。 #!/bin/bash nsamples=1 sleeptime=0 pid=$(pidof mysqld) f
MySQLコミュニティ騒然！MySQL 5.5.4が与えるインパクト。
先週、MySQL Conference & Expo 2010が開催され、盛況のうちに終了した。カンファレンスに合わせる形で、MySQL 5.5.3および5.5.4がリリースされたのだが、これが目を見張るような進化を遂げている。特に性能面での進化には目を見張るものがある！Jeremy ZawodnyやMark Calleghanといったコミュニティの重鎮たちも「非常にエキサイティングなリリースだ！」などと表して歓迎の意を表している。 というわけで、本日はMySQL 5.5.3/5.5.4の新機能および変更点についてレビューしてみよう！ おさらい。 〜 MySQL 5.5の既存の機能 〜MySQL 5.5が登場したとき、その新機能については以前にもエントリで紹介したが、ここで改めておさらいしてみよう。MySQL 5.5は、正確にいうと現在最新バージョンであるMySQL 5.1の「次の次」のバ
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
そろそろMySQL Workbench 5.2についてひとこと言っておくか。
MySQLといえば、コマンドラインで操作するしかできないようなイメージが世間では定着してしまっている気がするのだが、実はちゃんとGUIも存在する。 MySQLはかねてより（MySQL AB時代から）オフィシャルなGUIツールとして、管理ツールとしてMySQL Administrator、SQL文を編集＆実行するためのQuery Browser、そして他のRDBMSからの移行ツールであるMigration Toolkitという3つのツールを提供していたのだが、先日それらのツールに対して開発終了のお知らせが出てしまった。 オフィシャルなGUIツールはもう無くなるのか？！！と思ってしまわれるかも知れないが、どうか焦らないで頂きたい。 現在、MySQLが提供するGUIツールとして活発に開発が続けられているものとして、MySQL Workbenchというものがある。このツールは、ビジュアル的に（実体
語り尽くされたことを改めてブログに書くことの意義
先日書いたSQLインジェクションの記事のブコメに、 otchy210 う～ん、このくらいの解説なら腐るほどある気がするぞ。何でこんなにブクマされてるの？ というものがあり、他にも「なんで今さら？」的なコメントがあったりして色々と考えさせられてしまった。「何故自分はこの記事を改めて書かなければいけないと思ったのか？」と。ブコメに全力で反応するようでいささか中二病的で恥ずかしいが、今日は「既に多方面で語られていることを改めて書く」ことの意義について、自分が出した結論について語ってみようと思う。 より多くの人の目に止まる。SQLインジェクションは非常に危険なセキュリティ脆弱性であり、今も多くのWebサイトが被害に遭っている。SQLインジェクション攻撃がなくならないのは対策が充分でないサイトがあるからであり、対策が充分でないのはSQLインジェクションに対する知識が足りないからである。従って、出来る
SQLインジェクションとは何か？その正体とクラッキング対策。
世間では、今Gumblar祭りが勃発中であり、SQLインジェクションがニュースに出てくることは少なくなったが、だからと言ってSQLインジェクションの脅威がなくなったわけではない。SQLインジェクションはGumblarを仕掛ける手段としても利用されることがあり、Webアプリケーションを提供する全ての人にとって、対策を講じなければいけない驚異であることに変わりはない。SQLインジェクションという攻撃手法が認識され、大いに悪用されているにも係わらず、その本質に迫って解説している記事は少ないように思う。従来のWeb屋だけでなく、今やアプリケーション開発の主戦場はWebであると言っても過言ではなく、そういう意味ではSQLインジェクションについて理解することは、全てのプログラマにとっての嗜みであると言えるだろう。 というわけで、今日は改めてSQLインジェクションについて語ってみようと思う。 SQLイン
サポートエンジニアが経験から語る、論理的文章によるコミュニケーションのススメ
俺はこれまで一貫してIT業界でエンジニアとしてのキャリアを進んできたのだが、これまでのキャリアでもう一つ一貫していることがある。それは、ずっとサポートエンジニアであるということだ。実はサポート職というのはかなり論理的なコミュニケーションを必要とする職種であり、如何に論理的な文章を上手に書くかということが、如何に良い仕事をするか（短い時間で成果＝顧客満足度を得られるか）ということに繋がるという側面がある。（もちろん高い技術力が必要なのは言うまでもないが。）サポートエンジニアはメールや報告書という形で日々論理的な文章を書かなければならないので、サポートの経験を重ねることによって論理的にコミュニケーションをする能力というのは徐々に磨かれよう。しかし、論理的にコミュニケーションをするというのは意外と皆出来ているようで出来ていないし、筋が悪いといつまで経っても身につかないこともあり、上手にお客さんを
MySQL Cheat Sheet 1.0
5 コメント: hika69 さんのコメント... MySQL Cheat Sheetのリンクが切れているようです。ほしいです！ 2011/04/02 12:54:00 Mikiya Okuno さんのコメント... Hikariさん、 今引越しをしたところで、まだ鯖を配備し終えてないのです。今しばらくお待ちを！ 2011/04/04 14:43:00 Mikiya Okuno さんのコメント... Hikariさん、 おまたせしました。ダウンロード可能になりました。 2011/04/09 0:05:00 Unknown さんのコメント... このコメントは投稿者によって削除されました。 2016/07/21 17:48:00 Mikiya Okuno さんのコメント... すみません。本文中でリンクしているサイトは、ドメイン切れのため消失してしまいました。下記のリンクをご利用ください。
MySQLに纏わる10の都市伝説
誰の口から飛び出したのかは定かではないが、巷ではMySQLにまつわる様々な「都市伝説」がまことしやかに囁かれているようだ。恐らくMySQLに対する理解が低い人や、MySQLがあまり好きではない面々によってFUDっぽく言われているのだと思うが、世の中にはそのような「都市伝説」を真に受けてしまう人が居るのもまた事実であである。MySQLにおける昨今の開発スピードには目覚ましいものがあり、MySQLは性能・安定性・使い易さ共に進化し続けている。（特に先日リリースされたMySQL 5.5は性能・安定性・使い易さを両立している優れたバージョンだ！！）しかし「都市伝説」で語られることは総じて「MySQLはダメな子ちゃん」であるという烙印を押すものばかりであり、MySQLerとしてはそのような言われ無き汚名を全身全霊をもって晴らさなければならない使命を背負っている。そこで、今日はMySQLについて語られ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
