DeNAによる大規模なMySQLノンストップ運用の裏側にある、フェイルオーバー自動化ツール
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
MySQL 5.6登場！！新機能速攻レビュー
現在、米国で行われているMySQL Conference & Expoにあわせて、新しい開発版であるMySQL 5.6が発表された。MySQL 5.5における新機能もかなりのものだったが、MySQL 5.6の進化は質・量ともに勝とも劣らない内容となっている。そこで、今日は簡単に、MySQL 5.6で追加された新機能の概要について見てみよう。開発版なので利用にあたっては十分な注意が必要（予期なく予定が変更される可能性あり）だが、次期正式版のリリースに向けて是非試してみて欲しい。 InnoDB関連MySQL 5.5で大幅な進化を遂げたInnoDBだが、その勢いはまったく衰えることを知らない。性能の強化だけでなく、痒いところに手が届く便利な機能が追加されている。 ダーティページのフラッシュをするスレッドが独立した。以前はマスタースレッド内でフラッシュが行われていたが、スレッドが独立したことによっ
「優れたMySQL DBAを見分ける27+3の質問」に対する回答例
随分と更新が空いてしまったが、「優れたMySQL DBAを見分ける27+3の質問」に対する回答例（漢バージョン）を紹介しよう。実は質問を掲載した際「難しい！」というコメントが非常に多く、もう少し易しい質問にするべきだったかと思って次のように呟いてみたのだが・・・ 非常に心強くて安心した。さすがに日本を代表するMySQLのエキスパートである。出題のレベルは間違ってはいなかった！！ そんなわけで、回答の方に移ろう。 MySQLのサーバープロセスはいくつある？ひとつ。mysqldはシングルプロセス・マルチスレッドモデルを採用しているので、"サーバー"プロセスはひとつである。多くの場合、Linuxなどでmysqldを動かす場合には、お供にmysqld_safeも常に動いていることが多いが、mysqld_safeはサーバーではなく、mysqldのためのラッパーであるので数には含めない。 rootユー
優れたMySQL DBAを見分ける27+3の質問
「優れたPerlプログラマを見分ける27の質問」の日本語訳というエントリが人気だったので、MySQL版をやってみた。題して、「優れたMySQL DBAを見分ける27+3の質問（漢バージョン）」。腕に覚えのある人はぜひ試してみて欲しい。 MySQLのサーバープロセスはいくつある？ rootユーザーのパスワードを忘れたときの回復手順 MySQLをオンラインバックアップする方法を3つ。（もっとでも可） InnoDBのデータファイルが作成可能な場所はどこか。 InnoDBのデフォルトの分離レベルは？ ネクストキーロックについて説明せよ。 ロールバックセグメントにはどのようなデータが格納されるか？ InnoDBでデッドロックが発生したときの挙動、および詳細な状態を確認する方法。 MyISAMがサポートしている特殊なインデックス2つ。 MySQLにおけるテーブル1行あたりの最大サイズ。 構成可能なレプ
MySQL互換クラウドRDBサービス「Xeround」が公開ベータへ
MySQL互換ながら独自のクラウド対応ストレージエンジンを搭載することで、スケーラブルなクラウド対応データベースサービスを実現する「Xeround」（ゼラウンドと発音するようです）が公開ベータを開始したことを明らかにしました。 Xeround MySQL Cloud Database Now on Amazon EC2 in Europe | Xeround MySQL Cloud Database Blog Xeroundはクラウド上のDatabase as a Service（DBaaS）として提供されるため、インストールやセットアップは基本的に不要。無料でベータ公開サービスを利用可能になっています。 MySQL互換のDatabase as a Service XeroundはMySQLのストレージエンジンアーキテクチャの上に構築されており互換性があるため、すでにMySQLを利用してい
MySQLパフォーマンスチューニングのためのインデックスの基礎知識 - 久保清隆のブログ
仕事でMySQLのパフォーマンスチューニングをしていて、インデックスについて分かっていないことが多かったので調べたことをメモ。基本的なところから学習しなおした。 MySQLのインデックスは、カラムが特定の値をもつレコードの迅速な検索に使用される。インデックスを使用すれば、数百とか数億ものレコードが入っているテーブルから、一組のレコードを迅速に見つけて取り出すことが可能になる。 しかし、インデックスは速度を改善することもあるが、挿入の邪魔になって遅くなることもある。 インデックスを適切に使うために、まずはインデックスの基本概念をおさえる必要がある。 インデックスの概念 インデックスとは インデックスの仕組みを理解するには、まずMySQLがどのようにクエリに応答するかを知る必要がある。 例えば、 SELECT * FROM phone_book WHERE last_name = 'Hoge'
ソーシャルゲームのためのMySQL入門 | BLOG - DeNA Engineering
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
データベース構造 - WordPress Codex 日本語版
以下は、WordPress バージョン 3.4 の標準的なインストールで作成されるデータベース・テーブルの概要と説明です。現在、WordPress バージョン 3.4 が対応しているデータベースは、MySQL バージョン 5.0.15 以上のみです。 バージョン 1.5 以降の過去のデータベース概要については英語版ページにあるリンクおよびこのページの旧バージョンのデータベース概要セクションをご覧ください。 WordPress は自動的にこのデータベースと連動しているため、エンドユーザーはその構造を気にする必要はありません。しかしプラグインを作成していると、WordPress がどのようにデータやその連携情報を格納しているかについて知りたいと思うかもしれません。既存の WordPress API を使って必要なデータにアクセスしようとしたことがすでにあり、データベースには直接アクセスできない
ストアドを使って、Webスクレイピングをしよう！ - moriyoshiの日記
こんにちは、SQLを愛してやまないmoriyoshiです。 ストアドプロシージャは、一連のSQL文をサブルーチンのようにDBサーバに記録しておき、後からそれを呼び出すことができるようにする仕組みです。近代的なRDBMSには標準的に備わっている機能といえます。 制御構造などもSQL文で記述することができるので、結果的に、あらゆるロジックをSQLのみで記述することができます。手続き型プログラミングにどっぷり浸かった現場の方から愛用されていると言われています。 今回は、ストアドプロシージャの応用として、Webスクレイピングを行なってみましょう。Webスクレイピングとは、特定のWebサイトにアクセスし、そのページの内容 (HTML) を取得、解析し、必要な情報を取り出すという一連の操作を自動化することです。Webスクレイピングを効果的に活用すると、人間がブラウザに向かって単純作業を繰り返す必要がな
MySQL管理者最速マスター
巷ではプログラミング言語の最速マスターが流行ってるので、MySQLも参戦。ただし管理者向け。 まずはダウンロードとインストールダウンロードサイト http://dev.mysql.com/downloads/ バイナリにはインストールパッケージ（Windows=MSI、Mac=DMG、Linux=RPMとか）とアーカイブ（*NIX=tar.gz/Windows=zip）があるけど、初心者は黙ってパッケージをチョイス。インストールはウィザードに従うだけ。英語だけどそこはガマン！ パッケージリポジトリがあるOSを使ってるなら、リポジトリからインストールするのもありだ。例えば、 shell> sudo yum install mysqlとか shell$gt; sudo apt-get install mysqlとか。これは楽チンだけどMySQLのバージョンがちょっと古くなるので注意。 もちろん
そろそろMySQL Workbench 5.2についてひとこと言っておくか。
MySQLといえば、コマンドラインで操作するしかできないようなイメージが世間では定着してしまっている気がするのだが、実はちゃんとGUIも存在する。 MySQLはかねてより（MySQL AB時代から）オフィシャルなGUIツールとして、管理ツールとしてMySQL Administrator、SQL文を編集＆実行するためのQuery Browser、そして他のRDBMSからの移行ツールであるMigration Toolkitという3つのツールを提供していたのだが、先日それらのツールに対して開発終了のお知らせが出てしまった。 オフィシャルなGUIツールはもう無くなるのか？！！と思ってしまわれるかも知れないが、どうか焦らないで頂きたい。 現在、MySQLが提供するGUIツールとして活発に開発が続けられているものとして、MySQL Workbenchというものがある。このツールは、ビジュアル的に（実体
メモ: InnoDB Pluginのバグ - （ひ）メモ
自分も含め、InnoDB Pluginの使用を検討してる人も多いのではないかと思うのですが、ちと気になるバグを見かけたので追試してみました。 Bug #47621 MySQL and InnoDB data dictionaries will become out of sync when renaming columns http://bugs.mysql.com/bug.php?id=47621 http://bugs.mysql.com/bug.php?id=44571 現象 カラムの名前を替えて、新しい名前のカラムに対して index をつけると、InnoDB Plugin 1.0.4 以前は mysqld がクラッシュし、1.0.5 以降はエラーが出て index がつけられない。 対処法 別テーブルを作ってデータをコピーする。 再現方法 DROP TABLE IF EXISTS
きょうもぼへぼへちゃんがゆく : [MySQL]mysqldumpslow
2009年11月02日21:13 カテゴリMySQL [MySQL]mysqldumpslow 備えあれば、憂いなし。 みたいなことを目指したい。そうありたい。 日々の雑用にかまけないようにしようと思い続けることはや数年。 スロークエリログは、日々のウォッチが大事ですね。 監視するプログラムを今日中に書こうと思った次第です。 スロークエリログを書き出す設定。 my.cnfに記述しておきます。 long_query_time = 1 log_slow_queries = /mysql/slow.log 1秒以上かかったクエリを「/mysql/slow.log」に書き出す設定です。 他に「log-queries-not-using-indexes」を指定すると、インデックスを使わなかったクエリも書き出すことができます。 書き出したスロークエリログの解析。 そのままだと見
MySQLに纏わる10の都市伝説
誰の口から飛び出したのかは定かではないが、巷ではMySQLにまつわる様々な「都市伝説」がまことしやかに囁かれているようだ。恐らくMySQLに対する理解が低い人や、MySQLがあまり好きではない面々によってFUDっぽく言われているのだと思うが、世の中にはそのような「都市伝説」を真に受けてしまう人が居るのもまた事実であである。MySQLにおける昨今の開発スピードには目覚ましいものがあり、MySQLは性能・安定性・使い易さ共に進化し続けている。（特に先日リリースされたMySQL 5.5は性能・安定性・使い易さを両立している優れたバージョンだ！！）しかし「都市伝説」で語られることは総じて「MySQLはダメな子ちゃん」であるという烙印を押すものばかりであり、MySQLerとしてはそのような言われ無き汚名を全身全霊をもって晴らさなければならない使命を背負っている。そこで、今日はMySQLについて語られ
実践ハイパフォーマンスMySQL 第2版 - naoyaのはてなダイアリー
オライリー・ジャパン から実践ハイパフォーマンスMySQL 第2版が発売されました。第2版の出版にあたって、弊社の id:stanaka, id:hideoki と自分の3人で監訳を担当させていただきました。 実践ハイパフォーマンスMySQL 第2版 作者: Baron Schwartz,Peter Zaitsev,Vadim Tkachenko,Jeremy D. Zawodny,Arjen Lentz,Derek J. Balling,伊藤直也(監訳),田中慎司(監訳),吉川英興(監訳),株式会社クイープ出版社/メーカー: オライリージャパン発売日: 2009/12/14メディア: 大型本購入: 17人 クリック: 373回この商品を含むブログ (45件) を見る 好評だった初版は確か、自分がはてなに入社した直後ぐらいに読んだ記憶があるのでもう 5 年も前になります。はてなの MySQ
MySQL 5.5 の Semi-sync. を Windows 上で試してみた - sakaikの日々雑感～(T)編
MySQL 5.5 話題の機能のひとつ、セミ・シンクロ・レプリケーション。同期と非同期の間の「semi-」シンクロということで、息を大きくすって一息で言うと「マスタの更新がスレーブのDBに反映されるところまでは保証しないのだけどスレーブのDBに反映するために一旦スレーブ側に保存するファイル(リレーログ)に保存されることまでつまりスレーブにデータが渡っているところまでは保証するレプリケーション」ということになります。さて問題です。この文に読点を打ってください(笑)。 セミシンクロレプについては、漢(オトコ)が詳しく説明してくれています。 http://nippondanji.blogspot.com/2009/03/mysql-ha-semi-synchronous-replication.html ということで、どんな動きをするのか興味があったのでさくっと試してみました。最大の懸念は「スレ
Oracle，ECの懸念払拭を狙い，MySQLに関する取り組みを明示
米Sun Microsystems買収計画を巡って欧州連合（EU）の欧州委員会（EC）による調査を受けている米Oracleは米国時間2009年12月14日，Sunのオープンソース・データベース「MySQL」に関する買収後の取り組みについて発表した。 ECが同買収計画による欧州データベース市場への悪影響に特に懸念を抱いていることから，MySQLの競争力を維持する意向を明確に示し，ECの懸念を払拭するのが狙い。 両者は「建設的な話し合いを行った」とし，ECは「MySQLの顧客，開発者，ユーザーに向けたOracleの約束は今後の調査で考慮される」とのコメントを発表。EC欧州競争委員のNeelie Kroes氏は，納得のいく結果を得られるだろうとの見解をあらためて示した。 Oracleが掲げた取り組みには，目的に応じたストレージ・エンジンを実装可能にする「Storage Engine API」を継
あの2社が“ハード”なガチンコ勝負 － ＠IT
秋になれば毎年恒例のOracle OpenWorld 2009 San Franciscoが開催されます。この直前にIBMはOracleをけん制、そしてOracleもIBMに反撃、激しく火花を散らしています。 アプライアンスでユーザーにメリットを そういえば近年ではあまり「オープンシステム」という言葉を使いませんね。「オープンソース」とは違いますよ。複数のハードウェアやソフトウェアを組み合わせて構築したシステムのことです。特定ベンダの製品に一本化するのとは対照的な概念です。 組み合わせを自由にできるということは、どれをどう組み合わせるか、その見極めが大事ということです。全体を見渡して最適な選択をするためには、ハードウェアやソフトウェアの特長を熟知していなくてはなりません。そこがエンジニアの知識や勘所を発揮するところでもあるかと思います。 そう考えると、最近よく話題になるアプライアンスは興味
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS移行に向けたクックパッドの取り組み
http://japan.internet.com/developer/20091215/26.html