密着 24時！ MySQL 5.1 から Aurora への移行100日間 〜 Backlog 編 | 株式会社ヌーラボ(Nulab inc.)
Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログ にあるように複数の運用環境があります。 その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。 移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で
Amazon Aurora - Looking Deeper
Recently my colleague (by Percona) Yves Trudeau and colleague (by industry) Marco Tusa published their materials on Amazon Aurora. Indeed, Amazon Aurora is a hot topic these days, and we have a stream of customer inquiries regarding this technology. I’ve decided to form my own opinion, and nothing is better than a personal, hands-on experience, which I am going to share. The materials I will refer
MySQL 5.7の罠があなたを狙っている
2015/08/22 YAPC::Asia Tokyo 2015 Lightning Talk 2016/01/13 update about default_password_lifetime will be 0Read less
RDBにおけるキャッシュという考え方
RDBの専門家として日々活動している中で気づいたことのひとつに、「RDBはデータへのアクセスの実装をインデックスに頼っているが、インデックスは全ての問題を解決できるほど万能ではない」ということがある。インデックスというのはとても強力な部品であり、その点には全く異論はない。だが、世の中の全ての問題（クエリ）を解決できるほど、柔軟性に富んだものではないということだ。RDBは、どのインデックスを使ってデータへアクセスするかということを、オプティマイザを用いて判断する。大抵のRDB製品では、オプティマイザはよい仕事をするので、インデックスとオプティマイザの組み合わせによって、ほとんどの問題に対応できる。だが、100%ではないのであり、そのようなケースがシステムの性能問題を引き起こしたり、プログラマ（アプリケーションの設計者）に、NoSQLへ完全に移行したり、クエリ高速化のために非正規化をすると言っ
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応 Google Cloud Platformのブログに投稿された記事「Scaling MySQL in the cloud with Vitess and Kubernetes」で、Vitessは次のように説明されています。 At YouTube, we went on that journey as we scaled our MySQL deployment, which today handles the metadata for billions of daily video views and 300 hours of new video uploads per minute. To do this, we developed the Vitess platform,
MySQL(InnoDB) で "Index column size too large. The maximum column size is 767 bytes." いわれるときの対策 - かみぽわーる
tl;dr: MySQL 5.5.14以降だとinnodb_large_prefixオプションで3072バイトまでインデックス張れる MySQL(InnoDB)では、ひとつのカラムのキープレフィックスの最大値が767バイトという制限があるので、ついうっかりして Index column size too large. The maximum column size is 767 bytes. とか Specified key was too long; max key length is 767 bytes といったエラーを見たことある人は多いのではないかと思います。 よくあるケースだと、varchar(256)以上のutf8なカラムにインデックスを張ろうとするとこのエラーとご対面できます。 CREATE TABLE t (c varchar(256), index (c)); ERROR
5分で出来るMySQLのお手軽チューニング - わーくあうと！
こちらのエントリーで書いているのですが、開発用のVPS鯖がメモリ使い過ぎで重くなっていて、mysqlに問題がありそうだったのでサクっと調整しました。 その手順を残しておきます。 MySQLのチューニング項目について説明 MySQLのメモリに関する設定項目はたくさんあります。 それぞれの項目に関しての詳しい情報は下記が参考になります。 http://trackback.blogsys.jp/livedoor/klab_gijutsu2/50860867 ただ、これらを全て把握するのは大変だと思うので、簡単に分類すると以下の2種類があります。 グローバルバッファ スレッドバッファ で、MySQLが使うメモリ量は下記になるわけです。 グローバルバッファ + ( スレッドバッファ * コネクション数 ) それらを踏まえた上で具体的なチューニングに入ります。 MySQLで使っているメモリ量を調べる
MySQL/MariaDBとTransactdのInnoDBロック制御詳細 その1 - BizStationブログ
今回から数回にわたり、TransactdのオペレーションとInnoDBにおけるロックについて解説します。 ロックについてはあまり良くわからなくてもとりあえずそれなりに動くアプリケーションは作れてしまいます。ですが、マルチユーザー環境でミッションクリティカルなアプリケーションを書くには、ロックの理解が不可欠です。ロックをうまく使って、矛盾や間違いのない読み書きをしつつ同時実行性も高いアプリケーションにしましょう。 その1では、Transactdを実装する上でMySQLのソースやドキュメントから得た知見を基に、InnoDBのロックの種類と分離レベルに応じてそれをどのように使うかをまとめてみます。 Index MySQLのトランザクション関連用語 MySQLのREPEATABLE-READ InnoDBのロック 行ロック (row-level locking) GAPロック GAPロック単体 ネ
MySQLでレプリケーション同期がとれなくなった場合の対処 – (っ´∀｀)っ ゃー | 一撃
昨日久しぶりにブログを更新したら、下書きが突然消えたりパーマリンクが消えてしまったり、はたまた下書きが勝手に公開されてしまったりと酷い目にあってしまった。どうにか投稿ができた後も、リロードするたびに最新の投稿がランダムに見えたり見えなかったりしたりして困ったちゃんである。2台のサーバでnginxの設定ズレやキャッシュの有無などを疑ったりしたが、どうやらMySQLのレプリケーションが失敗しているようだ。そこでスレーブ側のサーバでステータスを見てみることにした。 [nullpopopo@SLAVE ~]$ mysql -u root -p mysql> SHOW SLAVE STATUSG *************************** 1. row *************************** Slave_IO_State: Waiting for master to se
MySQL スレーブで SQL スレッドが停止した場合の対処方法 - maruko2 Note.
MySQL スレーブで SQL スレッドが停止した場合の対処方法 提供：maruko2 Note. 移動： 案内, 検索 MySQL スレーブで SQL スレッドが停止（Slave_SQL_Running: No）した場合、次のような対処方法がある。 mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event 省略 Relay_Log_Pos: 13550246 Relay_Master_Log_File: mysql-bin.000010 Slave_IO_Running: Yes Slave_SQL_Running: No 省略 Last_Errno: 1062 Last
【緊急】RDS for MySQL アップデートのお知らせ | DevelopersIO
はじめに こんにちは植木和樹です。本日10月17日付けでMySQL 5.5/5.6に対する脆弱性が発表されています。これはAWSのRDSも対象となっています。 AWS Developer Forums: 【参考日本語訳】MySQL 5.5 and 5.6 Security Advisory MySQL 5.5 and 5.6 Security Advisory 上記ページのリンク先にあるOracleの発表を読むと、「ユーザーパスワード認証なしに悪意のあるコードを実行できる」とあります。 訂正：2014/10/18 9:10 最初に公開した内容の一部に2点誤りがありました。 日本時間 10/18（土）に強制アップグレードされるインスタンスはPublicly Accessibleの設定に関係なく、セキュリティーグループが無条件解放になっているインスタンスが対象となります 日本時間 10/18（
RDS(MySQL)でJSTを使う たった１つの冴えたやり方 - Qiita
$ date 2014年 5月30日 金曜日 20時56分02秒 JST $ echo 'select now()' | mysql -h mysql.foobar.ap-northeast-1.rds.amazonaws.com -u admin -p Enter password: now() 2014-05-30 11:56:20 アンチパターン init_connect に "SET SESSION time_zone = 'Asia/Tokyo';"と書く →フェイルオーバー時にハマる (rdsadminユーザなどではTimezoneがUTCでないとダメ) ストアドプロシージャを入れて init_connect から呼ぶ 例)
第3回 すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介 | gihyo.jp
前回の地価マップでの事例紹介では、Ruby on Railsからgroongaとmroongaを使って位置情報検索をした事例を紹介しました。Active Recordを拡張して位置情報検索をするためのgemとその使い方も紹介していたので、Ruby on Railsユーザにとって実用的な内容だったのではないでしょうか。 今回は、前回使い方を紹介したmroongaについて、さらに紹介します。前回はmroongaの使い方がでてきましたが、今回は使い方の紹介はしません。その代わり、mroonga自身のことについて紹介します。mroongaの歴史、大事にしていること、さらにどのようなアーキテクチャになっているかについて説明します。 自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？ 自分のアプリケーションが大事にしたいことをその
Mroongaを選んだ理由と
ちょっと嬉しかった話
2. はじめまして！（一部のじゃない方こんばんわ！） てるい まさし 照井 将士 " https://www.facebook.com/marcy.terui https://twitter.com/FumblePerson " とあるSIerの雑用係 " AWS Certified Solutions Architect(道内第一号) JAWS-UG札幌 下っ端メンバー (マグレで)第5回Tuningathon(チューニンガソン)優勝" サーバゆとり世代 "" 1987年 東京都大田区に生まれる 1992年 札幌移住 2011年 とあるSIerに入社 " " 役職：下っ端 仕事：インフラ構築・運用(主にAWS) WEBシステム開発 その他雑用 3. はじめまして！（一部のじゃない方こんばんわ！） てるい まさし 照井 将士 " https://www.facebook.com/marcy
第8回 CentOS6でのRPMパッケージを用いた MySQL 5.6 & mroonga & PHP 5.4 環境の作り方 | gihyo.jp
例えばPHP 5.4.xとMySQL 5.6.x環境を用意する際、mysqlndが採用できれば後述の手順において、PHPのRPMパッケージ作成は省略可能です。つまり、mroongaのRPMパッケージ作成のみで導入できます。しかし事情により、mysqlndが使えず従来のlibmysqlclientが必要な環境の場合には、PHP・mroongaそれぞれのRPMパッケージを後述する手順で作成します。なお、iusの提供するmysql56u-develパッケージにはmroongaのビルドに必要なlibmysqlservices.aが不足しているため、オラクル公式のRPMパッケージを利用して紹介します。 Remiリポジトリ・IUSリポジトリのインストールについては、公式サイトが参考になります。 Remiリポジトリ : http://rpms.famillecollet.com/ IUSリポジトリ :
社内勉強会でMySQLの運用について喋ってきた | Ore no homepage
すでにMySQLの運用テクニックは多くのTipsが出回っているので、考え方を中心に喋ってきた。主に、負荷が高い、レプリが遅延する、などについて。 資料 文字多めの資料になっている。オンプレでの運用が多いので、物理レイヤーの話も少しある。自己紹介だけ中途半端に英語。「資料を英語で書こうと思ったけど諦めたので、この後は全部日本語です」で、とりあえず一笑い取れた(失笑)。 こんな話をした↓ 負荷対策 SQLのチューニングはちゃんとしましょう。 ハードウェアリソースの負荷の箇所によって適切な対応をしましょう。 MySQLの設定は勘所を抑えて適切にしましょう。ただし、単なる数字いじりには意味はない。 ファイルシステムやそのオプションは、高トラフィック時に差が見えてくるので、留意はしておきましょう。 レプリケーションの遅延 資料の通りだよ。 MySQLは非同期(準同期)レプリケーションなので遅延は避け
MySQL 5.6 パラメータ 検討会
1 MySQL 5.6 パラメータ検討会 MyNA(日本MySQLユーザ会)会 2013年7月 2013/07/29 平塚 貞夫 2013/08/06 Revision 2 2 自己紹介 • DBエンジニアやってます。専門はOracleとMySQL。 – システムインテグレータで主にRDBMSのトラブル対応をしています。 – 仕事の割合はOracle：MySQL：PostgreSQL＝5：3：2ぐらいです。 • Twitter：@sh2nd • はてな：id:sh2 • • 写真は実家で飼っているミニチュアダックスのオス、アトムです。 3 本日のお題 4 MySQL 5.6のパラメータ検討 • MySQL 5.6にはさまざまな新機能が追加され、パラメータ数が大幅に増えました。 • SHOW GLOBAL VARIABLESの項目数で100個以上増えています。 – MySQL 5.5.31：
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー社内でやってるMySQLチューニングセミナー大公開
MySQLテーブル設計入門
MySQLバックアップの基本
