MySQLパフォーマンスチューニングTIPS2019年7月10日に開催された「WEBエンジニア MeetUp＠札幌 #6 MySQL Special」での発表資料です。 発表時の資料に少し説明を加筆・修正してから公開しています。 ※追加で以下の更新をしました。(2019年7月19日) - MTSを効率化するための設定に関して、WRITE…
MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる
仕事やらなんやらでMySQLのクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触ったのか)も一緒に提示するようにしている(少なくともMySQL 5.7時点ではrows_examinedはslow_query_logでしか確認できないはずperformance_schemaが有効ならevents_statements_historyやその仲間たちで確認できるとのこと*1 MySQL :: MySQL 5.6 リファレンスマニュアル :: 22.9.6 パフォーマンススキーマステートメントイベントテーブル)。 例: 上の例のBeforeは、もともとDBAが書いた温かみのあるSQLでO
SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った - k0kubun's blog
sqldefのリポジトリ github.com これは何か Ridgepoleというツールをご存じでしょうか。 これはRubyのDSLでcreate_tableやadd_index等を書いてスキーマ定義をしておくとそれと実際のスキーマの差異を埋めるために必要なDDLを自動で生成・適用できる便利なツールです。一方、 で言われているように、Ridgepoleを動作させるためにはRubyやActiveRecordといった依存をインストールする必要があり、Railsアプリケーション以外で使う場合には少々面倒なことになります。*1 *2 そこで、Pure Goで書くことでワンバイナリにし、また別言語圏の人でも使いやすいよう、RubyのDSLのかわりに、誰でも知ってるSQLでCREATE TABLEやALTER TABLEを書いて同じことができるようにしたのがsqldefです。 使用例 現時点ではMy
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
CAIT Expands Offering with Acquisition of Tritone Consultants
Carrier Access IT (CAIT), a leading technology organization in Iowa, announces the acquisition of Tritone Consultants, an IT consulting firm focused on infrastructure as a service, web-scale IT, and hybrid hosting solutions. Tritone Consultants, located in West Des Moines, Iowa, employs a team of engineers with unique skillsets backed by industry certifications, such as VMWare, Cisco, Amazon Web S
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する - tehepero note(・ω<)
2016 - 06 - 20 Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する Docker MySQL DevOps Microservicesを運用していると、サービス毎にDBを持つことになってどうしても扱うDBや スキーマ が多くなってしまいます。 開発環境の MySQL （ AWS ならRDS）に直接接続するならまだしも、DBはローカルにもって好き勝手に使ったり、汚したりスクラップしたりしたいですよね。 というわけで、Dockerを使ってカジュアルにその環境を作ってみました。 やりたいこと やりたいことを以下の図のような感じ。 docker runで MySQL のコンテナを起動する コンテナ起動時に任意のRDSから ダン プを取得し、コンテナ内の MySQL にリストアする（もちろんRDSでも AWS でもなくて良い） 使う 再度docker run
go-sql-driver/mysql でプレースホルダ置換をサポートしました : DSAS開発者の部屋
前回の記事で少し触れましたが、 go-sql-driver/mysql にドライバ側でのプレースホルダ置換を実装するプルリクエストを出していました。 それがマージされたので、背景のおさらいと利用方法を紹介しておきます。 背景 Go の database/sql の概要については前回の記事で解説しました。 そこで説明したとおり、 DB.Prepare() を使わずに直接 DB.Exec() や DB.Query() を使った場合、 ドライバ側でのプレースホルダ置換に対応していないドライバでは prepare, exec, close で3回のラウンドトリップが発生することになり、パフォーマンスが悪くなります。 基本的には DB.Prepare() を使えばいいのですが、前回の記事で修正したスケーラビリティの問題は Go 1.5 になるまで直りませんし、 IN 句があるSQL文などで事前に P
MySQL 5.7の罠があなたを狙っている
2015/08/22 YAPC::Asia Tokyo 2015 Lightning Talk 2016/01/13 update about default_password_lifetime will be 0Read less
Go言語でSQLのトレースをする
ぴっぴ先輩が「Go言語で発行したクエリを確認したい」って言ってて、 「MySQL使っているならGeneral Logを吐けばよいのでは？」と返したんだけども、 もっと汎用的な方法はないものかと考えてみました。 Golangの database/sql はどんなDBでも対応できるよう、ドライバを自由に入れ替えることができます。 ドライバは単にdatabase/sql/driverにあるインターフェースを満たしている何かなので、 ユーザが自由に作ることができるし、interfaceを経由して直接呼び出すことも可能です。 この仕組を使って、別のドライバにそのまま渡すプロキシを作れば、ログを吐けるのでは？ということでやってみました。 go-sql-proxy 使い方 まず最初にgo-sql-proxyをドライバとして登録します。 hooks := &proxy.Hooks{ // Hook fun
Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 | 俺的備忘録 〜なんかいろいろ〜
Blog 201409 Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 前回、Webサーバのログを解析、モニタリング出来る『GoAccess』というツールを紹介したが、今回はそれと似たツール『request-log-analyzer』を紹介する。 このコマンドも『GoAccess』と同様にログを解析することが可能。解析できるログもWebサーバだけではなく、MySQLやPostgreSQL、Ruby on Railsと様々なログを解析できる。 ただし、ターミナル上でのリアルタイムのモニタリングには不向きなので、用途に応じて使い分けたほうがいいだろう。 1.インストール まずはインストール。以下のコマンドを実行する。 gem install request-log-analyzer 2.コマンドの実行 インストールができたら、
ISUCONで学ぶ Webアプリケーションのパフォーマンス向上のコツ 実践編 完全版
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮Hibino Hisashi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Plain db import with Go
RDBアンチパターン // Speaker Deck
RDS for MySQLからAuroraに移行した話 / RDS for MySQL to Aurora
MySQLテーブル設計入門
Mobage を支える Ruby の技術 ~ 複数DB編 ~ : sonots:blog
2014年なんだからCOUNT(*)とかSQL_CALC_FOUND_ROWSとかLIMIT OFFSETのページングはやめようぜ