mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた
こんにちは。エンジニアの阿久津です。 今回はMySQLの mysqldump と mysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。 mysqldumpとは 従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。 mysqlpumpとは MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンドです。 機能紹介 1. 並列処理（並列ダンプ） 複数のデータベース・テーブルを並列処理でバックアップすることができます。 MySQLサーバからデータを収集するために複数のスレッドを作成し、そのスレッドがそれぞれMySQLサーバへ接続してデータをまとめるためにキューに取得したデータを挿入する仕組みになっています。 オプションを何も利用せずにデフォルトで mysqlp
Amazon Aurora MySQL データベース設定のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL データベース設定のベストプラクティス AWS クラウドで新しい Amazon Aurora MySQL インスタンスを移行または起動した後、以下の質問のうち 1 つ以上を自問したことはありますか? 「次のステップは? どうすれば、最適に動作させることができるでしょうか?」 「既存のパラメータを変更する方が良いでしょうか?」 「どのパラメータを変更すれば良いでしょうか?」 自問したことがあるなら、何をすべきか（そして、何をすべきでないか）について、このブログ記事がガイダンスを提供できることを願っています。 この記事では、MySQL との互換性を持つ Amazon Aurora の設定パラメータについて説明、明確化し、推奨事項を提供します。こうしたデータベースパラメータとその値は、AWS クラウドで新しく作
なぜあなたは SHOW ENGINE INNODB STATUS を読まないのか - そーだいなるらくがき帳
この記事は、MySQL Casual Advent Calendar 2017の20日目の記事です。 煽り気味のタイトルですがみなさん SHOW ENGINE INNODB STATUS 読んでますか？ SHOW ENGINE INNODB STATUS \G 見づらいのなんとかならんのか。— そーだい@初代ALF (@soudai1025) 2016年12月20日 わかる。でもMySQLの振る舞いを知る中でSHOW ENGINE INNODB STATUSを読まざる得ない場面はそこそこあります。 どんな時に必要になるのでしょうか？ そこでSHOW ENGINE INNODB STATUSにまつわる話を書きます。 SHOW ENGINE INNODB STATUS をまず読みやすくする まず末尾に \G を付けましょう。 これで3倍読みやすくなります。 次に pager less -S を
大人のためのInnoDBテーブルとの正しい付き合い方。
InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。 ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE TABLEは不要である。なぜなら、InnoDBが自発的に統計情報を更新するからだ。InnoDBは以下の条件に適合すると、ANALYZE T
サイボウズ版 MySQL パフォーマンスチューニングとその結果 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。先日親知らずを抜歯した時、つらすぎたので MySQL の JOIN のことを考えて心の平静を保っていました。 サイボウズの製品のひとつである kintone はニーズに応じて自由に業務アプリのようなものを手軽に作ることができ、データの検索条件やソート条件も細かくカスタマイズ可能で、様々なレベルでのアクセス権も設定可能という非常に便利なツールです。 しかしその機能を支える裏側では複雑なクエリが発行され、MySQL に多大な負荷をかけています。サイボウズのクラウドには数十テラバイトに登る MySQL データがあり、数千万件オーダーのテーブルを複数 JOIN するクエリが毎秒のように実行されるという、エンジニア魂が滾る環境です。 現在サイボウズでは性能改善に力を入れており、僕もその業務に従事しています。例えば2018年
AuroraのフェイルオーバーとRailsのコネクションプールを共存させる方法 - Qiita
はじめに こんにちは、ここ最近AzureからAWSに主戦場を移したalfaです。 AWS なので早速地雷を踏みました。 具体的には、Auroraでフェイルオーバーが発生した際にDBへ書き込みが出来なくなってしまい、アプリが再起動されるまで正しく動かなくなってしまうといった症状です。 何が起こったのか AuroraのフェイルオーバーとActiveRecordのコネクションプールの仕組みは相性が悪かったという事ですが順を追って説明していきます。 クラスターに障害が発生した場合、クラスタエンドポイントのDNS(CNAME)を書き換えることで参照先を切り替える仕組みです。 クラスタエンドポイントをDBの接続先に設定したRubyアプリケーションがあったとき フェイルオーバーしてマスターが切り替わると... アプリケーションは再接続するだけで昇格したマスターを参照できます。 ウルトラハイパーメチャクチ
InnoDBのREPEATABLE READにおけるLocking Readについての注意点
本日は、MySQL Casual Advent Calendar 2013の20日目である。というわけでカジュアルに小ネタを紹介しよう。 MVCC - Multi Version Concurrency Controlご存知の通り、InnoDBはMVCCを実装している。そのため、分離レベルがREPEATABLE READの場合には、行にロックをかけることなく、一貫した読み取りが可能になっている。 もし、あるトランザクションT1開始後に、別のトランザクションT2によって同じ行が書き換えられてしまった場合には、T1はロールバックセグメントにある古いバージョンの値を読み取ることができるので、T1内で実行したSELECTは常にT1開始時点のデータを参照することができるのである。大事なのでもう一度言うが、REPEATABLE READにおける単純なSELECTでは行ロックは必要ない。 Lost Up
MySQLのperformance-schema-instruments利用によるパフォーマンス影響を調べてみた - LINE ENGINEERING
概要のドキュメント: https://dev.mysql.com/doc/refman/5.7/en/innodb-information-schema-metrics-table.html 各カラムの情報: https://dev.mysql.com/doc/refman/5.7/en/innodb-metrics-table.html 利用方法 メトリクスを有効化,無効化,リセットするには以下のコマンドを実行します。 これらはカウンターごと, モジュール(subsystem)ごと, 文字列パターン, もしくは全選択のいずれかの方法でカウンターを指定して設定できます。 SET GLOBAL innodb_monitor_enable = [counter-name|module_name|pattern|all]; SET GLOBAL innodb_monitor_disable =
第75回 MySQLのさまざまなタイムアウトオプションについて：MySQL道普請便り｜gihyo.jp … 技術評論社
MySQLでは、さまざまな処理においてタイムアウトオプション値の設定が可能です。それらのタイムアウトオプションは処理ごとに別のオプションを持っている場合が多く、どの処理が対応しているのか迷ってしまうことがあります。 今回は、いくつかのタイムアウトオプションについて紹介したいと思います。MySQLのバージョンは5.7.22を使用しています。 SHOW GLOBAL VARIABLESからtimeoutで部分一致検索すると、以下のようにオプションが確認できます。このうちのいくつかを紹介します。 mysql > > show global variables like '%timeout%'; +-----------------------------+----------+ | Variable_name | Value | +-----------------------------+--
【MySQL】照合順序とは？ - Qiita
照合順序（collations ）が違うためSQLのjoinで失敗。 これを機会に照合順序について調べてみる。 SQLSTATE[HY000]: General error: 1267 Illegal mix of collations (utf8_general_ci,IMPLICIT) and (utf8_unicode_ci,IMPLICIT) for operation '=' MySQLは文字コードとソート順を持っていて、ソート順の部分がCollationとよばれている。(文字コードの部分はCharacter Set) 比較するときには文字コードだけでなくてCollationが一致するかどうかを比較する(順序が合わないと比較できない)。 ので、JOINしようとするとエラーになる。 DB単位、テーブル単位、カラム単位で設定可能。 照合順序の意味 例えば cp932_japanese
MySQLのCollationはどのように決まるか。そして、３つの落とし穴。 - なからなLife
今回は、設定値（パラメータ）の話 Oracle脳には馴染みの薄い、MySQLの「Collation」にまつわる挙動の話atsuizo.hatenadiary.jp の続きです。 前回は、Collation設定についてMySQLのデフォルトで使用される「_general_ci」だと「大文字小文字を区別せず」となり、区別させるには「_bin」を使いましょう、って話をしました。 今回は、そもそもそのCollationを設定する場所はどこにあるか、どのレベルで設定が可能で、デフォルトはどうなっているか、という話です。 パラメータと階層 MySQLでCollationを設定可能なレイヤは4階層（厳密には5階層）になっています。 サーバ（インスタンス）レベル 通常「システム変数」と呼ばれます。 Collationに関連するパラメータは ・collation_connection ・collation_
Amazon AuroraのMySQL 5.7互換が正式リリースされました | DevelopersIO
◯| |南米 (サンパウロ)|◯||| ### 新機能 MySQL 5.7互換であるため、MySQL 5.7としての新機能が追加されています。代表的なものは以下のとおりです。 - JSONサポート - 空間インデックス（Amazon Auroraは独自に空間インデックスを実装しています） - 生成カラム（generated column） JSONサポートは嬉しい方が多いのではないでしょうか。多用するとリレーショナルモデルから逸脱するので適度な使用が良いと思います。 生成カラムは別のカラムの内容を基に計算した結果を取得できるカラムです。データの取り出しに柔軟性（コード -> 値の変換がアプリ側で不要など）が生まれます。 13.1.18.8 CREATE TABLE and Generated Columns 既存Auroraからの移行 Aurora MySQL 1.14、1.15、1.16
Amazon Aurora : パラメーターから見るその詳細(Percona Data Performance Blogより) | Yakst
Amazon Aurora : パラメーターから見るその詳細(Percona Data Performance Blogより) 出典について この記事はPercona Data Performance Blog内のVadim Tkachenko氏によるAmazon Aurora – Looking Deeper(2015/11/16)を翻訳したものです。 最近、私のPerconaの同僚であるYves Trudeauと業界の仲間であるMarco TusaがAmazon Auroraに関する記事を発表しました。実際のところ、Amazon Auroraは最近のホットな話題で、お客様からもAuroraの技術に関して多くの質問をいただいています。私は自分の意見を明らかにすることを決心しました。個人の実際に手を動かした経験に勝るものはありませんし、それを共有しようと思います。 私がこれから言及する資料
Google Cloud SQL 2nd Generation Proxy接続する - 続 カッコの付け方
8月下旬、 Google Cloud SQL 2nd Generation がGAとなりました。すでに検証はしていますが、今回は Cloud SQL Proxy を中心に書きます。 iga-ninja.hatenablog.com Cloud SQL Proxy とは？ 前回の記事でも記載しましたが、Cloud SQL への接続は全てグローバルIPアドレス となります。これに嫌悪するひとは多いと思いますが、この点はどうすることも出来ません。で、GCEのVMからアクセスする場合、は2つの方法どちらかをとることになります。 特定IPアドレスからのみアクセスを受け付ける(グローバルIPのみローカルIPは意味ない) Cloud SQL Proxy を使う 1を採用したでも、GCEの特定VMからのみだときまっていたり、スケールアウトは考える必要がなく、固定台数でのみサービスする場合は、あまり問題はあ
バックアップと障害復旧から考えるOracle Database, MySQL, PostgreSQLの違い
2. 2 自己紹介+所属会社紹介 • 渡部 亮太（わたべ りょうた） – JPOUG 共同創設者、ボードメンバー – Oracle ACE – 著書「プロとしてのOracleアーキテクチャ入門 [第2版]」 「プロとしてのOracle運用管理入門」 – ブログ「コーソルDatabaseエンジニアのBlog」 http://cosol.jp/techdb/ • 株式会社コーソル – 「CO-Solutions＝共に解決する」の理念のもと、Oracle技術に特 化した事業を展開中。心あるサービスの提供とデータベースエン ジニアの育成に注力している – 社員数: 131名 (2016年7月時点) – ORACLE MASTER Platinum 11g 取得者数 45名 ORACLE MASTER Platinum 12c 取得者数 28名 （現時点でおそらく）取得者数 日本 No.1
MySQL/MariaDBをPercona Monitoring Plugins for Zabbixで監視 – 株式会社ネクストレボ
Percona Monitoring Plugins for Zabbixは、テンプレートやZabbixエージェントへのUserParameter追加だけでなく、スクリプトを利用してデータを取得しています。 そのため、以下のような特徴があります。 MySQL(派生含む)データベースの監視用 監視データはZabbixエージェントでスクリプト(シェル及びPHP)を実行して取得 取得したデータはキャッシュファイルに保存され、DB接続や負荷を最小限に抑えている 190以上のアイテムに加えて、トリガー、グラフやスクリーンのテンプレートを設定済み レプリケーションの監視にも対応 Zabbix2.0以降に対応
percona-xtrabackup:start [Percona DokuWiki]
Home Home Percona Monitoring and Management Percona Monitoring Plugins MySQL Software MongoDB Software PostgreSQL Software Kubernetes Operators Playback Reference Legacy documentation¶ You should upgrade to the most recent version for documentation support. The documentation for product versions that are either outdated or have reached their end-of-life is available in a PDF format. Outdated docum
![percona-xtrabackup:start [Percona DokuWiki]](https://cdn-ak-scissors.b.st-hatena.com/image/square/413f37c271421b0a3fd7cc4e6d37884df1d4a3f6/height=288;version=1;width=512/https%3A%2F%2Fdocs.percona.com%2Flegacy-documentation%2F_images%2Fdoc-legacy.png)
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MariaDB, HikariCP and connection lifetime • joshefin
MySQLのautocommitとトランザクション分離レベルのメモ - Qiita
