週刊Railsウォッチ（20201020前編）Percona Toolkitは優秀、Active Admin非公式ガイド、Railsをリアクティブにするガイドほか｜TechRacho by BPS株式会社
2020.10.20 週刊Railsウォッチ（20201020前編）Percona Toolkitは優秀、Active Admin非公式ガイド、Railsをリアクティブにするガイドほか こんにちは、hachi8833です。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ※今回録音に失敗したため、つっつきボイスがいつもより短めとなっております🙇。 ⚓Rails: 先週の改修（Rails公式ニュースより） 今回の更新は少なめで、Changelogは更新されていませんでした。 コミットリスト: Comparing @{2020-10-0
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする | CyberAgent Developers Blog
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする 技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です☺ #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では Cycloud と呼ばれる、サイバーエージェント社内で運営されているプライベートクラウドがあります。 CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud 僕が担当しているいくつかのサービスでも Cycloud を利用
PXCの設定はあまりいじっていません。 wsrep_slave_thread=100 設定してみたものの大きな差異は出ていないような気がします MySQLの設定は以下の通りです。 [mysqld] # max connections max_connections=300 max_prepared_stmt_count=1000000 # thread cache thread_cache_size=300 # query cache #query_cache_size=512M #query_cache_limit=16M #query_cache_type=1 query_cache_type=0 query_cache_size=0 # file per table innodb_file_per_table=ON # buffer size innodb_buffer_pool_s
週刊Railsウォッチ: 英国政府サイトで使われるRailsアプリ、pg-oscとPercona Toolkitほか（20220308前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 以下のコミットログのうち、Changelogに反映されているものから見繕いました。 コミットログ:
Percona Playback で 本番 MySQLに流れているクエリを試験環境でリプレイする - mita2 database life
データベースのバージョンアップの際、アプリケーションの網羅的なテストが可能であれば良いのですが、どうしても難しいケースがあります。 そのような場合、リプレイツールで本番環境に流れているクエリを、試験環境でリプレイ（再現）し、動作確認を取る方法もあります。 リプレイツールを探す MySQL の クエリ リプレイができるツールを探してみました。 Percona Tookit に pt-log-player というツールが含まれていたのですが、いつのまにか、なくなってました。。。 2013年にリリースされた、percona tookit 2.2 で削除されてしまったようです。 We removed pt-query-advisor, pt-tcp-model, pt-trend, and pt-log-player. Granted, no tool is ever really gone: i
Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] | BLOG - DeNA Engineering
2024.02.27 技術記事 Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] by Kohei Okazaki #infra-quality #infra-delivery #stabilization #technical-verification #datastore #portability #pxb #mysql はじめに こんにちは、IT基盤部にてインターンとして活動している岡崎です。現在、私はパブリッククラウドチーム (以下、PCA)に所属しており、いくつかの施策に携わっています。 現代のビジネス環境において、クラウドリソースの柔軟な移動と管理は、事業継続性と革新性の両立に不可欠です。この重要なニーズに応えるべく、私たちPCAチームでは、クラウドリソースのポータビリティに関する総合的な施策を進めています。これは、アプリケー
![Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/6fd5a83c12bf78f093470b03c938b1bfbc9653e4/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2024%2F02%2Fpca_portability%2Fcover.png)
Percona Xtrabackupでは、以前から以下の2つの圧縮方式が選択できました。 quicklz lz4 まだtech preview ではありますが、v8.0.30では第三の圧縮方式としてZSTDを選択できるようになりました。 今回は、以下の観点で今までの圧縮方式とZSTDを比較してみようと思います。 圧縮効率 バックアップ速度 解凍速度 テストデータについて 今回テストデータについては、TPC-Hのデータを利用しました。 TPC-H また、テーブル定義の作成については、MySQL HeatWave 用の公開ベンチマークのDDLスクリプトを利用させて頂きました。 ./dbgen -s 100 として 約100GB のデータセットを作成し、TPC-Hで使用するテーブルセットのそれぞれのテーブルを5つずつ作成しました(LINEITEM_1, LINEITEM_2…のように) そして、
MySQL (or percona) memory usage tests · BlackIkeEagle's blog
Thu, Apr 23, 2020 Recently we did some upgrades at work which were also updating the base OS. In general we did not expect too many issues since we were running tests and the operation of all parts was looking good. After the upgrades we noticed something was off with mysql. Some mysql machines were killing mysqld because of OOM (out-of-memory). You’ll see the kills with journalctl or in your sysl
このエントリは はてなエンジニア Advent Calendar 2019 の 18 日目のエントリです。 qiita.com 前日は id:ikesyo さんによる 2019年のSwiftモック事情 でした。 ikesyo.hatenablog.com SQL を分析したい 今日の話。DB 負荷を継続的に計測していきたいのです。 そんなときに Percona Toolkit って良いライブラリがあるので、これを使っていきましょう。 SQL を分析するときは以下のようなことを考えます。 本番環境でログを採取 normalize グルーピング EXPLAIN マズいクエリを見つけたらアラート発報 それぞれ見ていきましょう。 ログの採取 色々眺めたいので一旦 tcpdump を使います。 流れるクエリだけじゃなくて response も全部採取しているので、秒で GB 単位のデータが溜まってい
Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた - GMOインターネットグループ グループ研究開発本部
2018.04.10 Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近 MySQL 系のデータベース (Percona Server / PXC) に関するブログを立て続けに書いていましたが、今回は Hadoop と MySQL 両方に関する内容について書きました。 前々回のブログ：InnoDB だけじゃない！MyRocks (MySQL + RocksDB) ストレージエンジンを試してみた 前回のブログ：MySQLの冗長化を試す！～Percona XtraDB Cluster & ProxySQL & Replication～ Hadoop を構築すると毎回頭を悩ますこととして、H
Percona Distribution for PostgreSQL 11 (Beta) Is Now Available
Percona is excited to announce the beta release of Percona Distribution for PostgreSQL 11 on August 19, 2019. This release signifies a change in Percona’s software release process. In order to provide a full-featured and holistic solution, we are introducing a product distribution: a database product and tools that enable solving essential practical tasks efficiently. Percona Distribution for Post
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
Percona Server for MySQL Highlights - Extended Slow Query Logging
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
GitHub - departurerb/departure: Percona's pt-online-schema-change runner for ActiveRecord migrations.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
MySQL Performance Optimization with Percona Monitoring and Management - Webinar Followup
Last week I did a webinar on MySQL Troubleshooting and Performance Optimization with Percona Monitoring And Management v2 (PMM2). There was a tremendous amount of interest and many more questions than I could answer, so I’m answering them in this blog post instead. Q: What are the red and white dots on the last column in PMM Query Analytics? This is a graphical visualization of the query response
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing an Update to Percona Distribution for PostgreSQL
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
MySQL 5.7 End of Life Six Months Away - Switch to Percona Server for MySQL Today!
Oracle’s MySQL 5.7 has had a good, long run, but the official End of Life is October of 2023. The Era of MySQL 5.x will be over, and only MySQL 8.0 will be officially supported. Yup, six months away. So if you are running MySQL, you need to consider upgrading to version 8.0 N-O-W!! What does an upgrade provide?MySQL 8.0 has many really cool features and improvements that are well worth the upgrade
GitHub - percona/percona-toolkit: Percona Toolkit: a collection of advanced open source command-line tools.
Percona Toolkit is a collection of advanced command-line tools used by Percona support staff to perform a variety of MySQL and system tasks that are too difficult or complex to perform manually. These tools are ideal alternatives to private or "one-off" scripts because they are professionally developed, formally tested, and fully documented. They are also fully self-contained, so installation is q
TL;DR Setting up the development environment の通りに ~やるつもりがない人または~ やっても上手くいかなかった人向け ほら、テストしたいバージョンがいろいろある人とかさ Setting up the development environment は一通り目を通しておいた方が良い気がします。 Percona Toolkitのテストは MySQL::Sandbox っぽいスクリプトを内包していて、バイナリをポンと置いて環境変数をセットするだけで、3つくらいの mysqld を起動してそれに対してテストを走らせてくれます。 というわけでまずは mysqld 実行ファイルが必要。PXCのテストをするつもりでないなら吊るしのMySQLでも良い。ただし INSTALL_LAYOUT=STANDALONE を想定しているので、rpmでインストールするのはダ
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
MyCLI: MySQL、MariaDB、Perconaの自動補完機能を備えたコマンドラインインターフェース - Qiita
MyCLI: MySQL、MariaDB、Perconaの自動補完機能を備えたコマンドラインインターフェースPythonMySQLCLIDatabaseAlibabaクラウド MyCLIは、MySQL、MariaDB、Percona用の使いやすいコマンドラインインターフェイス（CLI）で、自動補完機能や構文ハイライト機能で開発のスピードアップを支援します。 本ブログは英語版からの翻訳です。オリジナルはこちらからご確認いただけます。一部機械翻訳を使用しております。翻訳の間違いがありましたら、ご指摘いただけると幸いです。 前提条件 MyCLIツールはPythonをベースにしているので、PIP経由でインストールする必要があります。pipとpython開発ライブラリがインストールされていることを確認してください。ECSインスタンスを正しくセットアップしていれば、以下の3行のコードを実行してMyCL
MySQLのプロフェッショナルサービスに特化し、自己資本で設立したPercona ピーターさん 斯波：ピーターさん、まずは読者に向けて簡単に自己紹介をお願いします。 ピーター：ピーター・ツァイツェフ（Peter Zaitsev）です。Percona社の設立者でありCEOです。弊社はMySQLやMariaDB、そしてMongoDBのためのソリューション、サポートおよびプロフェッショナルサービスに特化した会社です。2006年8月に設立したのでもう少しで11年になります。 小幡：ビジネスの調子はどうですか？ ピーター：いいですよ、成長しています。弊社はベンチャーキャピタルからの出資がない自己資金経営なので、楽ではありません。 斯波：ピーターさんの資本はMySQLの知識なのかもしれませんね。 ピーター：私は講演やブログなどMySQLの世界でいくらか有名だったので、それが役に立ちました。 斯波：Pe
Percona XtraBackup REDOログのアーカイブ機能について | スマートスタイル TECH BLOG
はじめに MySQL8.0.17 新機能紹介：Redo ログのアーカイブについて – スマートスタイル技術ブログ ただし、現時点でこの機能に対応しているのは MySQL Enterprise Backup のみであるため、Percona XtraBackup や MariaDB Enterprise Backup ではまだ使用することができない点には注意してください。 既に弊社ブログでMySQL8.0.17の新機能、REDOログのアーカイブについては紹介したところではありますが、Percona XtraBackupが対応しましたので、そちらの方を紹介する記事になります。また、Percona XtraBackup 8.0.34-29で追加された–-redo-log-arch-dirオプションについても紹介させていただきます。 以下、Percona XtraBackup公式ドキュメントを参考に
Percona Toolkitをインストールし、pt-query-digestでスロークエリログを解析する手順 | Enjoy IT Life
こんにちは。仁科(@nishina555)です。 前回、遅いクエリを突き止める!MySQLクエリ解析にスロークエリログを導入する手順でSQLのクエリ解析の手段としてスロークエリログをMySQLに導入する手順について説明をしました。スロークエリログを確認することで、ボトルネックとなっているクエリを確認することができます。 そんなスロークエリログですが、データをより分析しやすい形式で出力してくれるコマンドがあります。それが今回紹介するpt-query-digestと呼ばれるものです。 pt-query-digestはMySQLの利便性を高めるためのツールであるPercona Toolkit(ペルコナツールキット)に含まれる機能の1つです。 今回はpt-query-digestのインストール方法と、pt-query-digestを利用したスロークエリログの読み方について説明をします。 なお、今回
Percona Server for MySQL の Audit Log Filter Plugin をインストールしてみる | スマートスタイル TECH BLOG
目次 はじめに Audit Log Plugin と Audit Log Filter Plugin の比較 Audit Log Filter Plugin をインストールしてみる Percona Server for MySQL のインストール Audit Log Filter Plugin のインストール MySQL Community Edition に Percona の Audit Log Filter Plugin をインストールできるのか Audit Log Filter Plugin を 使ってみる フィルターを設定する audit_filter.log を確認する 使ってみた感想 はじめに MySQL で誰がいつどんな操作を行ったのかを確認することができる Audit Log Filter Plugin という機能が Percona Server for MySQL や
Percona Live 2019 in Texas Austin 現地レポ(Session Day 1) – Side.B (3/3)
毎日、全データベース（全テーブル）の論理バックアップを取得している Facebook ではバックアップツールとして mysqldump を使用しているが、いくつかカスタマイズされている → GitHubで公開されている インデックスは独自の “trailing index” を使用している mysqldumpによる全体バックアップと合わせて、差分バックアップ（”DIFFS”と呼称）も取得している → 最新のdumpファイルとその直前のdumpファイルを、テーブルの行数を比較して差分を見つける DIFFSは DiffDatabase というプロシージャで取得する base dump と DIFFS をマージすることで、完全な dump ファイルを生成する dumpファイルを効率的に圧縮するために、zstdを開発した バックアップコマンドの流れは「mysqldump –single-trans
今日は、Percona XtraBackupのMySQLバージョン違いの挙動が気になったの日。 - 今日はなにの日。
目次 目次 とある日 検証 概要 結論 XtraBackup 8.0.28-20 XtraBackup 8.0.27-20 xtrabackup version 8.0.28-20 インストール手順 MySQL 8.0.29 MySQL 8.0.28 MySQL 8.0.27 xtrabackup version 8.0.27-19 インストール手順 MySQL 8.0.29 MySQL 8.0.28 MySQL 8.0.27 〆 参考記事 とある日 どうやら、PerconaXtraBackupはMySQL8.0.29には対応していないらしい。 8.0.29では、この機能が拡張され、INSTANTアルゴリズムがテーブルの任意の位置に列を追加したり、列を削除したりできるようになりました。この新しい機能では、REDOログのバージョンを増やし、新しいREDOログの種類を追加する必要がありました。
はじめに MySQLでは、たびたびスロークエリがパフォーマンス上の問題になることがあります。 Percona Monitoring and Management(以下PMM)では様々なメトリクスが収集されており、スロークエリの問題を対処するためのグラフが用意されています。 例えば、MySQL Instance SummaryダッシュボードのMySQL Slow Queriesパネルではスロークエリの発生回数を確認できます。 また、Query Analyticsダッシュボードでは、様々な観点からスロークエリの分析が可能です。 一方で、MySQL Slow Queriesはスロークエリの発生回数のグラフであり、各スロークエリがどのくらいの実行時間であったかは示しません。 また、Query Analyticsは長期間のスロークエリを総合的に分析するのにはとても強力なツールですが、リアルタイムでク
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
はじめに Percona XtraBackup（以下、PXB）は、8.0系からバージョンの体系が変わりました。従来、PXBは「2.xx」というバージョン体系（一つ前の最新は2.4）を採用していましたが、それをPercona Server for MySQL（以下、PS）側の「8.xx」に合わせた形です。 これにより、PXBも MySQL Server （以下、MySQL）および MySQL Enterprise Backup（以下、MEB）のバージョン体系と同じになりました。 そのような中、先日 PXB8.0 の最新バージョンであるPercona XtraBackup 8.0.23-16.0 リリースされました。PS8.0の方では「8.0.23」は2021/04/09時点ではまだリリースされておりませんので、PXBが先行してMySQL側に追いついたという形になります。 製品名 リリース日
MySQLのマスキングをPerconaで使ってみる MySQLのマスキングはEnterpriseEditionでしか使えないが、PerconaServerはそれを無償で使えるように！ やるじゃん、ぺるこな！ でも使えるのは8.0.17-18バージョンからなので、ごめんね5.7…。 とりあえず、この記事 をなぞりつつ、MySQLの公式ドキュメントを見ながら試してみた。 マスキング関数 まず、MySQLのマスキングについて公式ドキュメントを読む ビューでマスキング済の結果を返す ビューにマスキング関数を利用する 今のところは関数を見る限りあまり日本向けではない マスキング関数の種類 マスキング関数の種類以下の3パターンに分かれている。 (ネーミングは公式の英語からこんな感じで勝手につけたので正しくないかも) データマスキング関数 ランダムデータ生成関数 ランダムデータディクショナリベース関数
MySQL 5.7 環境に Percona XtraBackup 2.4.5 をインストールしたときのメモ - yukirii blog
MySQL 5.7.17 で Percona XtraBackup 2.4.5 動かそうとして、インストールでちょっとハマった。 MySQL 自体は、以下のパッケージを順に yum install して導入。 mysql-community-common-5.7.17-1.el7.x86_64 mysql-community-libs-5.7.17-1.el7.x86_64 mysql-community-devel-5.7.17-1.el7.x86_64 mysql-community-client-5.7.17-1.el7.x86_64 mysql-community-server-5.7.17-1.el7.x86_64 その後、インストールガイドを参考に Percona の yum repository を追加した上で、 xtrabackup を yum install したところ、
Amazon Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) では、Amazon EC2 または AWS の外部で実行されている既存の MySQL 8.x データベースの物理移行を完了するための Percona Xtrabackup がサポートされるようになりました。この機能により、複雑なスキーマを持つ大規模な MySQL データベースを Amazon Aurora MySQL に簡単かつ迅速に移行できます。Percona XtraBackup を使用すると、ソース MySQL データベースの一貫性のあるノンブロッキングのオンラインバックアップを実行できます。その後、ダウンタイムを最小限に抑えて Aurora MySQL に移行できます。 物理移行を完了するために、お客様は Percona XtraBackup ツールを使用して物理的なバックアップを作成する必
ウエスタンデジタルとPercona、 MySQLオープンソーストランザクショナルデータベースを対象にした ZONED STORAGEエコシステムを共同で拡張 | Western Digital
お客様各位 ウエスタンデジタルオンラインストアの商品出荷に関しましては、ゴールデンウイーク期間中、下記の期間出荷を停止いたします。 出荷停止期間： 2024年5月2日(木) ～ 2024年5月6日(月祝) ※2024年5月1日(水)正午以降にご注文いただいた商品の出荷は再開日より順次行います。休業期間中に受けつけた注文は再開日初日の出荷に間に合わない場合がございます。 期間中もオンラインストアでの注文は受けつけます。 お客様には大変ご迷惑をお掛けし申し訳ございませんが、ご理解いただけますようお願いいたします。 お知らせ ウエスタンデジタルオンラインストア 物流倉庫の移転に伴う出荷停止期間のお知らせ 出荷停止期間： 2024年4月11日(木)～ 2024年4月17日(水) 2024年4月11日(木) 6:00受注分まで当日出荷します。 ※期間中もオンラインストアでの注文は受けつけます。商品の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高遅延環境でのPercona XtraDB Clusterの振る舞い
Percona Xtrabackup の ZSTD圧縮モードについて
Percona Toolkit を読む - id:onk のはてなブログ
Percona Toolkit 3.1.0 Is Now Available
MySQL 8.0.29 and Percona XtraBackup Incompatibilities
GitHub - percona/go-mysql: Go packages for MySQL
Percona Toolkitのテスト環境を整える
InnoDB Flushing in Action for Percona Server for MySQL
Percona Backup for MongoDB 1.0.0 GA Is Now Available
MySQLの専門家集団Perconaのビジネス戦略に迫る
Percona Monitoring and Managementでスロークエリを確認する
Percona XtraDB Clusterを試す
Percona XtraBackup 8.0.23 を使ってみる
Percona Serverのマスキング試してみた - 41から始めました
Aurora MySQL で MySQL 8 の物理移行用の Percona Xtrabackup をサポート