Re: Configuring sql.DB for Better Performance : DSAS開発者の部屋
Configuring sql.DB for Better Performance という記事を知りました。 コネクションプールの大きさを制御する3つの設定を丁寧に解説されたとても良い記事です。 しかし、この記事で推奨されている設定については同意することができません。私が推奨する設定とその理由を解説していきたいと思います。 Limit ConnMaxLifetime instead of MaxIdleConns Allowing just 1 idle connection to be retained and reused makes a massive difference to this particular benchmark — it cuts the average runtime by about 8 times and reduces memory usage by ab
MySQL のインデクスが利用されないクエリ等を自動検出する ExplainPolice の運用について
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE 株式会社 B2B Platform 開発担当フェローの Matsuno です。 LINE の Business Platform ではメインのデータベースとして MySQL を利用しています。MySQL は非常に高速に動く OSS の RDBMS なので、とても便利に利用させていただいております。 MySQL はとても高速なのですが、うっかり index を使わないクエリを発行した場合に実行がとても遅くなってしまうことがあります。LINE の Business Platform はとても多くのお客様が利用されるので、B2B としては異例なほどトラフィックが多く、少し遅いクエリが発生した結果としてサイト全体がダウンして
第169回 pt-variable-advisorを使ってみよう | gihyo.jp
本連載にて度々登場しているPercona Toolkitの中に、pt-variable-advisorというものがあります。これは、SHOW VARIABLESの結果をもとに設定の見直しを提案してくれるツールになります。今回は、このpt-variable-advisorを使って設定を見直していきましょう。 なお、今回使用するPercona Toolkitのバージョンは、2022年4月時点で最新の3.3.1です。また、使用しているMySQLは8.0.28を使用しています。 また、Percona Toolkitのインストール方法などは過去に説明していますので併せてご確認ください。 第9回 pt-query-digestを使って遅いクエリーを発見する pt-variable-advisor pt-variable-advisorは、SHOW VARIABLESの結果をもとに、ルールに従っておすす
第168回 MyDumperを使ってみよう［その1］ | gihyo.jp
MySQLの論理バックアップツールというと、mysqldumpは皆さんご存知のことでしょう。mysqldumpはシリアルで処理されるため、大きなデータベースのバックアップとリストアには大変時間がかかりました。 その後mysqlpumpが登場し、これによりバックアップはパラレルで処理するため高速化されましたが、リストアはmysqldumpと同様シリアルで処理されるため、これもまた時間がかかりました。 mysqldumpとmysqlpumpについては以下記事をご参照ください。 第15回 mysqldumpを使ってバックアップする 第153回 mysqlpumpを使ってバックアップを取ってみる MyDumperはバックアップとリストアをパラレルで処理するため、mysqldumpやmysqlpumpよりも高速です。 ただし、最近ではMySQL ShellにMySQL Shellダンプユーティリティ
第174回 MySQLのデータ暗号化いろいろ | gihyo.jp
概要 これらの暗号化についての概要を簡単に説明したいと思います。 前提 暗号化関数以外のデータ暗号化方式は、事前にキーリングプラグインをインストールしておく必要があります。詳しくは6.4.4 MySQL キーリングをご確認ください。 MySQL設定ファイル（my.cnf）のパラメータearly-plugin-loadにkeyring_file.soを設定します。 early-plugin-load=keyring_file.so マスター暗号化キーとテーブルスペースキーで構成される2層暗号化キーアーキテクチャを使用します。アプリケーションがデータにアクセスする場合、マスター暗号化キーを使用してテーブルスペースキーを復号化します。そのため、マスター暗号化キーの管理が必要になります。マスター暗号化キーが失われた場合、暗号化されたファイルのデータはリカバリできなくなりますので、お気をつけください
Skeema.io
Skeema is a pure-SQL schema management utility. Simply track your desired schema state in a repo of CREATE statements, and the tool figures out how to apply any changes to your tables and routines. You won't need to code migrations, use obscure DSLs, or write verbose XML ever again. Skeema’s open source CLI tool supports all modern versions of MySQL, MariaDB, and Percona Server. Written in Golang,
オレ的EXPLAIN技を語っちゃうゾ - Qiita
メリークリスマス 本記事はPostgreSQL Advent Calendar 2021の25日目です。今年も面白い記事がたくさん揃いましたね！！！ さて、みなさん今年のPostgreSQLライフはどんな感じでしたでしょうか？ 私はというと、なんだかチューニングばっかりやってました。1案件でいろいろお手伝いすることはまあまああったのですが、複数から次々チューニングの相談をもらって、歴代継承者の個性を発現したデクくんのごとく駆け回ったのが今年のハイライトです。 （この綱渡り感、、、伝われ！！！） 俺たちは雰囲気でチューニングしている 今回上手くいったけど、あの時たまたまひらめいた1案をぶつけてみたら効果でたのであって、次善の策なんてなかったけど？？って毎回思ってるから、雰囲気でやっていると思う、マジで。コミュニティのノリだと笑いが起きていいんですけど、少しでも勝率を上げるために、若手の前でド
MySQLアンチパターン：とりあえずUNION - Qiita
この投稿は、MySQL Advent Calendar 2021 の15日目で公開する記事です。文中の DB は EOLでUpgrade待ったなしの Amazon Aurora MySQL (5.6互換)での話です。バージョン古くてごめんなさい。 昨日は @keny_lala さんの 「pt-online-schema-changeとgh-ostの比較(データが損失するかもしれないAlterTable編)」 でした。Uniq違反でデータ損失…うっ、頭が…と2021年のビッグなヤラカシを思い出してえぐられてます。 2020年のある日の社内Slack 「インデックスを追加しても速くならないSQLがあって困っています」 「MySQLはわからんのだけど見てみましょうかー」 「ああ、条件式に OR が入ってる。サービス成長の機能拡張で、似ているけれどちょっと違う機能入れたから、ユーザ便宜性のためには
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
5,500超のMySQLインスタンスを少人数で運用するには - LINEのDB運用効率化・自動化の取り組み ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
5,500超のMySQLインスタンスを少人数で運用するには - LINEのDB運用効率化・自動化の取り組み 大きなサービスであれば、それを支えるデータベースの規模もまた大きくなるでしょう。LINE社のデータベースの規模は、2021年11月時点でMySQLのインスタンス数5,500超。巨大なデータベースの運用を効率化、自動化するための工夫やノウハウをLINE社のDBAに聞きました。 日本国内だけで、8900万人以上という膨大なMAUを抱えるコミュニケーションアプリ「LINE」をはじめ、多くの大規模サービスを運営するLINE株式会社（以下、LINE）が取り扱うデータ量は膨大です。使用するデータベースの規模は、なんと、2021年11月時点でMySQLのインスタンス数5,500超。これほど多くのインスタンスを管理しているにも関わらず、同社でMySQLの運用に携わるDBA（Database Admi
LINEにおけるMySQL運用の現状とバージョンアップを支える仕組み
LINEにおけるMySQL運用の現状と バージョンアップを支える仕組み ITSC Database dept db1 team / 大塚知亮 2020.12.17 LINE Database室紹介 MySQL platformの変遷 バージョンアップを支える仕組み 運用を支えるツール 今後の課題 01 02 03 04 05 概要 登壇者紹介 大塚 知亮 (@tom__bo) IT Service Center, Database dept, DB1 team MySQL オペレーションと自動化 DB管理システムの開発 2016: LINE Summer Internship 2017: LINE Engineer アルバイト 2018: 入社 好きなMySQLの機能は準同期レプリケーション！ Database室紹介 IT Service Center Verd
mydumper または myloader を使用して大規模なデータベースを Azure Database for MySQL に移行する
注意事項 この記事では、サービス終了 (EOL) 状態となっている Linux ディストリビューションである CentOS について説明します。 適宜、使用と計画を検討してください。 詳細については、「CentOS のサポート終了に関するガイダンス」を参照してください。 適用対象: Azure Database for MySQL - 単一サーバー Azure Database for MySQL - フレキシブル サーバー Azure Database for MySQL は、高可用な MySQL データベースをクラウドで実行し、管理し、スケーリングするために使用されるマネージド サービスです。 1 TB を超える MySQL データベースを Azure Database for MySQL に移行する際は、次の利点を持つ mydumper や myloader などのコミュニティ ツー
最小限のダウンタイムでテラバイト規模のデータベースを Cloud SQL に継続的に移行 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 4 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Broadcom は、2019 年末に Symantec Enterprise Security Business の買収を完了した際、Symantec Endpoint Security Complete 製品を含む Symantec ワークロードを Google Cloud に移行するという戦略的な決断を下しました。これは、Symantec のエンドポイント保護のクラウド マネージド SaaS バージョンで、従来のエンドポイントとモバイル エンドポイントの間で、高度な脅威に対する保護、検知、対応機能を広い範囲で提供するものです。 ユーザーに迷惑をかけずにワークロードを移行するため、Broadcom は複数のデータベースにまたがるテラバイト規模のデータを Google
mysqlsh (MySQL Shell): Dump and Restore in AWS Aurora - LayerX エンジニアブログ
LayerX インボイス を開発しているDX事業部の @yyoshiki41（中川佳希）です。 DX事業部ではデータベースとして MySQL（Amazon Aurora）を利用しています。 今回のブログは、mysqlsh (MySQL Shell) を用いて、Dumpデータ取得とリストアを行う際に気をつける点です。 mysqldump, mysqlpump Dumpデータ取得を行う際に、広く知られているのが mysqldump かと思います。 MySQL 5.7.8 からは、 mysqlpump という別のクライアントツールも提供されるようになりました。 主に下記のような特徴があります。 並列での処理が行われる（Parallel） Dump Progress がみれる 圧縮方式は、LZ4 と ZLIB が使用可能（mysqlpump Ver 1.0.0 Distrib 5.7.35） TA
MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な
![MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e9d48c3c6f38c2d5f71897d98efcb251289d1f9/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F07%2Fboard-755792_800.jpg)
不揮発性メモリでのデータベース処理最適化 〜 ヤフーにおけるデータベース技術の研究開発
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ ヤフーでデータベースエンジニアをしている松浦です。 インターネットサービスを作る上で、そのデータの保持・管理を担うデータベースは重要なソフトウエアコンポーネントですが、今回のTech Blogでは、ヤフーにおけるデータベース技術の研究開発についてのお話をします。 ヤフー社内では、さまざまなデータベースを運用していますが、そのデータベースを最新のハードウエアに対応させる研究開発を行っています。 具体的には、不揮発性メモリを有効に活用するMySQLのストレージエンジン「Leo」の開発に取り組んでいます。 本日は、Leoについて簡単にご紹介をします。 不揮発性メモリとは？ まず、前段として、Leoのお話をする前に、不揮発性
MySQL Shell で バックアップとリストアをパラレルで実行する | スマートスタイル TECH BLOG
先月リリースされた MySQL Shell 8.0.21 にバックアップのスレッドを並列化させてパラレルで実行する機能と、そのバックアップを同じくパラレルでインポートするユーティリティが追加されました。 公式リファレンスは以下になります。 Instance Dump Utility and Schema Dump Utility Dump Loading Utility 上記のリファレンスに記載されていますが、バックアップ及びリストアをパラレルで実行できるだけでなく、バックアップの保存先として、Oracle Cloud の Object Storage を指定できるという画期的な機能も持っています。 今回は、上記の機能について簡単に確認してみたいと思います。 （MySQL Shellで、1つのテーブルデータファイルをパラレルでインポートする Parallel Table Import Ut
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
StarRocks | A High-Performance Analytical Database
MySQL Technology Cafe
MySQLが得意なこと、不得意なこと(仮)
