食べログネット予約における非同期メッセージ発行の設計パターン - Transactional Outbox のメリット - Tabelog Tech Blog
この記事は 食べログアドベントカレンダー2023 の11日目の記事です🎅🎄 こんにちは。食べログシステム本部 技術部 マイクロサービス化チームの 栗山 です。マイクロサービス化チームは「巨大なモノリシックサービスにおける開発の辛さを解消し、少人数のチームが自律的に意思決定しながら開発するためのシステム基盤を作る」をミッションに活動しています。本記事は以前ご紹介した汎用性の高いマイクロサービス基盤技術 Change Data Capture の活用事例になります。 目次 食べログネット予約のがっかり体験 - 予約を取ろうとしたら既に席が埋まっていた メッセージ発行処理の設計パターン選定 二重書き込み(Dual Writes) 予約業務テーブルの Change Data Capture Outbox テーブルの Change Data Capture 各設計の特長まとめ まとめ 食べログネ
2. 自己紹介 名前: Kentaro Kitagawa 仕事: とある会社de DBA 担当: MySQL,Oracle,Redis twitter: @keny_lala 4. 前提 資料の中のMySQLはInnoDB ストレージエンジン とします ストレージエンジン 出典: https://dev.mysql.com/doc/refman/5.6/ja/glossary.html MySQL データベースのコンポーネントの1 つ。データの格納、更 新、および照会という低レベル作業を実行します。MySQL 5.5 以降で は、InnoDB が新しいテーブルのデフォルトストレージエンジンであ り、MyISAM の代替となるものです。メモリー使用とディスク使用、 読み取り速度と書き込み速度、速度と堅牢性など、異なる要因間トレ ードオフのために異なるストレージエンジンが設計されています。各
Mroonga から InnoDB FTS への乗り換えを考えてみた - mita2 database life
このエントリーはMySQL Casual Advent Calendar 2019 の7日目です。 実は、毎年 12 /7 日書いてます。 mita2db.hateblo.jp mita2db.hateblo.jp -- 昨日は、@SHINOHARATTT さんでした。 ポケモンを題材にして論理設計を学ぶ というエントリーでした。楽しく学べて良いです！ qiita.com -- 本エントリーではMroonga と InnoDB FTS の比較を軽くしてみたいと思います。 InnoDB FTS に乗り換えるモチベーション 耐障害性を高めたい mroonga ストレージエンジンは クラッシュセーフではありません。運が悪いと障害時に直前にコミットした内容が失われる可能性があります。 ラッパーモードでもテーブル本体はInnoDBなため、クラッシュセーフですが、インデックスはクラッシュセーフではあり
Amazon RDS for MySQL バージョン 5.5 のサポート終了のお知らせ | Amazon Web Services
Amazon Web Services ブログ Amazon RDS for MySQL バージョン 5.5 のサポート終了のお知らせ この投稿は、AWS フォーラムで案内されたアナウンスメントの参考和訳です。以前AWS フォーラムで案内したアナウンスメントから廃止プロセスのスケジュール、自動アップグレード先のバージョンが変更されています。 Amazon RDS は、MySQL メジャーバージョン 5.5 の廃止プロセスを延長します。UTC 協定世界時間の 2021 年 3 月 29 日 00:00:01 (JST 日本標準時間の 2021 年 3 月 29 日 09:00:01) より、Amazon RDS はスケジュールされたメンテナンスウィンドウ内で MySQL 5.5 のインスタンスを自動的に MySQL 5.6 にアップグレードします。2021 年 5 月 25 日 00:00:
ウィスキー、シガー、パイプをこよなく愛する大栗です。 前回のエントリで HammerDB を使って PostgreSQL のベンチマークを取る手順をまとめました。PostgreSQL 以外にも MySQL やその互換データベースをよく利用することがあるので、今回は MySQL 編ということで HammerDB での手順をまとめたいと思います。 PostgreSQL での手順を確認したい方は、以下のエントリを御覧ください。 HammerDB HammerDB の詳細は前回の説明を参照ください。 やってみる 前回と同様の注意です。 注意 ベンチマーク結果は、データベース・ソフトウェアや提供環境により実施や公開が制限されている場合があります。例えば Oracle ではベンチマークテストの結果は公開を禁じられています。AWS では AWS Service Terms の 1.8 に準じる必要があり
第227回InnoDBにおけるトランザクション分離レベルREAD COMMITTEDでのロックの挙動 北川健太郎 2024-08-20
この記事は、「MySQL Advent Calendar 2022」の13日目の記事です。 qiita.com 株式会社エス・エム・エスでエンジニアをしている@koma_koma_dです。今回はMySQLにおけるセミジョイン最適化について調べた内容を書きます。 ※記載内容に誤りなどがある場合は筆者のTwitter宛に連絡をいただけると幸いです。 前置き この記事で書くこと この記事では、MySQLにおけるセミジョイン最適化について、サンプルテーブルを用いた実行例を示しながら、 セミジョイン最適化とは何か セミジョイン最適化はなぜ有用か セミジョイン最適化にはどのような種類があるのか どのようにクエリやテーブル定義を変えると戦略が変化するか どのような実行計画になるか どのようなオプティマイザトレースになるか などを紹介します。 執筆にあたって、Web上のリソースなどをある程度調べましたが、
同時実行制御とトランザクションID コミットログ スナップショット ガベージコレクション（VACUUM） ロングトランザクション”扱い”となるもの テーブルのVacuum インデックスのVacuum 最後に このエントリはPostgreSQL Advent Calender 2021の22日目の記事です。 shallow1729さんのMVCCとInnoDBでの実装についてという記事を読んで、これのPostgreSQL版を書きたいなと思い書いてみました。 同時実行制御とトランザクションID PostgreSQLは複数のクライアントがトランザクションを同時に実行することが可能で、各トランザクションは他のトランザクションの影響を受けずに処理します。これはトランザクションのACID特性の隔離性（Isolation）の特性です。 以下に簡単な例を挙げます。 -- トランザクションA 開始 BEGIN
mysqldumpがFLUSH TABLESでタイムアウトしたので調べた話 - kenken0807_DBメモ
この記事は MySQL Advent Calendar 2019 11日目の記事です。 mysqldumpがFLUSH TABLESでタイムアウトしたので調べたという記録です。 （SQLステートメントや出力結果は一部省略しています） 問題 とある日、スレーブが壊れましてmysqldumpを使ってマスターから復旧しようとしました。 しかし、以下のようにFLUSH TABLESがtimeoutしてしまい、exportできない事象が... MySQL5.7です。 # mysqldump -p --single-transaction --master-data=2 --default-character-set=utf8mb4 --routines --triggers --events --hex-blob --databases db > backup.dump mysqldump: Cou
ミライトデザインアドベントカレンダー3日目です。 ミライトデザイン Advent Calendar 2021のカレンダー | Advent Calendar 2021 - Qiita 昨日は@tkek321さんのKeycloakでOIDC認可コードフローをやってみる記事でした。 OIDCを実際に動かしながら勉強できるので、凄く頭に入ってきやすい良記事でした！ 本日は、MySQLに関して最近自分が勉強したことを記事にさせていただきます。 概要 MySQL 8.0.18からEXPLAIN ANALYZEが導入されました。 PostgreSQLでは昔からある機能ですが、MySQLに導入されたのはつい最近のことです。 この記事ではEXPLAIN ANALYZEの読み方について、自分が学んだ内容をご紹介できればと思います。 EXPLAIN ANALYZEってそもそも何？ その前にEXPLAINって何
運用をしているとダウンタイムかありかに関わらず、alter tableにどれくらいの時間がかかるのか作業前に把握したいことはよくあります。 各種statusを見ることで一定時間でどれくらいの行を書き換えるかを把握することはでき、作業を始めてからであれば、あとどれくらい掛かりそうかは見積もれますが、alter tableの話が出た瞬間にどれくらい掛かりそうかの目処はつけたいです。 今回はalter時に実行されるDMLがなく、テーブルに断片化もないという理想的な環境で、各種Alter操作にどれくらいの時間がかかるのかを実験してみました。 環境やconfigの詳細はあえて書いていませんが、どちらにしろ実際には様々な要因が絡むので、このくらいの情報があれば充分かと思います。 概要 alter tableにかかる時間を計測 on/off memoryでALTER TABLEにどれくらい時間がかわるか
RDS for MySQLの最適化読み書きはどうやって実現した? #reinvent | DevelopersIO
re:Invent 2022に合わせてAmazon RDS for MySQLの読み書きを最適化する機能がリリースされました New – Amazon RDS Optimized Reads and Optimized Writes | AWS News Blog Optimized Writes | DevelopersIO Optimized Reads | DevelopersIO YouTubeにこれら機能を解説するre:Inventセッション動画がアップロードされていたので、軽くレポートします。 動画 AWS re:Invent 2022 - Deep dive on MySQL databases in Amazon RDS (DAT222) 本記事のキャプチャはすべてこの動画から切り取ったものです。 概要 In recent years, MySQL has become a
Amazon Auroraデータベースは可用性に優れており、その高速なフェイルオーバーは売りの一つです。 Amazon Auroraの可用性に関するドキュメントによると、レプリカが1つ以上あると、フェイルオーバーによりレプリカがプライマリインスタンスに昇格し、60秒未満でフェイルオーバーが完了します。 DB クラスターに 1 つ以上の Aurora レプリカがある場合は、障害発生中に 1 つの Aurora レプリカがプライマリインスタンスに昇格されます。障害イベントによって短い中断が発生し、その間例外によって読み取りと書き込みオペレーションが失敗します。ただし、一般的なサービスの復元時間は 120 秒未満であり、多くの場合 60 秒未満で復元されます。DB クラスターの可用性を高めるために、複数のアベイラビリティーゾーン内で少なくとも 1 つ以上の Aurora レプリカを作成することを
プログラマのための技術情報共有サービスを爆速にせよ！― リクルート社内ISUCON 2021 winter レポート | Recruit Tech Blog
概要 まえがき 先日、「R-ISUCON 2021 Winter」が開催されました。ISUCON とは、お題となる Web サービスについてレギュレーションの中でパフォーマンス・チューニングを行い、ベンチマークの得点を競う競技です。（※） リクルート社内ISUCON はその名の通り、リクルートグループ内のエンジニアを対象とした社内 ISUCON に当たります。平時では合宿所を借りて一泊二日での開催でしたが、今回は2月26日のみの半日・オンラインでの開催となりました。 ※「ISUCON」は、LINE株式会社の商標または登録商標です。 お題 今回のお題は、「Niita」という架空の技術情報共有サービスになります。こちらはNTT コミュニケーションズ様が過去に開催した「N-ISUCON 2019」のお題をお借りしたものとなります。 モチーフとなったサービスと同様、下記の機能が実装されています。
MySQLにbinlogとredo logの二つの重要なログシステムがあります。本文では、この二つのログの仕組みについて説明します。 #１．基本知識 MySQLは、SQLの解析と実行する機能を実現するServer層とデータアクセス機能を提供するストレージエンジン層で構成されています。ストレージエンジンには、MyISAM、InnoDB、Memoryなどが存在します。 binlogは、Server層が出力するログです。redo logは、InnoDBエンジンが出力するログです。二つのログは、ともにDBテーブル更新時に出力されます。 ディスクアクセスに時間がかかるため、InnoDBエンジンがメモリ上でレコードを更新し、redo log bufferに記録したら、レコード更新操作が完了とします。この仕組みは、WAL（Write Ahead Logging）といいます。別の専用スレッドが適当のタイミ
データベースには処理の一貫性を保つためのトランザクションという仕組みがあり、扱うデータ箇所がカチ合う場合に、後発のクエリが待機状態になることがあります。 その待機がどのくらい発生しているかは、DBのステータス値やメトリクスから判断できるのですが、ではどのようなクエリで発生しているかとなると、調べるのが面倒くさい。というところから発生したPythonスクリプトになります。 LockWaitを調べる理由 そもそも私の業界のWEBアプリケーションの場合、クエリがロック解除待ちを長時間することはほぼありません。スロークエリを撲滅させるのと同じで、１クエリに0.5秒以上とか必要としちゃうと、ユーザーへのレスポンスとしては容易に１秒以上になって、ユーザー離れの要因になるため許容できないからです。 しかし複数のサービスを観察していると、LockWaitの発生頻度が結構違ったりして、それはまぁアプリケーシ
Ubuntu18.04+MariaDBでいろいろやらかした話投稿者: zaturendo 投稿日: 2018年12月19日2018年12月19日 プロローグ 人生というのは失敗の連続だ。 失敗というもので、人は成長していく。要は、何度も繰り返さないことだ。 そして、今日もまた一つ失敗を積み重ねるのであった。 ノートPCに Ubuntu18.04 LTS 日本語REMIX版をインストールして、10日ほどになる。 こちらにインストールしている LibreOffice から mariadb に接続してみたくなったので、いつものようにPCを起動し、端末を起動して sudo apt update して、sudo apt upgrade とお決まりのコマンドを打ってシステムを更新。 本来デスクトップ用のソフトウェア管理ツールもあるのだけれど、そんなものいるかとばかりコマンドをドヤ顔でうつ。 スタタタ・
Spring Security with Spring Boot 2.1でシンプルなデモサイトを作成する - Qiita
概要 以前に『Spring Security with Spring Boot 2.0で簡単なRest APIを実装する』という記事を作成しましたが、今回画面のあるシンプルなデモサイトを作成しましたので改めて記事を作成しました。 ソースコードはrubytomato/demo-java12-securityにあります。 環境 Windows 10 Professional 1903 OpenJDK 12.0.2 Spring Boot 2.1.9 Spring Security 5.1.6 MySQL 8.0.17 参考 Spring Security Reference Doc Spring Security API Doc 作成するデモサイトの主な機能 アカウント登録・削除機能 アカウント登録内容の変更機能 メールアドレス／パスワードでログイン ログアウト ロールによるアクセス制御 セッ
github.com 今日 (2020-09-24) の時点では「ローカル環境」で動かす方法については記載がある一方で，何らかのリモートの環境に「本番」っぽく動かす方法についての記載が無いので，それを AWS 上に構築するためのメモを記します． 競技用 application のデプロイ isucon.net これを見る限り，参加者側の環境は以下の通り: アリババクラウドさんの ecs.sn1ne.large を採用しました。 CPUは2コア (Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz)、メモリは4GBの、オーバーコミットのないインスタンスです。ネットワーク帯域も100Mbpsです。 ただし、今回のアプリケーションではメモリに全ての切らない環境を再現するために、Linuxにはメモリを1GBしか認識させていません。CPUは2コアで、メモリ1GBの環境
MySQL (5.7 InnoDB) で本番稼働中にインデックス作成すると、対象テーブルにショートトランザクション実行中の場合は並行でできるけど、ロングトランザクションが実行中*1の場合は Waiting for table metadata lock (synch/cond/sql/MDL_context::COND_wait_status) で metadata lock を延々待ち続ける。DML はオブジェクト定義のメタデータに共有ロックを取り、DDL は排他ロックをかけるため、ロングトランザクションが実行中にインデックスを作成すると、そのトランザクションが終了するまで排他ロックを取れず待ち続ける。 環境 Aurora Mysql エンジンバージョン: 5.7.mysql_aurora.2.07.2 検証結果 sysbench を Amazon Linux 2 にインストールする A
はじめに みなさんこんにちはメリークリスマス🎄 ついにアドベントカレンダー最終日！！！ 現在SODAでwebエンジニアをしているtoshikiです。(3記事目で謎の自己紹介) CTOからflexispotのデスクを譲り受ける代わりにテックブログ3記事執筆するという約束を果たすべく、SODAのAdvent Calendar 2023で3枠担当することになり、この記事をもって無事プレゼントの配達が完了しました🎅(sorenani) 今日はクリスマス当日ということで、自分自身理解が曖昧だったMySQLのストレージエンジンであるInnoDBのロック周りの挙動をMySQLの公式ドキュメントを読みつつ調査してまとめてみました。 この記事でわかるInnoDBのロックの種類 共有ロックと排他ロック インテンションロック ギャップロック ネクストキーロック 検証環境 MySQLのVersion mysq
PostgreSQL と MySQL の比較 - リレーショナルデータベース管理システム (RDBMS) の違い - AWS
MySQL は、データを行と列を含むテーブルとして保存できるリレーショナルデータベース管理システムです。多くのウェブアプリケーション、動的な Web サイト、組み込みシステムを支える人気のシステムです。PostgreSQL は MySQL よりも多くの機能を提供するオブジェクトリレーショナルデータベース管理システムです。これにより、データ型、スケーラビリティ、同時実行性、およびデータ整合性がより柔軟になります。 MySQL について読む » PostgreSQL について読む » PostgreSQL と MySQL はどちらもリレーショナルデータベース管理システムです。これらは、共通の列値を介して相互に関連するテーブルにデータを格納します。例を示します。 ある会社では、顧客データを Customers という名前のテーブルに customer_id、customer_name、custo
A Brief History of Distributed Databases The era of Web 2.0 brought with it a renewed interest in database design. While traditional RDBMS databases served well the data storage and data processing needs of the enterprise world from their commercial inception in the late 1970s until the dotcom era, the large amounts of data processed by the new applications—and the speed at which this data needs t
MySQL (or percona) memory usage tests · BlackIkeEagle's blog
Thu, Apr 23, 2020 Recently we did some upgrades at work which were also updating the base OS. In general we did not expect too many issues since we were running tests and the operation of all parts was looking good. After the upgrades we noticed something was off with mysql. Some mysql machines were killing mysqld because of OOM (out-of-memory). You’ll see the kills with journalctl or in your sysl
前回の記事 www.captentheater.com 本日の成果 最初に前回の続きである掲示板の作成を下の記事を参考にしながらデータベースと連携させて挑戦した。 manablog.org 上記の記事と似た物を作り上げたのだが…動かず。 一度やっていた掲示板のエラー内容を解決すべくデータベースなしで掲示板を作成してみる なんとかデータベースなしの掲示板は動くようになったところ 今日の感想 はっきり言って辛くなってきた。 何度も泣きたくなった。原因として一番大きいのは、エラーと自分の知らなさがゆえ。 テックアカデミー時代にどれだけコピペしたものをちょっと塗り替えてきてうまくやっていたかが明確にわかってしまいきつかった。 だが、しっかりと10時から夜の10時まで成し遂げる事ができたので今日の自分を褒めたいw 明日も頑張ろう！ と言いつつ、次はブログ記事を書く作業に映ろうと思う。よければ本ブログ
MySQL | 占有ロック(FOR UPDATE)と共有ロック(LOCK IN SHARE MODE) - わくわくBank
トランザクション中で「UPDATE」や「DELETE」を行うとロックがかけられます。また、SELECTについても「占有ロック(FOR UPDATE)」と「共有ロック(LOCK IN SHARE MODE)」をかけることができます。ここでは、ロック周りの動作を確認します。 (動作確認は、MySQL5.7 InnoDBで行っています。) 占有(排他)ロックと共有ロック UPDATE トランザクション内で UPDATE を行った場合、占有(排他)ロック がかけられます。 SELECT トランザクション内で FOR UPDATE を利用した SELECT を行った場合、占有(排他)ロック がかけられます。 トランザクション内で LOCK IN SHARE MODE を利用した SELECT を行った場合、共有ロック がかけられます。 関係 (ロックの解放待ち) ロック種別共有ロック占有ロック
はじめに 前回、MacにEmbulkコマンドのインストールまでをしました。 今回は、Embulkを使用してMySQLからElasticsearchへのデータ転送をしてみます。 環境構築 Mac上にDocker環境を構築しておきます。 - MySQL:5.7 - Elasticsearch:7.9.0 - Kibana:7.9.0 docker-compose 参考までにサンプルを用意しました。 version: '3.1' services: # MySQL db: image: mysql:5.7 container_name: my-example-mysql57 restart: always environment: MYSQL_ROOT_PASSWORD: root MYSQL_ALLOW_EMPTY_PASSWORD: 1 TZ: "UTC" volumes: - ./mysq
MySQLのデータベース(schema)のコピーにかかる時間を比較してみた - tom__bo’s Blog
あるMySQLインスタンスで検証のためにschema(database)をコピーしてほしい。というリクエストを受けたときに最速で対応する方法は何か検証してみました。 MySQLにschemaをコピーするコマンドはありません。 schemaをコピーする方法として例えば以下の5つがあります。同じMySQLインスタンス上でschemaをコピーするならどの方法が最速でしょうか？ INSERT INTO ... SELECT ... mysqldumpしてrestore mydumper/myloaderでdump&insert xtrabackupしてrestore Transporable Tablespaceでdump & import アプリケーション開発者視点で実行しやすい方法から、DBAなどインフラエンジニアの権限(*1)がないと実行が難しい方法の順で並べてみました。 schema Aを
【EOL間近】Amazon RDS for MySQL 5.7の標準サポート終了とバージョンアップ前の影響確認について - ForgeVision Engineer Blog
こんにちは。フォージビジョンの藤川と申します。 2023年9月初めに、AWSよりAmazon RDS for MySQL 5.7の標準サポート終了に関する内容と延長サポートに関する内容の通知がありました。以下は、2023/9/13時点のAWS公式サイトの情報です。 メール本文にも記載がありましたが、各々の情報は以下のAWS公式サイトに記載があります。 Amazon RDS for MySQL 5.7の標準サポート終了 2023/9/13時点では、表示言語を英語にすることで、標準サポート終了日の最新の情報や延長サポートの内容を確認することができました。 docs.aws.amazon.com Amazon AuroraとAmazon RDSがMySQLとPostgreSQLデータベースの延長サポートを発表 aws.amazon.com データベースのメジャーバージョンのアップデートについては
dbs-002.dvi
Foundations and Trends R � in Databases Vol. 1, No. 2 (2007) 141–259 c � 2007 J. M. Hellerstein, M. Stonebraker and J. Hamilton DOI: 10.1561/1900000002 Architecture of a Database System Joseph M. Hellerstein1 , Michael Stonebraker2 and James Hamilton3 1 University of California, Berkeley, USA, hellerstein@cs.berkeley.edu 2 Massachusetts Institute of Technology, USA 3 Microsoft Research, USA Abstra
この記事は個人ブログと同じ内容です www.ritolab.com パーティショニングは MySQL 5.1 から利用できますが、パーティショニングとは何者なのか。MySQL 8.0 でパーティショニングを理解していきます。 パーティショニング パーティショニングでは、指定したルールに従いテーブルの各行をパーティション分割したファイルシステムに配分します。 これによって同じテーブルのレコードでもそれぞれ配分された箇所が内部的にはあたかも別のテーブルのように個別の場所に格納されます。 テーブルは 1 つで操作もこれまでと変わりませんが、ファイルシステムにおける内部的なデータの持ち方としてはパーティション分割されたそれぞれの場所に保存されていきます。 こうすることでパーティショニングすべき状況と合致する場合はデータの読み出しをはじめとした操作を効率的に行うことができ、クエリ実行時のパフォーマン
You’re seeing information for Bulgaria . To see local features and services for another location, select a different city. Show more Engineering, BackendMySQL to MyRocks Migration in Uber’s Distributed DatastoresSeptember 1, 2022 / Global Introduction Uber uses MySQL as the underlying database engine for Schemaless and Docstore, our distributed databases. By default, MySQL uses the most popular In
久しぶりにそういうことをやったので、備忘録です。 前提と方針 手順 マスターの設定 スレーブの設定 マスターサーバのデータをスレーブにコピーする マスターを起動する スレーブを起動する スレーブのレプリケーションを開始する 前提と方針 マスター、スレーブ構成のレプリケーションを設定するための手順です。MySQLのバージョンは5.7を対象とします。 OSはCentOS7です。 レプリケーションに関わる基本的な概念(バイナリログ、サーバーID)は既知のものとして解説はしません。 レプリケーション設定以前のスタンドアロン環境での運用における設定は済んでいるものとします。 MySQL5.7では従来の方式に加えて、GTIDベースによるレプリケーションが利用可能になっています。マスター接続時にバイナリログのポジションを指定する必要がないなど、運用上のメリットが多いと判断したので、この方式で構築します。
2015年10月にリリースされたMySQL 5.7はJSONデータ型やマルチソースレプリケーションなどの新機能が追加されたほか、InnoDBのバッファプールサイズのオンラインでの変更や全文検索のサポート、運用関連ではsyslogやDTraceのサポートなど多数の改良が行われたバージョンでした。2023年10月にマイナーバージョンや新規パッチがリリースされなくなるSustaining Supportのフェーズに移行します。 このウェビナーでは改めてMySQL 5.7からMySQL 8.0へのバージョンアップ手順や注意点などを解説します。
In this blog series, I’d like to introduce you gently to the topic on which I was working last 2 years, which is improving how InnoDB locks data (tables and rows) in order to provide illusion to clients that their queries are executed one after another, while in reality there is a lot of concurrency. I hope to start from a simplified view of the situation and challenges, and gradually introduce mo
こんにちは！サーバーサイドエンジニアをやっている @otukutun です。 最近slow query起因のレイテンシアラートが発生していてRDB(MySQL)が不安定になってしまう事象が発生し、それはカーディナリティが低いINDEXが使われたことが原因で発生していました。今回は、その対応としてカーディナリティが低いINDEXのお掃除を行ったのでそれについて書きたいと思います。 なぜカーディナリティが低いINDEXを削除したのか? 一般的にカーディナリティが低いINDEXの弊害などはいろんな方が言われていますが、 効果が低いのでSELECTの性能向上にはつながらない INSERT時にINDEXの更新がされるのでINDEX数が多いほどINSERTが遅くなる(USE THE INDEX, LUKE「インデックスを作れば作るほど、INSERTが遅くなる」より引用) などがあると思っております。詳
最近DynamoDBのバックアップについて色々と試していたのですが、 最近マネージドデータベースのサービスが増えてきたのでついでに調べてまとめようと思います。 対象のサービスは、 RDS DynamoDB ElastiCache Neptune Amazon Redshift Amazon QLDB Amazon DocumentDB Managed Cassandra Service です。 ※ mysqldumpなどのコマンドを使ったバックアップではなく、マネージドサービスのバックアップ機能に関しての記載です RDS DBインスタンスのストレージボリュームのスナップショットを作成し、個々のデータベースだけではなく、そのDBインスタンス全体をバックアップ 自動バックアップ バックアップウィンドウ中に自動的にバックアップを作成 指定したバックアップ保持期間に従ってバックアップを保存 バック
BAY AREA PARK CODD RIVER RELATIONAL CREEK CODD RIVER BAY AREA PARK 1970s 1980s 1990s 2000s 2010s DABA (Robotron, TU Dresden) v1, 1992 v1.0, 1987 v4.0, 1990 v10, 1993 v1, 1987 v2, 1989 v3, 2011 v11.5, 1996 v11.9, 1998 v12.0, 1999 v12.5, 2001 v12.5.1, 2003 v15.0, 2005 v16.0, 2012 v1, 1989 v2, 1993 v1.0, 1980s v5.x, 1970s v6.0, 1986 OpenIngres 2.0, 1997 vR3, 2004 v1, 1995 v6, 1997 v7, 2000 v8, 2005 v
MySQL徹底入門第4版からの差分 - tmtms のメモ
2020年7月に出た「MySQL徹底入門 第4版」という本は MySQL 8.0.20 をベースとしてたんですが、ご存知の通り MySQL 8.0 はパッチリリースでどんどん機能が追加されてったりするんで、同じ 8.0 でも最新版とは機能の差分が出てしまってます。 ということで、自分が執筆した分について、8.0.23 までで変わった分についてまとめてみます。 5.1 アカウントの作成と権限の付与 8.0.21 から CREATE USER と ALTER USER 時に COMMENT と ATTRIBUTE でコメントや属性を付与できるようになりました。 5.2 アカウント識別 クライアントから接続した場合は、ワイルドカードを含まない接続元が一致するもの、その後ワイルドカードを含むもの、そして最後に空文字のアカウントの順に検索されます。つまり 192.168.1.0/255.255.25
OSSデータベース取り取り時報 第55回MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 オープンソースカンファレンス（OSC）東京での「多様性時代のDB選択」の開催中止 今回の「取り取り時報」では、オープンソースカンファレンス2020 Tokyo/SpringでのOSSデータベース特集トラック、「多様性時代のDB選択」の詳しい報告をする予定でしたが、新型コロナウイルスへの警戒が続く中、開催中止となりました。開催できなかったことはもちろん残念なことですが、参加者や関係者の健康と安全に配慮いただいて難しいご判断をされた実行委員会と事務局に敬意を表します。さて、OSSデータベースの発
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もしOracleDBAがMySQLを管理することになったときの注意点など
HammerDB で RDBMS のベンチマークを取ってみる（MySQL編） | DevelopersIO
MySQL道普請便り 記事一覧 | gihyo.jp
MySQL のセミジョイン最適化の各戦略について調べてみた - エス・エム・エス エンジニア テックブログ
PostgreSQLのMVCCとガベージコレクション（Vacuum）
MySQLのEXPLAIN ANALYZEの読み方を勉強したよ - Qiita
ALTER TABLEにかかる実行時間を見積もりたい - tom__bo’s Blog
Amazon Auroraフェイルオーバー中のダウンタイムを調べてみた | DevelopersIO
MySQLのbinlogとredo logについて - Qiita
PythonでMySQLのLockWaitクエリを採取 | 外道父の匠
Ubuntu18.04+MariaDBでいろいろやらかした話 | 雑廉堂の雑記帳
ISUCON 9 決勝を AWS 環境に本番さながらに構築するメモ - その手の平は尻もつかめるさ
MySQL でショート／ロングトランザクション実行中のインデックス作成の影響 - ablog
MySQL(InnoDB)における各種ロックの挙動を調べてみた
RocksDB Is Eating the Database World
プログラミング本気１週間 3日目 - 気軽にブログを楽しむ
【Embulk】Embulkを使用してMySQLからElasticsearchへデータ転送する - Qiita
MySQL 8.0 パーティショニングを理解する - ROXX開発者ブログ
MySQL to MyRocks Migration in Uber's Distributed Datastores
MySQLのレプリケーション構築手順 - オープンソースこねこね
MySQL 5.7からMySQL 8.0へのバージョンアップ - MySQLを継続してお使いいただくために
MySQL :: InnoDB Data Locking - Part 1 "Introduction"
カーディナリティが低いINDEXのお掃除をしました - コネヒト開発者ブログ
AWSの各データベースサービスのバックアップ種類をまとめてみる | DevelopersIO
RDBMS_Genealogy_V6
第55回 MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 | gihyo.jp