概要 RDB（リレーショナルデータベース）を運用していると、複数のトランザクションが同じデータに同時アクセスしようとする場合に「デッドロック」が発生することがあります。デッドロックとは、あるトランザクションが必要とするリソースが別のトランザクションによってロックされ、さらにそのトランザクションも他のリソースのロック解除を待っているため、互いに進行できなくなってしまう状態を指します。
MySQLでわざとデッドロック発生させて挙動を確認してみた - Qiita
概要 RDB（リレーショナルデータベース）を運用していると、複数のトランザクションが同じデータに同時アクセスしようとする場合に「デッドロック」が発生することがあります。デッドロックとは、あるトランザクションが必要とするリソースが別のトランザクションによってロックされ、さらにそのトランザクションも他のリソースのロック解除を待っているため、互いに進行できなくなってしまう状態を指します。
MysqlRewinder という gem を作った | BLOG - DeNA Engineering
gem の概要 database_rewinder という gem があります。 これを使うとテストケースを実行するたびに DB の中身が初期化されて、しかも超速いというすごい gem です。 弊社でもヘビーユースさせていただいていたのですが、あるプロダクトの自動テストにおいて適切にデータが初期化されないケースがあり、 Flaky test の原因となっていました。 今回ご紹介する mysql_rewinder は、この問題を解決するために database_rewinder の代替を目指して開発した gem です。 使用例 Ruby on Rails / RSpec と組み合わせる場合、以下のように利用します。 RSpec.configure do |config| # MysqlRewinder の初期設定 config.before(:suite) do db_configs = A
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード サービス無停止のまま成功させる
この記事は新野淳一氏のブログ「Publickey」に掲載された「GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる」（2023年12月12日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上
RDS Proxyを用いたオンラインスイッチオーバーによるMySQLのアップグレードについて - freee Developers Hub
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog
slow logの時間は何を計測しているのか？ きっかけ とあるMySQLインスタンスで1Gbのネットワーク帯域を使い切ってレスポンスタイムが悪化していたという話を聞いた。 確かに遅いがlong_query_timeを小さくしてもslow_logは特に出ていなかったため、どのクエリが問題なのかを特定しづらかったらしい。 これを聞いたときはRedisとかインメモリのDBならまだしもMySQLがストレージより先に1GbのNICを使い切ることがあるのかーと驚いた。まあ、100GB以上のメモリも珍しくないので、ほとんどメモリから結果を返していれば1Gb/s以上返すことは難しくなさそうではある。 だが、long_query_timeを小さくしてもslow_logにクエリが出力されなかったという部分は気になった。 具体的にlong_query_timeがどれくらいなのか、同時接続数はどれくらいでQPS
数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング
SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、
Rails(ActiveRecord)とMySQLでutf8mb4を扱う設定 - Qiita
ActiveRecordからutf8mb4を扱えない主な理由 ActiveRecordのstring型カラムがvarchar(255)で定義されるので、utf8mb4ではインデックスのキープレフィックスが767byteを超えてしまう。 ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes この問題をMySQLの設定とRailsへのパッチで解決する。 MySQLの設定 文字コードをutf8mb4で運用するために、インデックスのキープレフィックスを拡張する。 innodb_large_prefixをenableにする 1を有効にするために、innodb_file_formatをBarracudaにする 1を有効にするために、innodb_file_per_tableをenableにする innod
MySQL/MariaDB GTID レプリケーション詳細 - BizStationブログ
今回は、MySQL/MariaDB GTID レプリケーションの詳細を説明します。これは、Transactdによるレプリケーションセットアップ（修復）ツールを構築する際に調べたものです。 主に従来のバイナリログとポジションを使ったレプリケーションとGTIDによるレプリケーションの違いについて説明します。ある程度従来のレプリケーションのセットアップなどを理解していることを前提にしています。 Index なぜGTIDが必要なのか GTIDが活きるシナリオ GTIDによるポジションの解決 具体的なGTID GTIDを使うための設定 MariaDBでGTIDを使う 2つのGTIDポジションモード 新規セットアップ スレーブで、マスターを新マスターに切り替える ダウンしたマスターをスレーブ群に加える SQLスレッドのエラーを修復する MySQLでGTIDを使う GTIDセット GTIDセットの表現方
MySQL使いが知るべきPostgreSQLとの違いと変わらない一つのこと
— そーだい＠初代ALF (@soudai1025) 2015, 8月 24 とブーメラン投げて見事に刺さってるので今から記事書く。 両サイドにはかなり厳しい話もするが俺の本音を聴いておけ（関白宣言） まぁ歴史の長いRDBなのでお互いの比較記事は沢山ある。 なのでマルチスレッド(MySQL)とマルチプロセス(PostgreSQL)だとかVACUUMだって話はしない。 むしろ実際に使ってみた際の違いをにフォーカスする。 1. SQLの違い 基本的にMySQLでやっていたことはPostgreSQL出来る。 しかし関数の挙動の違いは幾つかある。 例えば時間から曜日に該当する数字に変換した場合に MySQL → date_format(time,"%w") 0から始まり、日曜日に該当する PostgreSQL → to_char(time,'D') 1から始まり、日曜日に該当する など挙動に互換性
MySQL :: MySQL Workbench
設計 MySQL Workbench は、 DBA、開発者、データアーキテクトがデータベースの設計、作成、管理をビジュアルに行うことができるツールです。データモデラーが複雑な ER モデルの作成、フォワードおよびリバースエンジニアリング作業を行うために必要な機能を含み、難しい変更管理や、通常かなりの時間と労力を必要とするドキュメンテーション作業の為の重要な機能なども含まれています。 詳しくはこちら » 開発 MySQL Workbench は、SQL クエリーの作成、実行、最適化をビジュアルに行えるツールを備えています。SQL エディタは、シンタックスのカラーハイライト、自動補完、SQL ステートメントの再利用、SQL の実行履歴情報を提供します。Database Connections Panel によって MySQL Fabric を含む一般的なデータベース接続の管理が容易になります。
Ruby, MySQL のうるう秒の扱い - @tmtms のメモ
2015/7/1 にうるう秒が挿入されるということで、うるう秒の話題が盛り上がってるようなので自分も書いてみます。 Linux 上のプログラムが時刻で60秒を刻むには、うるう秒対応のタイムゾーンを使う必要があります。 通常はうるう秒を考慮していないタイムゾーンが使用されているので、60秒を含む時刻になることはありません。 60秒を含む時刻を扱うには、right/Japan のように right/ を前につけたタイムゾーンを指定します。 前回のうるう秒は 2012/7/1 08:59:60 (JST) だったので、これで試してみます。 % TZ=Japan date --date='2012-07-01 08:59:60' date: `2012-07-01 08:59:60' は無効な日付です % TZ=right/Japan date --date='2012-07-01 08:59:6
UTCなサーバーとMySQLとで使うRailsの時間の扱いについて調べた | kanonjiのブログ
まず前提となる環境はこんな感じです。 コード内というのは、例えばイベント用のページを作った時、指定の日時まではアクセス出来ないようにする用な事を、まぁコードにハードコードする際に、OSがUTCだとしても日本時間で書きたいという事。 # Set Time.zone default to the specified zone and make Active Record auto-convert to this zone. # Run "rake -D time" for a list of tasks for finding time zone names. Default is UTC. config.time_zone = 'Tokyo' rails_project_dir/config/application.rb デフォルトから上記だけ設定を変更する。 Timeは使わずにActiv
サーバーがUTCなのでMySQLのタイムゾーンが気になって調べた | kanonjiのブログ
AWSのサーバーを使うようになって、あまり気にしてなかったMySQLのタイムゾーンが気になるようになってきました。 というのも、今やってるプロジェクトでは、AWSのインスタンスに入れたOS（Linux）のタイムゾーンは、UTCのままにしておく事に決まっていて、そうするとMySQLのタイムゾーンもUTCのままの方が良さそう。もしかしたらタイムゾーンの変更が出来ないAmazon RDSのMySQLを使うかもしれないし。 なので、ちょっとMySQLのタイムゾーンがUTCだとどうなるか、調べてみました。 Amazon RDS for MySQLでタイムゾーンを設定するのはやめたほうがいいかもしれない – Qiita ちなみに、Amazon RDS（MySQL）のタイムゾーンの変更は、一応いくつか方法があるみたいだけど、トラブルの元にもなるみたいなので、UTCのままで使う方を検討した方が良さそう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://developer.hatenastaff.com/entry/2019/01/15/120431
MySQL(InnoDB) で charset を utf8mb4 にする注意点の現在
ActiveRecordをutf8mb4で動かす - Qiita