ActiveRecord::LockWaitTimeout, ActiveRecord::Deadlocked, ActiveRecord::ConnectionTimeoutError が起きた時に原因調査に役立つ情報を表示する gem を作った
それなりの規模のサービスを運用していると、不可解なエラーに遭遇することはよくあるものです。その中でもデータベース関連のエラーは一見難解な問題に見えるかもしれませんが、原因調査に役立つ情報をさえ出力すればたいていの場合は容易に原因を特定できるものです。というわけで、Rails でよく遭遇するエラーの調査に役立つ情報を出力する gem を作成しました。 activerecord-debug_errors 現在次のエラーをサポートしています。 ActiveRecord::LockWaitTimeout (MySQL のみ) ActiveRecord::Deadlocked (MySQL のみ) ActiveRecord::ConnectionTimeoutError 以下、具体的な例を用いてどのような情報が表示されるか説明します。 ActiveRecord::LockWaitTimeout Ac
Amazon RDS for MySQL にインポートを行うとAccess deniedと怒られる - 雑記帳
事象 Amazon RDS for MySQLに対して、MySQL WorkbenchでData Export行ったSQLファイルをData Importを行うと以下の様なエラーが返ってくる。 ERROR 1227 (42000) at line 17: Access denied; you need (at least one of) the SUPER privilege(s) for this operation 原因 １． インポートしたいダンプファイルのユーザーは`user1`@`localhost`となっていた。 しかし、RDSはリモートなので、インポート先は`user1`@`%`に紐づけられていた。 ２． (書き込み対象のスキーマに対しては権限を付与していたが、) ビューやスキーマの情報を管理するスキーマに対して権限を与えていなかった。 ３． インポートしたいダンプファイルが
ストレージエンジンの話 ~InnoDBのredo logをざっくり理解する~ - shallowな暮らし
こんにちは。id:shallow1729です。最近Database Reliability Engineerというお仕事を始めたのでデータベースの勉強をしたりMySQLのソースコードを読んだりしています。仕事でMySQLが標準で用いているInnoDBのソースコードを読む機会があったのでなんかアウトプットしたいなと思いつついきなりコアな話するのもなって思ったのでざっくりとストレージエンジンの話をしようかなと思います。とはいえストレージエンジンは本当にいろいろな仕事をしていて全部を書こうとするとものすごい事になりそうだった(+僕も分かってない部分が多い)ので、とりあえず第一回はredo logというやつを中心にストレージエンジンを追っていこうと思います。なるべく一般的なデータベースの設計の話を軸に置きつつInnoDBの場合の話もしていこうと思います。読者としてはMySQLのようなリレーショナル
第29回 LOAD DATA INFILE構文でテキストファイルからMySQLにデータをロードする | gihyo.jp
初期データを投入する際に、mysqldumpで出力した際に作られるようなSQLの形式になっている場合は、mysqlクライアントで実行することでロードすることができました。しかし、外部で用意されているデータはTSVやCSVといったデータで渡されることもあります。TSVやCSVの形式からSQLへ変換を行っても良いのですが、わざわざ変換するのも大変です。そこで今回は、LOAD DATA INFILE構文を用いてTSVやCSVといったテキストファイルからMySQLにデータをロードする方法を紹介したいと思います。 検証環境 今回は第23回 mysqlslapを使って負荷テストをしてみようで使用したCentOS7で実行しています。MySQLのバージョンは5.7.13を使用しています。 LOAD DATA INFILE構文 LOAD DATA INFILE構文とは、テキストファイルで用意されたデータをM
ユーザ情報を保存する時のテーブル設計 - そーだいなるらくがき帳
はじめに ※この発言は個人の見解であり、所属する組織の公式見解ではありません 用法用量を守り、個人の責任で業務に投入してください 参考資料 2024/02/14追記 実際のテーブル設計の詳細はこちらを参考にどうぞ。 agilejourney.uzabase.com 要件 User情報を保存するときにどのようなテーブル設計を行うか 今北産業で頼む テーブルに状態を持たせず状態毎のテーブルを作る 状態が変わればレコードを消して別のtableに作る tableの普遍的な情報は別に持たせる 僕の考えた最強のDB設計 PostgreSQLをベースの雑なER図を作った。 これを元に話を進める。 table構成 users 親tableであり、すべてのユーザはここに属する。 基本はINSERTのみでUPDATE、DELETEを考慮しない。 user_detail userに付随する詳細の情報がここに登録
Using filesort
去年ソートに関する記事を書いたが、今日はその続きである。 MySQLでEXPLAIN SELECT...を実行するとExtraフィールドでよく見かける「Using filesort」という文字列。Filesortって一体なんだろう？と思ったことはないだろうか。単刀直入に言ってFilesortの正体はクイックソートである。 クエリにORDER BYが含まれる場合、MySQLはある程度の大きさまでは全てメモリ内でクイックソートを処理する。ある程度の大きさとはsort_buffer_sizeであり、これはセッションごとに変更可能である。ソートに必要なメモリがsort_buffer_sizeより大きくなると、テンポラリファイル（テンポラリテーブルではない）が作成され、メモリとファイルを併用してクイックソートが実行される。 Filesortは全てのソート処理において実行されるわけではない。前回の記事
RDSのMySQLダンプファイルの作り方 - Qiita
コマンド例) mysqldump -h [RDSのホスト名] -u [DBのusername] -p [DB名] > ~/[ファイル名].sql $ mysqldump -h diarydb.chdxgocrefefee6nik.ap-northeast-1.rds.amazonaws.com -u root -p testdb > ~/dump.sql ダンプファイルを持ってきたら、ダンプ元のDBをまず作成。 $ mysql -u root -p Enter password: mysql> CREATE DATABASE `testdb`; Query OK, 1 row affected mysql> exit Bye ダンプファイルをDBに復元する。 これでデーターが入った!! $ mysql -u root -p testdb < dump.sql
MySQLで6桁までの小数点を丸めずに扱うならDouble型かDecimal型を使うべき理由 - Qiita
float型は小数部を含んで6桁までであれば、入力した値そのままに保存出来ます。 簡単に用途をまとめると、こんな感じでしょうか。 小数点以下桁数を揃えて正確に扱うならば、demical型またはdouble型を使う （例:緯度経度情報） 小数部を含んで6桁まで入力された通りに保存する用途であれば、float型を使う そのまま保存したい場合には、varchar型を使う double型とdemical型との違いは次のページがとても詳しいです。 緯度経度情報などdemicalの方が望ましいのですが、double型の方がパフォーマンスは良いです。 Decimal’s declaration and functioning is similar to Double. But there is one big difference between floating point values and de
MySQL(InnoDB)でカーディナリティの低いカラムにINDEXを張る - Qiita
RDBMSのテーブルにINDEX（セカンダリINDEX）を作成する場合、よく「カーディナリティが低いカラムには作るな」と言われます。 どんな場合でも当てはまるのか、少し実験して確かめてみます。 カーディナリティとは 今さら解説するまでもないかもしれませんが、「あるカラムにおける、取りうる値の種類」のことです。 ER図など、DBに絡む場面で別の意味で使われることもありますが、ここではこの意味で使います。 例えば、性別を表すカラムがあり、必須で値を入れなければならない場合は、「男性」「女性」の2種類、です。 「カーディナリティが低いカラムにINDEXを張るな」の意味 先に挙げた「性別」の場合、もし対象となる全レコードで男女の比率がほぼ１：１であれば、INDEXで絞り込める範囲は1/2程度です。絞り込みの効果があまりありません。 このような場合は、わざわざセカンダリINDEXを使うのではなく、テ
Prismaを使ってMySQLに接続するGraphQL APIサーバーを構築 - Qiita
はじめに 基本的にPrismaの公式チュートリアル Build a GraphQL server from Scratch に倣って、Prisma、graphql-yogaを使ってGraphQLサーバーを書いていきます。 本記事では上記チュートリアルとは少し異なるアプローチ 言語：TypeScript DB：ローカルに立てるDocker上のMySQL でご紹介します。 チュートリアルを進める前に、Prismaって何？という方は、 prisma - 最速 GraphQL Server実装 Prisma.ioでGraphQL APIサーバーを楽して作る 辺りを一読してPrismaをざっくりと理解し、公式の Prisma Introduction: What, Why & How を確認してみるのがオススメです。 対象読者 GraphQLに関する知識をある程度有している方 GraphQL API
Aurora Serverlessの導入時に気をつけるべきこと | DevelopersIO
オンデマンドに自動スケールする Amazon Aurora Serverless を採用する機会がありましたので、導入時の参考になりそうなポイントをご紹介します。 まずは結論から Aurora Serverless はワークロードが大きく変動し、要件がシビアでないシステムに対して、オペレーションコストを下げる目的で導入するのが向いています。 割り切ったシンプルさをそのまま受け入れるのが大事であり、減点主義な環境に導入したり、制約をワークアラウンドでがんばって乗り越えようとするのはオススメしません。 「サーバーレス」の意味を正しく理解する 「サーバーレス」という文字が含まれているので、サーバーレス・アーキテクチャーに特化されたデータベース(どのようなDBなのか興味ありますが)という印象を持ちますが、実態は全く異なります。 「サーバーレス」は「クラスターがオンデマンドで自動スケールするのでプロ
docker + mysql が接続できない... Access denied for user 'homestead'@'172.20.0.1' (using password: YES) - Qiita
version: "3" services: db: image: mysql:8.0.19 ports: - 13306:3306 volumes: - db-store:/var/lib/mysql - ./logs:/var/log/mysql - ./docker/mysql/my.cnf:/etc/mysql/conf.d/my.cnf environment: - MYSQL_ROOT_PASSWORD=root - MYSQL_DATABASE=homestead - MYSQL_USER=homestead - MYSQL_PASSWORD=secret - TZ=${TZ} volumes: db-store:
MySQL5.6で全文検索やったよ - Qiita
はじめに 題名のとおり、MySQL5.6で全文検索をやったので、またやるときに困んないようにメモを残します。 や、実は全文検索やったの2回目だったんだけど、細かいところどころか大本さえ忘れてて困ったんですよこの前。。。 あと、念のためお断り。 やったのはMySQL5.6です。5.7の各種パーサーの話は出ません。 すでにMySQL5.6が入ってる環境だったんで仕方ない。 今回は素のMySQLをつかってます。なので、Mroongaの話は出ません。 正直、実装当時は知らなかったのもあって調べてもいない。。 プラグインみたいに追加インストールって出来るのかしら？ 今回はファンクションやトリガーを使いません。 メンドかったから(´・ω・｀) まぁ、プログラム側で出来るしね。 my.cnfの設定 何はなくとも、まずは設定をいれないと話にならない。 my.cnfに以下を記述する。 ft_min_word
mysql2 gem 経由で MySQL サーバ接続時ライブラリの `LoadError` が発生する - Garbage in, gospel out
mysql2 gem 経由で MySQL サーバに接続しようとすると、ライブラリ /usr/local/lib/libmysqlclient.18.dylibがロードされず、LoadErrorが発生しました。 /Users/username/reposname/vendor/bundle/ruby/2.3.0/gems/mysql2-0.4.3/lib/mysql2.rb:31:in `require': dlopen(/Users/username/reposname/vendor/bundle/ruby/2.3.0/gems/mysql2-0.4.3/lib/mysql2/mysql2.bundle, 9): Library not loaded: /usr/local/lib/libmysqlclient.18.dylib (LoadError) Referenced from: /
【Rails】MySQL2がbundle installできない時の対応方法 - Qiita
railsプロジェクト作成の際に、 「railsインストールしてrails newしたし、次はbundle installだなー」 と思いbundle installしたのですが、がっつりエラーが発生しました。 結構時間が取られてしまったので、備忘録として対応方法を記載しておきたいと思います。 起こったこと bundle install実行時に下記のエラーが出てきました。 $ bundle install (色々なgemのインストールのログが出てくる） . . . Installing ... Fetching mysql2 0.5.2 Installing mysql2 0.5.2 with native extensions Gem::Ext::BuildError: ERROR: Failed to build gem native extension. current direct
MySQLで全テーブルのレコード数を一覧表示する - Qiita
mysql> select table_name, table_rows from information_schema.TABLES where table_schema = 'DB名'; mysql> select table_name, table_rows from information_schema.TABLES where table_schema = 'zabbix'; +----------------------------+------------+ | table_name | table_rows | +----------------------------+------------+ | acknowledges | 15 | | actions | 33 | | alerts | 4104 | | application_discovery | 0 | |
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rails×MySqlでAutoIncrement列をリセットできなくて困った困った - Qiita
MySQLで異なるDBに存在するテーブルを結合して表示する方法 - Qiita
MySQLとPostgreSQLにおけるインデックスメンテナンス – variable.jp [データベース,パフォーマンス,運用]
MySQL5.7以降で条件付きのユニーク制約をかけるためのベストプラクティス - Qiita
