Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
インデックスとは何？MySQL(InnoDB)とPostgreSQLのインデックスの違いとは？調べてみました
はじめに こんにちは。calloc134 です。 前のハッカソンイベントで、UUID をプライマリキーに利用するかどうかの議論がありました。 結果的にはあまりパフォーマンス要件の高くないアプリケーションであったため、プライマリキーとして UUID を採用することにしたのですが、イベント終了後に気になったため、調査を行いました。 今回は、この調査の結果を元に、MySQL と PostgreSQL におけるインデックスの内部構造の違いと、UUID をプライマリキーにする際の問題についてまとめてみたいと思います。 インデックスの概要 インデックスとは インデックスとは、データベースのテーブルに対して、アクセスを高速に行うための指標となる構造のことです。 インデックスとは日本語で索引ですが、まさに辞書の索引のように、アクセスにおいての手助けをしてくれます。 より具体的に解説すると、データベースにお
医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
Amazon RDS for PostgreSQLがpgvectorモジュールに対応しベクトル検索できるようになりました | DevelopersIO
近年は機械学習のモデル・アルゴリズムを使ってオブジェクトをベクトル表現し(embedding)、テキストやメディアなど様々なオブジェクトの検索や分類が盛んに行われており、LLMの流行と共にその勢いが増しています。 RDBのPostgreSQL向けにベクトル管理・検索を行う拡張モジュール pgvector がAmazon RDS for RDSでも利用できるようになり、Pineconeのようなベクトル検索特化型のデータベースを用意することなく、RDSインスタンス単体でベクトル検索ができるようになりました。 データベースのマネージドサービスとしては、これまでも Supabase 等が pgvector に対応していましたが、RDS PostgreSQL もついに対応しました。 制限 pgvector 対応する最近傍探索 exact Approximation 対応距離 ユークリッド(L2)距離
MySQLとOracleの実行計画を比較してみた - ASMのきもち
まいえすきゅーえりたい ぽすぐれない おらくるってる（狂ってる）tomoです。 今日はいつものMySQLリファレンスを読むではなく、夏休みの宿題にしていたこれをやってみます。 MySQLとOracleDBの実行計画を比較してみた さて同じようなテーブルで同じデータを載せて。 実行計画を取ってみた時、どのくらい情報量が違うのか簡単に違いを見てみましょう。 前提として、以下をご認識ください。 一方はOSSのDBエンジン、もう一方はガチガチ商用DBエンジンです。情報量が違うのは当たり前であって、良し悪しを比較したいのではありません。そして製品比較をしたいのではありません。いつも商用DBメインで使っているエンジニアが、OSSのDBにこうゆう情報も出してほしいな！というのをお願いしたいと思っていて、それを考える元ネタメモだと思ってください。 OSSでこれだけの情報出せるMySQLや、今回紹介しません
MySQLユーザー必見！世界の名だたる企業が活用する「TiDB」の特徴と強みに迫る - Qiita Zine
チタンのような堅牢なデータベースを目指して「TiDB」と命名 ――はじめに、読者にそれぞれ自己紹介をお願いします。 Sunny Bains氏（以下、Bains）：私は2000年からずっと、データベースのカーネルやストレージエンジンといったコアな部分の開発に取り組んできました。PingCAPにジョインしたのは2022年4月で、現在はクラウドチームに属しています。入社前はオラクルのソフトウェア開発部門のシニアディレクターとして、MySQLの最も大切なエンジンであるInnoDBに関わっていました。 Eric Han氏（以下、Eric）：来日してから13年が経ちました。キャリア最初期の2年間はインフラエンジニアとして働き、その後、約10年間は外資系メーカーでプリセールスなどを経験しました。2年前にPingCAP日本法人の立ち上げに伴ってジョインし、現在はPingCAPの日本代表となり、日々、市場開
RDS Proxyを用いたオンラインスイッチオーバーによるMySQLのアップグレードについて - freee Developers Hub
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
MySQLでNested Loopなクエリはインデックスをどう辿っているか - $shibayu36->blog;
タイムライン的なものをSELECTだけで実装しようと思った時に、Nested LoopなクエリでUsing temporary; Using filesortが出るようなそこそこ遅いクエリになる。その時にMySQLがインデックスをどう辿っているかを知りたかったので調べてみた。MySQLバージョンは8.0.33。 あまり自信はないので、もし間違った話をしていたら教えて欲しい。 どのようなクエリを検証するか タイムラインの取得ができるような、ユーザー・フォロー関係・投稿の3つのテーブルを作る。スキーマは次の通り。 CREATE TABLE users ( id INTEGER PRIMARY KEY AUTO_INCREMENT, name VARCHAR(100) NOT NULL ); CREATE TABLE follows ( id INTEGER PRIMARY KEY AUTO_I
sqldefをMySQLに対してAWS Lambdaから実行するパッケージを作った - たごもりすメモ
k0kubun/sqldefはすばらしいプロダクトで便利に使ってるんだけど、もちろんDBに接続できる場所から実行する必要がある。で、DBはAWSのprivate VPCにあるのでラップトップやCI環境からやるというわけにはいかない。しょうがないので、現在はEC2インスタンスを作成して使うときだけ起動、終了したら停止してた。んだけど、これがまた面倒なんだよね。起動と停止も面倒だし、なんかあったときに確実に作り直せるようにするには……とか考えるのもダルいし、EC2へのSSHする方法やEC2へリポジトリをチェックアウトする方法も考えないといけないし。 なのでしばらく考えてたんだけど、Lambdaでやれるといいんだよな、という希望を現実的に考えて実装してみた。のがこちら。 github.com こいつは大変便利。リポジトリをcloneして、プライベートリポジトリからスキーマファイルを読み込むならデ
意外と知らないMySQLの落とし穴ーDELETEする際の注意点
なぜDELETEしてもディスク容量は空かないのか一度取得した領域はDELETEしても再利用するために保持しておくためです。 どうしてもディスク容量を空ける必要がある場合は テーブルを最適化する際に使うOPTIMIZE TABLEを実行する 「OPTIMIZE TABLE テーブル名」で実行できますALTER TABLEでテーブルを作り変えるALTER TABLEはテーブルの作り替えです 実行中はテーブルロックがかかります 「ALTER TABLE テーブル名 ENGINE INNODB」で実行できますDELETEのみ実行した場合(PTIMIZE TABLE/ALTER TABLEしない場合)、ディスク容量面でのメリットはないのかDELETEした領域は、再度使われるタイミング(INSERTしたタイミング)で再利用されるため、ディスク容量の減りは緩やかになるメリットはあります。 DELETEす
オラクル、MySQLからオブジェクトストアにある最大400テラバイトのCSVファイルなどにクエリを高速実行できる「MySQL HeatWave Lakehouse」発表。Oracle CloudWorld 2022
オラクル、MySQLからオブジェクトストアにある最大400テラバイトのCSVファイルなどにクエリを高速実行できる「MySQL HeatWave Lakehouse」発表。Oracle CloudWorld 2022 オラクルは米ラスベガスで10月17日から4日間に渡って開催したイベント「Oracle CloudWorld 2022」で、MySQL HeatWaveからオブジェクトストアのデータファイルに対して直接クエリを発行できる「MySQL HeatWave Lakehouse」を発表しました（日本オラクルの発表）。 [News] Oracle Announces MySQL HeatWave Lakehouse with 17X Faster Query Performance vs. Snowflake and 6X Faster than Redshift on 400 TB Wo
GrafanaでMySQLのデータを可視化する in Docker (in WSL2) - Qiita
About Grafana は、様々なデータを可視化してくれるダッシュボードツールです 本記事では、ローカル環境上ででサクッと試してみます GrafanaとMySQLのコンテナをDocker上で用意する MySQLで適当なデータベースを作る Grafanaでそのデータを表示する (Grafanaへのユーザ登録やログインは不要です) 環境 Windows 11 Home WSL2 (Ubuntu-20.04) Docker MySQLでデータベースを作る MySQLコンテナを作る 下記コマンドによってMySQLコンテナを作ります。簡易的にデータ永続化をするために、ここではローカルに db というディレクトリを作ってそれをマウントしています。これによって、コンテナを作り直してもデータベースが保持されます。また、アクセス権限を設定しないとrootで書き込まれてしまうため、userを指定しています
ヌーラボでBacklogの海外でのグロースに向けた機能改善を行うソフトウェアエンジニアを募集！
ヌーラボでBacklogの海外でのグロースに向けた機能改善を行うソフトウェアエンジニアを募集！ 株式会社ヌーラボ @nulab I want to hear a detailed 勤務地: フルリモート可（国内在住限定） 定員: 2名 プロジェクト管理ツール「Backlog」の改善を担当しているチームのポジションです。すでに提供開 始から15年以上経ったサービスをさらに進化させるべくメンバーを増強しています。直近では、よ り改善スピードを上げるためにDevOps一貫体制を整える目的で、チーム構成の見直しを実施し ています。 こんな方が向いています フロントエンド、サーバーサイド、インフラなど、広く技術領域に興味がある方 お客様の声を活かしたプロダクト作りに興味がある方 英語を使った業務のやりとりに抵抗がない・挑戦してみたい方 業務内容 Backlogの新機能開発
バーチャルライブ配信アプリ「REALITY」のサーバサイドエンジニアを募集！
バーチャルライブ配信アプリ「REALITY」のサーバサイドエンジニアを募集！ REALITY株式会社 @REALITY I want to hear a detailed 会社概要 REALITY株式会社（グリー100%子会社） 代表取締役 荒木 英士（グリー株式会社 取締役 上級執行役員） Vision「なりたい自分で、生きていく。」 誰もがアバターを持ち"なりたい自分で生きていく"ことのできるメタバースの世界の実現を目指しています。 REALITY Metaverse Trailer 2021（コンセプトムービー） 事業内容 ・バーチャルライブ配信アプリ「REALITY」の開発・運営（BtoC事業） ・バーチャルライブ/イベント制作プラットフォーム「REALITY XR cloud」の開発運営（BtoB事業） 参考リンク ・会社紹介資料 ・アート職お仕事紹介資料 ・REALITY no
docker composeで手軽にReact＋FastAPI＋MySQLお試しローカル環境を作る - Qiita
docker composeで手軽にReact＋FastAPI＋MySQLお試しローカル環境を作る 動機 Reactを使った静的ホスティングなるものをやってみたい。 動的なコンテンツはFastAPIで作って適宜呼び出したい。 FastAPIとデータベースはつなげておいて、FastAPIサーバーは将来的にサーバーレスみたいにしたい。 この記事の目的 Reactで生成したページから、FastAPIで作ったAPIを利用して、MySQLに入っているデータをブラウザ上で確認する。 最初のディレクトリ構成 docker-compose.yml client Dockerfile server Dockerfile requirements.txt code db.py main.py model.py mysql conf.d my.cnf initdb.d schema.sql testdata.s
MySQL/Postgres におけるトランザクション分離レベルと発生するアノマリーを整理する
読者対象 ANSI 定義の古典的なトランザクション分離レベルとアノマリーは概ね理解している MySQL/Postgres では理論的な部分がどうなっているのかを知りたい 理論面の前提知識 2022-08-19 追記: 社内勉強会向けのスライドを作成しました。先にスライドを見てから，引用文献およびこの記事を読むと理解が深まると思います。 まず ANSI 定義の古典的な定義を聞いたことが無い方は，以下のリンクを参照されたい。 ANSI 定義に対応する解説はこれらのサイト以外にもたくさんあるため，自分にとって読みやすいと感じる情報をあたってほしい。（既に熟知されている方は十分） 次点で読んでいただきたいのが， @kumagi さんの以下の記事。古典的には 4 つの分離レベルと 3 つのアノマリーだけで説明されていたものの，不十分であることが学術的に指摘され，解像度を上げようとする流れが後になって
オープンソースの開発に携われるエンジニアを大募集！
オープンソースの開発に携われるエンジニアを大募集！ シンキングリード株式会社 @thinkingreed JavaScript CSS HTML MySQL PHP I want to hear a detailed オープンソースの開発に興味のある方、シンキングリードでシステムエンジニアをやってみませんか？ シンキングリード株式会社は、「ビジネスをもっとスマートに」というミッションを掲げ、お客様の業務をスマートにしていくお手伝いをしています。その中でオープンソースのCRM（Customer Relationship Management：顧客接点管理）であるF-RevoCRMを開発して、サービスを展開しています。 オープンソースの開発に携わることの意味 オープンソースの開発に携わることは「知の共有」に参加していくということです。 私たちが開発したものが全世界に共有されて使われています。そ
ビジネス向けメタバース構築プラットフォームのサーバーエンジニアを募集！
ビジネス向けメタバース構築プラットフォームのサーバーエンジニアを募集！ REALITY株式会社 @REALITY I want to hear a detailed 会社概要 REALITY株式会社（グリー100%子会社） 代表取締役 荒木 英士（グリー株式会社 取締役 上級執行役員） Vision「なりたい自分で、生きていく。」 誰もがアバターを持ち"なりたい自分で生きていく"ことのできるメタバースの世界の実現を目指しています。 REALITY Metaverse Trailer 2021（コンセプトムービー） 事業内容 ・バーチャルライブ配信アプリ「REALITY」の開発・運営（BtoC事業） ・バーチャルライブ/イベント制作プラットフォーム「REALITY XR cloud」の開発運営（BtoB事業） 参考リンク ・会社紹介資料 ・アート職お仕事紹介資料 ・REALITY note（
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLとMySQLのメジャーバージョンアップのためのチートシート作った - そーだいなるらくがき帳
