マルチテナントなWebサービスでデータベースをBigQueryからPostgreSQLに移行してRow Level Securityを導入した - エムスリーテックブログ
こんにちは。AI・機械学習チームの高田です。 マルチテナント構成のWebサービスでは、データの分離とセキュリティを確保することが非常に重要です。マルチテナント構成とは、1つのシステムやアプリケーションを複数の顧客（テナント）で共有する設計アプローチを指します。 今回は、当社のあるプロダクトで行った2つの改善施策について紹介します。 BigQueryからPostgreSQLへの移行: より効率的なデータアクセスとコスト削減 Row Level Security（RLS）の導入: データベースレベルでのセキュリティ強化 これらの施策により、セキュリティ向上とコスト削減の両方を実現できた事例を解説していきます。 なぜ移行したのか テナントID分離型を採用 移行前のアーキテクチャ 移行後のアーキテクチャ PostgreSQLテーブル構築のためのバッチ処理の実装 PostgreSQLクエリの最適化
Boolean のカラムを生やす前に考えたいこと
その方が単純に情報量が増えるため 最初 boolean にしてたけど後から時刻もほしくなるということはよくある。後から日時型のカラムに変えようと思っても、過去のイベントの日時は失われてしまっていて困る。今は日時が必要でないように感じても日時にしておく方がよい。 またアプリケーション的に使わなくても、データ分析のためにあると嬉しいことは多い。 コード的にも特に扱いにくくなることはない 以下のようにして簡単に boolean と同じ感覚で扱うことができる。 class Post < ApplicationRecord scope :unpublished, -> { where(published_at: nil) } scope :published, -> { where.not(published_at: nil) } def published? !published_at.nil?
大和総研が CRM システムを商用データベースから Amazon Aurora PostgreSQL に移行 (Part 1/3) | Amazon Web Services
Amazon Web Services ブログ 大和総研が CRM システムを商用データベースから Amazon Aurora PostgreSQL に移行 (Part 1/3) 大和総研は、長年培ってきたIT分野における多くの実績とノウハウを基盤として、証券会社、銀行等の金融機関に加え、事業会社、官庁および地方自治体、健康保険組合といった公共団体等の幅広いお客様に向けて、戦略的かつ効率的な業務改革に資するコンサルティング、ならびに安全性の高い情報システムサービスを展開している AWS のパートナーです。大和総研では、大和証券の顧客情報管理システム（以下「CRM システム」）を 2022 年に全面更改しました。この更改のタイミングで、データベースエンジンを商用データベースから Aurora PostgreSQL に移行しています。本ブログでは、商用データベースから Amazon Auror
複数の DDL ファイルを外部キー依存順に並べて結合するツール、 sqlstitch を作った
複数の DDL ファイルを外部キー依存順に並べて結合するツール、 sqlstitch を作ったFebruary 24, 2024SQLRustsqlstitchGitHub Copilot スキーマ定義をテーブル毎にファイル分割したい、でもなにも考えずに結合するとそのまま流せなくない？ を解決するツール 目次 レポジトリ https://github.com/yshrsmz/sqlstitch これはなに 端的にいうと、スキーマ定義用の DDL を複数ファイルに分割して管理しているときに、関連順に並び替えて結合してくれるツール。 スキーマが大きくなってくると、メンテナンス性維持のためにたとえば CREATE TABLE 単位でファイルを分割したくなる。ただ、ファイルを分割すると今度は実行順序を気にする必要がでてくる。単純に cat するとファイル名順で結合されるので、外部キー制約的に無
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
mondでこの質問への回答を読んでみましょう
インデックスを理解したい - Qiita
はじめに みなさんはDBのインデックスを正しく使えていますか？ 私はなんとなく「DBのパフォーマンスを向上するためのもの」という認識はあったのですが、 どのような場面で使うものなのか、逆にどのような場面では使うべきでないのかなど 明確に理解できていませんでした。 今回はそんなインデックスについての理解を深めたいと思います。 インデックスとは インデックスとは、その名の通り「索引」です。 表現の仕方と変えると、(x, a)という形式の配列であるとも言えます。 xというキー値とそれに結びつくaというデータ情報があり、 これを利用することですべてのデータを網羅して見ることなく、 まさに本の索引のように目的のデータにたどり着くことができます。 インデックスはSQLのパフォーマンスを改善するための非常にポピュラーな手段であり、 理由としては下記の3点が挙げられます。 アプリケーションのコードに影響を
TOPSIC SQL CONTEST
「SQLスキル」を試してみませんか? TOPSIC SQL CONTEST は、SQLスキルを競うコンテストサイトです。 プログラミングスキル判定サービス『TOPSIC』事業を 2025年2月28日をもってAtCoder株式会社に譲渡することについて合意したことをお知らせします。 TOPSIC SQL CONTESTは、誰でも参加できるオンラインコンテストです。 コンテスト時間内に出題された問題に対する解答（SQL文）を作成し、提出していく形式になります。世の中にプログラミングスキルを競うコンテストはたくさんありますが、SQLスキルを競うコンテストはほとんどなく、自分がどのくらいの水準なのかを客観的に把握することが困難でした。「TOPSIC SQL CONTEST」はお気軽にご参加いただくことができ、コンテストの順位により自分の実力を知り、スキルアップのモチベーションを得られる機会となりま
MySQL5系クライアントと8系クライアント混在時に発生する現象 | 株式会社ヌーラボ(Nulab inc.)
こんにちは、ヌーラボの中村です。BacklogのGitチームで開発やメンテナンス、その他諸々をやっています。本記事ではMySQLクライアントのバージョンアップの際に出くわしたおもしろい挙動を解説します。 概要 MySQL 5.7サーバーへの接続について、MySQL5系クライアントからMySQL8系クライアントへのバージョンアップを検証していたところ、特定のクエリだけ実行結果が0件になる現象が発生しました。（あるPerlのプログラムで5系のクライアントをサポートしていない環境があり、やむを得ずアップグレードを実施しました） インターネットで検索すると、「クエリに空白を入れる」「改行を追加する」などおまじないのような解決方法が散見されましたが、そんなはずはないと思い調査を進めました。 調査したところ、原因は以下の3つが合わさったことによるものでした。 MySQL 5.7ではクエリキャッシュが有
MySQL :: MySQL 8.0 リファレンスマニュアル :: 12.20.3 MySQL での GROUP BY の処理
SQL-92 以前では、選択リスト、HAVING 条件または ORDER BY リストが GROUP BY 句で指定されていない非集計カラムを参照するクエリーは許可されません。 たとえば、このクエリーは、選択リストの非集計 name カラムが GROUP BY に表示されないため、標準 SQL-92 では無効です: SELECT o.custid, c.name, MAX(o.payment) FROM orders AS o, customers AS c WHERE o.custid = c.custid GROUP BY o.custid; クエリーを SQL-92 で有効にするには、選択リストから name カラムを省略するか、GROUP BY 句で名前を指定する必要があります。 SQL:1999 以降では、GROUP BY カラムに機能的に依存している場合、オプション機能 T30
MySQL :: MySQL 8.0 リファレンスマニュアル :: 8.2.1.18 DISTINCT の最適化
ORDER BY と組み合わされた DISTINCT では多くの場合に一時テーブルが必要です。 DISTINCT では GROUP BY を使用できるため、MySQL が ORDER BY または HAVING 句内の選択したカラムの部分でないカラムをどのように処理するかを学んでください。 セクション12.20.3「MySQL での GROUP BY の処理」を参照してください。 ほとんどの場合、DISTINCT 句は GROUP BY の特殊な例と考えることができます。 たとえば、次の 2 つのクエリーは同等です。 SELECT DISTINCT c1, c2, c3 FROM t1 WHERE c1 > const; SELECT c1, c2, c3 FROM t1 WHERE c1 > const GROUP BY c1, c2, c3; この同等性のため、GROUP BY クエリ
MySQLでdistinctが効かない。mysqlバージョン5.7からの変更。
DISTINCTとORDER BYのセットでエラーが出力 DBのバージョンをあまり意識せずに構築した結果、 プログラムの一部が動かなくなってしまった。 apacheのエラーファイルに吐き出された内容は以下。 ERROR 3065 (HY000): Expression #1 of ORDER BY clause is not in SELECT list, references column 'DB名.テーブル名.カラム名' which is not in SELECT list; this is incompatible with DISTINCT 引き継いだプログラムのため、詳細は不明だけど 対象のSQLを確認したところ、確かに若干おかしいところはある。 カラムが合わないDISTINCTして、ORDER BYしてという。。 しかし既存サーバーでは稼働しているのと、プログラムに手を入れる
第43回 MySQLの準結合（セミジョイン）について | gihyo.jp
semijoinフラグがONの場合は、それに関連するduplicateweedoutフラグ、firstmatchフラグ、materializationフラグ、およびloosescanフラグの制御が可能となります。 準結合（セミジョイン） セミジョインはOracle Databaseを使用したことある方にはおなじみの動作ですが、MySQL5.6で追加されました。semijoinフラグをONにすることで、WHERE句またはON句内にINを使用したサブクエリに対してセミジョインが行われます。セミジョインとはサブクエリ内のテーブルの重複レコードを取り除き、結合と同じような動きをします。 しかし、このセミジョインが動作するにはいくつかの条件があるため注意が必要です。 INまたは=ANYを使用したサブクエリであること 単一のSELECT文でUNIONを使用していないこと Group byなどの集約関数
dbdocs.io - Database Documentation and Catalog Tool
dbdiagram - Database Diagram As Code Draw ER diagrams by just writing code. Designed for developers and data analysts. dbdocs - Database Docs As Code Create web-based database documentation using code. Integrate seamlessly with your development workflow. dbml - Database Definition As Code Open-source DSL language designed to define and document database schemas and structures. Holistics.io - BI Re
DB定義の管理を楽にしてくれる？ ActiveRecordからDBMLを出力するGem作ったよ！
この記事について みなさん、こんにちは！今日は新しく作ったRails7のActiveRecordからDBML（Database Markup Language）を出力するGem、「ActiveDBML」を紹介します。 Gemの詳細とダウンロードはこちらから： DBMLって何？ DBMLとは、Database Markup Languageの略で、データベースのスキーマを表現するためのシンプルなマークアップ言語。テーブル、カラム、リレーションなどを視覚的に表現できるので、データベース設計の理解やコミュニケーションが容易になります。 弊社は、dbdocs.ioを活用してDB定義を行っています 詳しくはこちらの記事を参考： ActiveDBMLって何？ ActiveDBMLは、データベース定義書と実際のデータベース設計との間のズレをなくすためのGemです。ActiveRecordで作ったモデルか
Active RecordでRow Level Securityを使って安全にテナント間のデータを分離する - SmartHR Tech Blog
従業員データベース機能の開発を担当している渡邉です。最近公開したGemであるactiverecord-tenant-level-securityの紹介をします。 SmartHRにおけるマルチテナントの現在 私たちが開発するSmartHRはお客様ごとに1つの環境を提供する、マルチテナント型SaaSです。サービス全体で1つのデータベースを持ち、複数のテナントのデータが混ざらないように、SQLで問い合わせを行います。 1つの環境ごとに1つのデータベースを持つ方式は安全性の面で優れていますが、スキーマの保守やマイグレーションにかかる時間の増加など、多くの技術的な困難をもたらします。この選択の背景については、2018年に書かれた以下の記事もご覧ください。 tech.smarthr.jp とはいえ、常にテナントごとのWHERE句を意識しながらコードを書くのは大変ですし、不具合の温床になります。幸い、私
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL8.0でSELECT COUNT(*)が低速になる動作は8.0.37で解消されていた！ - CyberAgent SRG #ca_srg
PostgreSQL database manual Japanese translation by Japan PostgreSQL Users Group
MySQL :: MySQL 5.7 Reference Manual :: 27.6 libmysqld, the Embedded MySQL Server Library
TOPSIC SQL CONTEST
PostgreSQL and SQL:2023