ファントムリードは起こらないのにSEIRIALIZABLEでない、それがポスグレのREPEATABLE READ - Qiita
トランザクション分離レベル、苦手意識を拭えない方はわりといらっしゃるんじゃないかと思います。なにしろ私がそうですからね！ だから本題の前にまずはおさらいから入りましょう。 トランザクション SQLのすべて成功するか最初からなかったことになるかしかないように管理された一連の操作のことをトランザクションと呼びます。 Javaのsynchronizedブロックのようなものをイメージしてしまうこともあるかもしれませんが、それは全然違いまして、トランザクションの進行中にもほかのセッションによってDB内のデータは刻々と書き換えられていきます。最初からなかったことにできる、それだけがトランザクションの特徴ですから。 トランザクション分離 しかし進行中にどんどんデータが変化していってしまうのではプログラミングになりません。ある程度、ほかのセッションからの干渉を防いでもらわないと困ります。それがトランザクシ
技術を知る：パブリッククラウド環境におけるデータベースの冗長化構成の構築方法｜PostgreSQLインサイド
データベースをクラウドリフトする際には、クラウド特有の要素を考慮し、可用性と信頼性を確保する必要があります。本記事では、クラウド環境の例としてMicrosoft Azureを利用したデータベースの冗長化構成を取り上げ、クラウド特有の構築ポイント、構成例、および障害発生時の対応について説明します。 オンプレミス環境では、サーバー、ストレージ、ネットワーク機器といったハードウェアに加え、OS、ハイパーバイザー、仮想化ソフトウェアなどの全ての要素を自社で調達・構築・管理する必要があります。 一方、クラウド環境では、ハードウェアの調達、設置、設定といった物理的な作業は不要となり、仮想環境の基盤もクラウド事業者が管理します。この変化に伴い、クラウドサービスではクラウド事業者と利用者の間に「責任分界点」が設定され、インフラ基盤の責任範囲が明確に定められるようになりました。そのため、Azureなどのクラ
Zennの検索スピードを5倍に高速化した話
@dyoshikawaです。 先日、以下のリリースでZennのサイト内検索の高速化を行いました。 結論を先に述べるとCDNキャッシュやPostgreSQLの全文検索インデックスを活用して対応しました。この記事では本パフォーマンス改善の取り組みについて紹介します。 Zennの構成 ZennはGoogle Cloud上に構築されており、フロントエンドNext.jsとバックエンドRailsをそれぞれCloud Run上にホスティングしています。上の図では省かれていますが、CDNにはCloudflareを利用しています。 データベースはCloud SQL for PostgreSQLを利用しています。 検索速度とDB負荷に課題 2025年2月頃、某AIクローラーによる検索ページへの集中アクセスによりDBインスタンスのCPU使用率が100%近くに張り付いてしまうという事象が発生しました。 生成AIサ
PostgreSQL設計ガイドラインのご紹介 | フューチャー技術ブログ
はじめにフューチャー社内の有志メンバーでPostgreSQL DB設計ガイドラインを作成しました。 PostgreSQL設計ガイドライン | Future Enterprise Arch Guidelines形になってから数ヶ月寝かせており、ある程度社内の指摘を取り込むことができたのでこのタイミングで告知します よくあるDB設計規約との差別化ポイント単にDB設計ガイドラインというと何を今更？感もあるので、命名規則や型桁など一般的な内容に加え、以下の点でよくあるDB設計ガイドラインから一歩踏み込んだコンテンツとなるよう心がけました。 論理設計への踏み込み単なるテーブル定義やデータ型選択にとどまらず、より高度な論理設計の原則に焦点を当てています。 マスタ/トラン/ワークデータベース設計において、データの種類に応じてテーブルを明確に分離することは設計効率と保守性を高める上で重要ですが、意外とその
PostgreSQL のトランザクション & MVCC & スナップショットの仕組み
このページでは PostgreSQL のトランザクション(Transaction)、Multi Version Concurrency Control(MVCC)、スナップショット(Snapshot)の仕組みを説明する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2016.04.30) 作成。 (2016.09.16) データ定義言語(DDL)のトランザクションを追加。 (2016.09.28) データ定義言語(DDL)の MVCC アンセーフ動作を追加。 (2017.04.07) Combo Command ID の説明が間違っているのを修正。 目次 1. はじめに 2. トランザクション分離レベル(Transaction Isolation Level) 3. Serializable 以外の分離レベルの実現方法 3.1 トランザクションとと可視性(Visi
Pleasanter(プリザンター) × PostgreSQLの意外な落とし穴について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Pleasanter(プリザンター) × PostgreSQLの意外な落とし穴について Pleasanter を利用する理由として、 OSS だからという理由があると思われます。 OSS であるため、ソースコードを無料公開しておりますし、基本的に無料で利用できます。 そんな Pleasanter と相性が良いと思うのは同じ OSS の PostgreSQL です。 私がアサインされているSIのお客様では、 DB に PostgreSQL を利用されております。そして、開発を推進するにあたり、開発環境と本番環境を同期することが多くあります
PostgreSQLにあるSQLインジェクションの脆弱性が9年以上発見されずアメリカ財務省への侵入に使用されてしまう
2024年12月30日、「中国政府が支援する高度で持続的な脅威攻撃者」がアメリカ財務省の機密データを管理するシステムを侵害しました。この侵入にはPostgreSQLに9年以上存在していたのに誰も気付いていなかったSQLインジェクションの脆弱(ぜいじゃく)性が使用されたことが判明しており、ソフトウェアエンジニアのニック・アグリアーノ氏が記事にまとめています。 Hidden Messages in Emojis and Hacking the US Treasury https://slamdunksoftware.substack.com/p/hidden-messages-in-emojis-and-hacking SQLインジェクションは多くのセキュリティの教科書の冒頭に載っているような非常に有名な攻撃手法で、SQLインジェクションを通して攻撃者はSQL文を書き換えられるためシステムに重
リストア（psql、pg_restor）の方法【PostgreSQL】 | PostgresWeb - ポスグレウェブ
このページではバックアップしたファイルをDBとして復元（リストア）する方法を解説します。 バックアップの方法 バックアップを行う方法についてはこちらで解説していますので参考にしていただけると幸いです。 リストア方法 リストアを行うためには、「psql」コマンドまたは、「pg_restore」コマンドを使用します。2つのコマンドはバックアップをした方法によりどちらを使うかが変わってきます。format=p（SQL文のテキストファイル）でバックアップした場合は「psql」、それ以外（format=c , format=t , format=d）は「pg_restore」を使用します。ここからはそれぞれのコマンド例を紹介します。 ① format=p（SQL文のテキストファイル）のバックアップとリストア 1つ目は、format=pでバックアップをした場合のリストアコマンドです。ここだけpsqlを
PostgreSQLのVACUUMとは
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
ECSとRDSをやめて、AWSコストを9割削減しました
はじめに こんにちは。BEENOSのがれっとです。 AWS上にアプリケーションを構築する際、一般的なのはECS + RDSという組み合わせです。私も社内システムをそのような形で構築しました。 しかし、使わないときにもインスタンスが動き続けてしまうため、大量のトラフィックを捌かないアプリケーションにおいてはコストが見合わないものとなってしまいます。 そこで、ECS + RDSという構成からLambda + EFSの構成に社内システムを移行して、コスト削減した話を紹介します。 前提 以下の構成のアプリケーションを移行しました。 Blitz.js 内部に下記を使用 Prisma Next.js PostgreSQL テーブル数は12 (_prisma_migrationsテーブルを含めて13) AWS 構成図 移行前 移行後 リレーショナルデータベースを用いることが必須のアプリケーションを構築す
PostgreSQLはなぜMySQLを上回れた？ PostgreSQL 17で見えた生成AI時代のデータベース
世界トップに躍進したPostgreSQL データベース管理システム（DBMS）の世界で、大きな変化が起きている。長年、企業システムの中核を担ってきたのはMySQLだが、この数年でPostgreSQLがトップの座に躍進、またAI時代の到来により、そのポジションをさらに強固なものにしているのだ。 スタックオーバーフローが実施した開発者調査（2024年版）によると、PostgreSQLは2年連続でデータベースのトップに君臨、その利用率は51.9％に上る。これに対し、MySQLは39.4％にとどまり、両者の差は広がる一方となっている。 この数字の意味するところは大きい。わずか6年前の2018年、MySQLの利用率は59％を占めていたが、PostgreSQLは33％にすぎなかった。この劇的な逆転は、PostgreSQLの技術的優位性と時代のニーズが合致した結果といえる。 そもそもPostgreSQL
Re: 履歴テーブルから最新の1件を取ってくる方法
そーだいさんが執筆された記事で、履歴テーブルから最新の1件を取ってくる方法について解説している。PostgreSQLの例だと以下のようなユーザーの履歴データに対し: CREATE TABLE history ( id SERIAL PRIMARY KEY, user_id INTEGER NOT NULL, data TEXT, created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ); INSERT INTO history (user_id, data, created_at) VALUES (1, 'First entry of user1', '2024-01-01 10:00:00'), (1, 'Second entry of user1', '2024-01-02 09:30:00'), (2, 'First entr
PostgreSQLで時間枠を適切に扱う設計 - そーだいなるらくがき帳
はじめに Googleカレンダーのような時間枠を扱うシステムを設計する際、開始・終了時刻を管理するロジックは容易ではない。 しかし、PostgreSQLには 範囲型 があり、この機能を活用することで、開始時刻（begin_at）と終了時刻（end_at）を1つのカラムで扱えるようになる。 そこで本稿では、範囲型を用いた設計と、その利点を紹介する。 時間枠を扱う難しさ まず前提として時間枠の扱いがなぜ難しいかを紹介する。 ソフトウェアデザインでやっている連載、実戦データベースリファクタリングの 【12】厄介な時間枠に向き合う でも紹介したが、時間の範囲を比較するときが難しい。 範囲の重なりには以下の種類がある。 包含：範囲Aが範囲Bを完全に含む 重複：範囲Aと範囲Bに共通点がある 隣接：範囲Aと範囲Bが隣り合う 時間枠の扱いはSQLに限らず、プログラミングの題材として難易度が高い。 特に重複
PostgreSQLで連番を自動生成するIDENTITY列。SERIALとどちらを使うべきか | フューチャー技術ブログ
はじめにTechnology Innovation Group真野です。 2017/10/5リリースのPostgreSQL 10にて、インサート時に自動で連番を割り当てる GENERATED AS IDENTITY という構文がサポートされました。PostgreSQLの連番作成機能と言えば、 SERIAL BIGSERIAL 型が有名ですが、IDENTITYの方がSQL標準準拠です。 SERIALもIDENTITY のどちらも内部的にはシーケンスを利用していますが、IDENTITYの方が手動で連番カラムに値を指定しにくい機能があり（※後述します）、新規の開発案件であれば IDENTITY を利用すると良いでしょう。 その上で IDENTITY に設定したカラムの挙動について不明点があったので調べてみました。最初に基礎情報をまとめ、調査事項の順で説明します。 なお、調査に用いたPostgre
PostgreSQLのpg_stat_bgwriterビューで確認できる項目を図解してみた
こんにちは！ ITエンジニアのYukiです。 PostgreSQLのpg_stat_bgwriterビューで確認できる統計情報がいくつかありますが、覚えるのに苦労しませんか？ （私はしました。） 図に描いて整理したので、それを元に説明します。 なお、pg_stat_bgwriterビューは、OSS-DB Goldの試験範囲に入っています。（Ver. 3.0でも引き続き試験範囲です） 性能監視に必要な知識となるので、しっかり理解しておきましょう。 Photo by Richard Jacobs on Unsplash pg_stat_bgwriterビューとは pg_stat_bgwriterビューは、PostgreSQLの統計情報ビューの一つで、バックグラウンドライタやチェックポインタなどのプロセスの活動状況を取得できます。 同様の統計情報ビューとしては、pg_stat_activity,
意外と意識されていないPostgreSQLのロックについて - Qiita
開発でPostgreSQLを利用することはよくありますよね。 しかし、ロックについてしっかり理解している人は少ないと思います。 PostgreSQLのロックの種類 まず、PostgreSQLのロックには以下のようなロックレベルがあります。 ACCESS SHARE ROW SHARE ROW EXCLUSIVE SHARE UPDATE EXCLUSIVE SHARE SHARE ROW EXCLUSIVE EXCLUSIVE ACCESS EXCLUSIVE それぞれについての詳しい内容は公式ドキュメントをご覧ください https://www.postgresql.jp/document/12/html/explicit-locking.html よく使うSQLだと例えば、 SELECT文はACCESS SHARE、INSERTやUPDATEはROW EXCLUSIVEにあたります。 競
【PostgreSQL】いかにして JSONB を安全に扱うか
はじめに Postgres には JSON/JSONB というデータ型がありますが，JSONB はデータをバイナリ形式で格納するためインサート時に変換のオーバーヘッドがあるものの，その後の処理が非常に高速である上に，インデックスを貼ることができるため，実用上は JSONB を使うのが一般的です． 一方で，そもそも RDB のようなスキーマの厳格な型付けをしているシステムで半構造化データである JSON を扱うこと自体がアンチパターンであるという指摘もあります． しかしながら，適切に設計，運用することで厳格な RDB で柔軟なデータを扱うことができ，アプリケーションの表現の幅を広げることができます． 本記事では，JSONB を可能な限り安全に扱うための実践的な工夫を紹介します． JSON Schema を使ったバリデーションを Check Constraint にする Postgres では
PostgreSQL環境における、DB定義変更を伴う無停止リリース「概要と計画」編 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「PostgreSQL環境における、DB定義変更を伴う無停止リリース」にまつわる検証を進めているので、その中間報告を共有しようかと思います。 ※本記事はタイトルに「概要と計画」編とあるように、通年で行う調査の前半時点の中間報告となります。 実際の検証結果については3月末に予定している後編をお待ち下さい。 課題の経緯、前提条件 課題の経緯 無停止リリース実現のモチベーション 前提条件 実現手法 候補に上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベースエンジニアの仕事を楽にする。PgAssistantの紹介
Explain EXPLAIN
