PostgreSQLで連番を自動生成するIDENTITY列。SERIALとどちらを使うべきか | フューチャー技術ブログ
はじめにTechnology Innovation Group真野です。 2017/10/5リリースのPostgreSQL 10にて、インサート時に自動で連番を割り当てる GENERATED AS IDENTITY という構文がサポートされました。PostgreSQLの連番作成機能と言えば、 SERIAL BIGSERIAL 型が有名ですが、IDENTITYの方がSQL標準準拠です。 SERIALもIDENTITY のどちらも内部的にはシーケンスを利用していますが、IDENTITYの方が手動で連番カラムに値を指定しにくい機能があり（※後述します）、新規の開発案件であれば IDENTITY を利用すると良いでしょう。 その上で IDENTITY に設定したカラムの挙動について不明点があったので調べてみました。最初に基礎情報をまとめ、調査事項の順で説明します。 なお、調査に用いたPostgre
PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
PostgreSQL チューニングよもやま話 - エムスリーテックブログ
【Unit4 ブログリレー3日目】 こんにちは，エムスリーエンジニアリンググループの榎田です．数学とテレビゲームが好きです． 今回は，Unit4 で運用している "Docpedia" というサービスで実施した SQL チューニングの実例を2つご紹介します．普段の私が意識していなかった， RDBMS の内部機構に関する話が登場して面白かったので，今回の記事を書きました． なお，本稿で扱う議論はすべて PostgreSQL 11.x 以上を対象としており，特にその他の RDBMS で同様の動作をするかは確認していません．定性的な挙動に共通するものはあるかもしれませんが，ここで述べた話はそのままは通らないであろうことをお断りさせてください*1． プロダクトについて index なしで意外と耐えたが，耐えきれなかった話 実際の SQL とテーブル定義 原因の分析 対応策 SELECT DISTIN
PostgreSQLに関するNTTデータのSlideShareのスライドリスト
はじめに SlideShareの広告対策です。 更新履歴 2023/12/13 CloudNative Days Tokyo 2023の資料を追加しました。 2023/12/07 PostgreSQL Conference Japan 2023の資料を追加しました。 2023/11/16 NTTデータで以前使われていたSlideShareのスライドを追加しました。 2024/03/08 第45回PostgreSQLアンカンファレンス@オンライン、DEIM2024の資料を追加しました。 2024/07/09 OCHaCafe Season 8 #4、DSS Asia 2024、TiUG Meetup #2、第47回PostgreSQLアンカンファレンス@オンラインの資料を追加しました。 2024 pg_stat_activityの不可解な観測結果の謎 (第47回 PostgreSQLアンカン
使用済みのレプリケーションスロットを使用した PostgreSQL AWS DMS タスクのトラブルシューティング
PostgreSQL をソースとして使用する AWS DMS タスクが、レプリケーションスロットすべてが使用中のために失敗するのはなぜですか? PostgreSQL DB インスタンス用の Amazon Relational Database Service (Amazon RDS) を使用する AWS Database Migration Service (AWS DMS) タスクがあります。このタスクの実行に失敗したときに、すべてのレプリケーションスロットが使用中で、エラーメッセージが表示されます。 簡単な説明 Amazon RDS for PostgreSQL インスタンスでは、AWS DMS はネイティブレプリケーションスロットを使用して、変更データキャプチャ (CDC) のための論理レプリケーションを実行します。 PostgreSQLインスタンスにあるレプリケーションスロットの数
PostgreSQLで禁断の配列型カラムを使ってみた - Qiita
ちょっとした気の迷いでint配列型のカラムを使うことにした。 普段、配列型のカラムは使わず、正規化してテーブルを分けることがほとんどだった。 配列型カラムについての簡単なまとめ PostgreSQLで配列型のカラムを使ってみる http://d.hatena.ne.jp/pasela/20070301/postgresql 公式Documentでは以下のような警告が… ティップ: 配列は集合ではありません。特定の配列要素に検索をかけることはデータベース設計が誤っている可能性を示唆しています。配列の要素とみなされるそれぞれの項目を行に持つ別のテーブルを使うことを検討してください。この方が検索がより簡単になり要素数が大きくなっても拡張性があります。 http://www.postgresql.jp/document/pg823doc/html/arrays.html 嫌な予感しかしないが、とり
Postgres と MySQL における id, created_at, updated_at に関するベストプラクティス
読者対象 ある程度データベースに関する知識を持っている，経験年数 1 年以上のバックエンドエンジニア 特定のプログラミング言語に依存する部分は含めないため，すべての SQL 使用者を対象とする また，ゼロからの丁寧な説明というよりは，リファレンス感覚で使える記事という形にまとめる。 RDBMS の対象バージョン PostgreSQL: 9.4 以降 MySQL: 8.0.28 以降 id （データ型と INSERT 時のデフォルト埋め） 導入 一般的に採用されやすいプライマリキー用の値として，以下を考える。 連番整数 MySQL では AUTO_INCREMENT， Postgres では IDENTITY や SERIAL と呼ばれるもの UUID v1: ハードウェアごとにユニークな単調増加値 UUID v4: ランダム値 UUID v7（ドラフト）: 単調増加であるタイムスタンプとラ
あまり知られていないPostgreSQLの機能 | POSTD
あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
pg_store_plansを使ってみた(1) - Qiita
はじめに 先日、pg_plan_advsrを使ってみた(1)という記事を書いたんだけど、そのpg_plan_advsrでは、pg_hint_planとpg_store_plansという拡張機能を利用している。 pg_hint_planは（実案件ではないが）何回か使ったことはあるけど、もう一つのpg_store_plansはそういえば使ったことがなかった。依存している拡張機能を良くわからないままpg_plan_advsrを調べ続けるのも、ちょっと不安だったので、pg_plan_advsrの調査を続ける前に、pg_store_plansを使ってみようと思った。 pg_stat_statements自体は、以前、ちょっと使ってみたことはあるけど、pg_store_plansとの共通点も多く、またpg_store_plansとの併用もできるということで、改めて使ってみることにした。 インストール手
EDBジャパンブログ2024
【ワークショップ】EDB Postgres AI Workshop 〜EDB Postgres AIを使ったRAGの世界を体験！〜（2024年9月19日リアル開催） ※本イベントはリアル開催となります。 エンタープライズDBでは9月19日（木）、EDB Postgres AI Workshop〜EDB Postgres AIを使ったRAGの世界を体験!〜と題して3時間の対面ワークショップを開催いたします。 最近になり生成AIと共にRAG（Retrieval-Augmented Generation 検索拡張生成）という言葉を多く目にするようになってきました。RAGという言葉が出る前に、PostgreSQLの世界でpgvectorというExtensionがリリースされました。pgvector自体は、ベクトル化データを従来のRDBであるPostgreSQLで扱えるようになっただけですが、これを
複数バージョンを跨ぐPostgreSQLのバージョンアップとAuroraへの移行 - LCL Engineers' Blog
データベース移行後記 技術開発部の杉山です。 先日、弊社のAdvent Calenderで書かせて頂いた、Pg_pool+ReplicationからAurora PostgreSQLへの移行が完了しました。 同様にEOL済みのPostgreSQLから少し新しいPostgreSQLへの移行や、Auroraへの移行を検討されている方の参考になればと思い後記に残す事にしました。 techblog.lclco.com メジャーバージョンのEOLステータス 弊社で利用していた、PostgreSQLは9.xでしたのでFirst Releaseから既に5年以上の月日が経っていて、Final Releaseも既に終了している状態でした。 MySQLの場合もPostgreSQLの場合もリリースから5年間はメンテナンスが続けられているので安心なのですが、最新版の利用は常にバグと向き合う必要があるので、 今回も
Aurora PostgreSQLへの移行と事前検証 - LCL Engineers' Blog
この記事はLCL Advent Calendar 2020 - 25日目です。 qiita.com Pg_pool+ReplicationからAurora PostgreSQLへ～ 技術開発部の杉山です。 今回は、弊社で進めているPostgreSQLのAuora PostgreSQLへの移行における、事前障害試験の内容をメモしておこうと思います。 弊社では既に、Auroraを別のサービスでも利用してはいるのですが、今回は古いレガシーなPostgreSQLを一気にバージョンアップすると同時にAuroraへ移行するので、 良いタイミングなので導入後にテストし難い障害試験を実施しておきました。 余談ですが、最近は在宅勤務が多くなってきたおかげで、 疲れてきたらリフレッシュにウクレレを1～2曲弾いて気分転換しています。 モチベーション - 移行する事で、常に安定したサービスを利用者及び提携先に提供
Sansanのインフラから見たRDBMS運用の裏側 PostgreSQLの構成から活用事例まで解説
2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「Sansanにおけるインフラから見たRDBMSの運用」に登場したのは、Sansan株式会社Sansan事業部、プロダクト開発部インフラエンジニアの岩下訓氏。Sansanのインフラの裏側と、RDBMSの運用について語ります。講演資料はこちら 写真：山平敦史／写真提供：Sansan株式会社 Sansanにおけるインフラから見たRDBMSの運用 岩下訓氏：「Sansanにおけるインフラから見たRDBMSの運用」ということで、インフラ枠の最後という感じ
データベースのランダム読み出しは要注意（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Say No to Randos (in Your Database) 原文公開日: 2017/11/29 著者: Richard Schneeman ORM（Object-Relation Mapper、またはObject-Relational Mapper）を初めて使ったとき、「ORMにrandom()メソッドがないのはどうしてなんだろうか？」と不思議に思ったものでした。こんなメソッドなら楽勝で追加できそうなものです。データベースのレコードをランダムに取り出したい理由はいろいろ考えられますが、順序をランダムにしたいレコード数がよほど少ないときでもない限り、SQLのORDER BY RANDOM()でやるべきではありません。本記事では、一見シンプルなSQL演算子によってどれほどパフォーマンスが低下するか、およびいくつかの修正方法
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLの権限と権限設定コマンド - Qiita
空間参照系の概要｜PostGIS入門
PostgreSQLとMySQLのメジャーバージョンアップのためのチートシート作った - そーだいなるらくがき帳
https://www.interdb.jp/pg/index.html