PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
PostgreSQL チューニングよもやま話 - エムスリーテックブログ
【Unit4 ブログリレー3日目】 こんにちは，エムスリーエンジニアリンググループの榎田です．数学とテレビゲームが好きです． 今回は，Unit4 で運用している "Docpedia" というサービスで実施した SQL チューニングの実例を2つご紹介します．普段の私が意識していなかった， RDBMS の内部機構に関する話が登場して面白かったので，今回の記事を書きました． なお，本稿で扱う議論はすべて PostgreSQL 11.x 以上を対象としており，特にその他の RDBMS で同様の動作をするかは確認していません．定性的な挙動に共通するものはあるかもしれませんが，ここで述べた話はそのままは通らないであろうことをお断りさせてください*1． プロダクトについて index なしで意外と耐えたが，耐えきれなかった話 実際の SQL とテーブル定義 原因の分析 対応策 SELECT DISTIN
使用済みのレプリケーションスロットを使用した PostgreSQL AWS DMS タスクのトラブルシューティング
PostgreSQL をソースとして使用する AWS DMS タスクが、レプリケーションスロットすべてが使用中のために失敗するのはなぜですか? PostgreSQL DB インスタンス用の Amazon Relational Database Service (Amazon RDS) を使用する AWS Database Migration Service (AWS DMS) タスクがあります。このタスクの実行に失敗したときに、すべてのレプリケーションスロットが使用中で、エラーメッセージが表示されます。 簡単な説明 Amazon RDS for PostgreSQL インスタンスでは、AWS DMS はネイティブレプリケーションスロットを使用して、変更データキャプチャ (CDC) のための論理レプリケーションを実行します。 PostgreSQLインスタンスにあるレプリケーションスロットの数
PostgreSQLで禁断の配列型カラムを使ってみた - Qiita
ちょっとした気の迷いでint配列型のカラムを使うことにした。 普段、配列型のカラムは使わず、正規化してテーブルを分けることがほとんどだった。 配列型カラムについての簡単なまとめ PostgreSQLで配列型のカラムを使ってみる http://d.hatena.ne.jp/pasela/20070301/postgresql 公式Documentでは以下のような警告が… ティップ: 配列は集合ではありません。特定の配列要素に検索をかけることはデータベース設計が誤っている可能性を示唆しています。配列の要素とみなされるそれぞれの項目を行に持つ別のテーブルを使うことを検討してください。この方が検索がより簡単になり要素数が大きくなっても拡張性があります。 http://www.postgresql.jp/document/pg823doc/html/arrays.html 嫌な予感しかしないが、とり
Postgres と MySQL における id, created_at, updated_at に関するベストプラクティス
読者対象 ある程度データベースに関する知識を持っている，経験年数 1 年以上のバックエンドエンジニア 特定のプログラミング言語に依存する部分は含めないため，すべての SQL 使用者を対象とする また，ゼロからの丁寧な説明というよりは，リファレンス感覚で使える記事という形にまとめる。 RDBMS の対象バージョン PostgreSQL: 9.4 以降 MySQL: 8.0.28 以降 id （データ型と INSERT 時のデフォルト埋め） 導入 一般的に採用されやすいプライマリキー用の値として，以下を考える。 連番整数 MySQL では AUTO_INCREMENT， Postgres では IDENTITY や SERIAL と呼ばれるもの UUID v1: ハードウェアごとにユニークな単調増加値 UUID v4: ランダム値 UUID v7（ドラフト）: 単調増加であるタイムスタンプとラ
あまり知られていないPostgreSQLの機能 | POSTD
あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
pg_store_plansを使ってみた(1) - Qiita
はじめに 先日、pg_plan_advsrを使ってみた(1)という記事を書いたんだけど、そのpg_plan_advsrでは、pg_hint_planとpg_store_plansという拡張機能を利用している。 pg_hint_planは（実案件ではないが）何回か使ったことはあるけど、もう一つのpg_store_plansはそういえば使ったことがなかった。依存している拡張機能を良くわからないままpg_plan_advsrを調べ続けるのも、ちょっと不安だったので、pg_plan_advsrの調査を続ける前に、pg_store_plansを使ってみようと思った。 pg_stat_statements自体は、以前、ちょっと使ってみたことはあるけど、pg_store_plansとの共通点も多く、またpg_store_plansとの併用もできるということで、改めて使ってみることにした。 インストール手
エンタープライズDB (EDB) ジャパンブログ
【事例紹介】NTTコム オンライン、顧客サービス向けシステムのデータベースをオープンソースのPostgreSQLからEDBに移行。低コストで高信頼のシステムを実現！ NTTコム オンライン・マーケティング・ソリューション株式会社は、デジタルマーケティングやデータ解析など、様々なサービスを企業に提供しています。中核サービスの事業拡大に伴い拡張性と運用の効率化が求められ、処理性能を上げるために基盤を強化する必要がありました。そこで、RDBMSをオープンソースのPostgreSQLから、移行リスクやコストを抑えられることに加え、安定運用を実現し、万が一の際に正式なサポートを受けられるPostgreSQLベースの商用データベース「EDB」に切り替えました。24時間365日サポートと高可用性等の機能強化で、PostgreSQLの性能と可用性が向上しました。 詳細はEDBパートナー、アシスト様の導入事
複数バージョンを跨ぐPostgreSQLのバージョンアップとAuroraへの移行 - LCL Engineers' Blog
データベース移行後記 技術開発部の杉山です。 先日、弊社のAdvent Calenderで書かせて頂いた、Pg_pool+ReplicationからAurora PostgreSQLへの移行が完了しました。 同様にEOL済みのPostgreSQLから少し新しいPostgreSQLへの移行や、Auroraへの移行を検討されている方の参考になればと思い後記に残す事にしました。 techblog.lclco.com メジャーバージョンのEOLステータス 弊社で利用していた、PostgreSQLは9.xでしたのでFirst Releaseから既に5年以上の月日が経っていて、Final Releaseも既に終了している状態でした。 MySQLの場合もPostgreSQLの場合もリリースから5年間はメンテナンスが続けられているので安心なのですが、最新版の利用は常にバグと向き合う必要があるので、 今回も
Aurora PostgreSQLへの移行と事前検証 - LCL Engineers' Blog
この記事はLCL Advent Calendar 2020 - 25日目です。 qiita.com Pg_pool+ReplicationからAurora PostgreSQLへ～ 技術開発部の杉山です。 今回は、弊社で進めているPostgreSQLのAuora PostgreSQLへの移行における、事前障害試験の内容をメモしておこうと思います。 弊社では既に、Auroraを別のサービスでも利用してはいるのですが、今回は古いレガシーなPostgreSQLを一気にバージョンアップすると同時にAuroraへ移行するので、 良いタイミングなので導入後にテストし難い障害試験を実施しておきました。 余談ですが、最近は在宅勤務が多くなってきたおかげで、 疲れてきたらリフレッシュにウクレレを1～2曲弾いて気分転換しています。 モチベーション - 移行する事で、常に安定したサービスを利用者及び提携先に提供
Sansanのインフラから見たRDBMS運用の裏側 PostgreSQLの構成から活用事例まで解説
2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「Sansanにおけるインフラから見たRDBMSの運用」に登場したのは、Sansan株式会社Sansan事業部、プロダクト開発部インフラエンジニアの岩下訓氏。Sansanのインフラの裏側と、RDBMSの運用について語ります。講演資料はこちら 写真：山平敦史／写真提供：Sansan株式会社 Sansanにおけるインフラから見たRDBMSの運用 岩下訓氏：「Sansanにおけるインフラから見たRDBMSの運用」ということで、インフラ枠の最後という感じ
データベースのランダム読み出しは要注意（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Say No to Randos (in Your Database) 原文公開日: 2017/11/29 著者: Richard Schneeman ORM（Object-Relation Mapper、またはObject-Relational Mapper）を初めて使ったとき、「ORMにrandom()メソッドがないのはどうしてなんだろうか？」と不思議に思ったものでした。こんなメソッドなら楽勝で追加できそうなものです。データベースのレコードをランダムに取り出したい理由はいろいろ考えられますが、順序をランダムにしたいレコード数がよほど少ないときでもない限り、SQLのORDER BY RANDOM()でやるべきではありません。本記事では、一見シンプルなSQL演算子によってどれほどパフォーマンスが低下するか、およびいくつかの修正方法
PostgreSQLの日付指定の話 - 理解したような気になっている
会社に新人さんが入ってきたので研修の様子を横目に眺めていた。データ分析主体の会社なので当然SQLから始めるのだけれども、初めてSQLに触れる人はまず確実にDATE()関数で躓いている。自分も躓いた。正しくは、BETWEEN句に日付だけをそのまま入れるおかげで、最後の日付の丸一日分がすっぽり抜け落ちてしまっているのである。 期間に正確にログを取るのであれば（これはpostgreSQLの話であるが）、 WHERE timestamp BETWEEN '2018-02-01' AND '2018-02-07' ではなく、 WHERE timestamp BETWEEN '2018-02-01 00:00:00' AND '2018-02-07 23:59:59' ないし WHERE DATE(timestamp) BETWEEN '2018-02-01' AND '2018-02-07' の形に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLの権限と権限設定コマンド - Qiita
空間参照系の概要｜PostGIS入門
PostgreSQLとMySQLのメジャーバージョンアップのためのチートシート作った - そーだいなるらくがき帳
PostgreSQLに関するNTTデータのSlideShareのスライドリスト
https://www.interdb.jp/pg/index.html