PostgreSQL の拡張モジュールなどの周辺ツールをご紹介 - kitayama_t's blog
本エントリは、PostgreSQL Advent Calendar 2022 の14日目の記事です。 昨日は、@yohsita_ さんによるこちらの記事でした。 qiita.com はじめに PostgreSQLは CREATE EXTENSION コマンドでモジュールを追加することより、色々な機能拡張が可能です。モジュールの大まかな分類として、PostgreSQL 本体のソースコードに含まれるか含まれないか、があります。PostgreSQL本体に含まるモジュールは contrib ディレクトリの下にあるため contrib と呼ばれており、contrib のrpmファイルをインストールすることで付録F 追加で提供されるモジュールを追加して拡張可能となります。 PostgreSQL本体のソースコードに含まれるcontrib モジュール以外にも、多種多様なモジュールがあちこちのサイトからダウ
PostgreSQLクエリプロトコル概観 - 夜は寝る
コロナのせいにして引きこもってPostgreSQLと遊んでいたので、ブログにまとめてみる。 年末のPostgreSQLアドベントカレンダーで、PostgreSQLのプロトコルについてちょっと書いた。同僚や社外の人間など、話題に出して貰う機会があったが、「そもそも、簡易プロトコルと拡張プロトコルの2種類があることを知らなかった」という話を複数回聞いた。たしかに、普通にアプリケーションを開発する場合、プロトコルはクライアントインターフェイスに隠蔽されていて、意識することはない。せっかくなので、そのあたりもう少し雰囲気がわかるように書いてみようかなという気持ちになった。 背景 主題であるPostgreSQLのプロトコルを覗くために、前提となる知識を紹介する。PostgreSQLはフロントエンド（＝クライアント）とバックエンド（＝サーバ）の通信に、メッセージという単位をやりとりする。一部の例外を除
大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm) - RAKUS Developers Blog | ラクス エンジニアブログ
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
PostgreSQLマニュアルのトランザクション分離レベル表を参照する際の注意点 - ぱと隊長日誌
はじめに PostgreSQLマニュアル「13.2. トランザクションの分離」にはトランザクション分離レベルの表が記載されています。この表の記載は9.4以前と9.5以降で変わっており、PostgreSQLの挙動が変わったと勘違いしてしまうかもしれません。ですが、マニュアルを注意深く読み解けば挙動に違いの無いことが分かります。本エントリではこれを解説します。 トランザクション分離レベルの表があらわすもの 注目すべきは表タイトルです。 バージョン 表タイトル 9.4 表 13-1. 標準SQLトランザクション分離レベル 9.5 表13.1 トランザクション分離レベル 9.4で記載されている表は「標準SQLトランザクション分離レベル」です。「PostgreSQLトランザクション分離レベル」ではありません。「標準SQLトランザクション分離レベル」とはANSI（米国国家規格協会）で定義されたトランザ
MVCC and VACUUM
VP, Chief Database Scientist @ EnterpriseDB, PostgreSQL Major Contributor and Committer Experienced PostgreSQL users and developers rattle off the terms “MVCC” and “VACUUM” as if everyone should know what they are and how they work, but in fact many people don’t. This blog post is my attempt to explain what MVCC is and why PostgreSQL uses it, what VACUUM is and how it works, and why we need VACUUM
PostgreSQL v11新機能先取り：Hash-PartitioningとParallel-Append - KaiGaiの俺メモ
今回のエントリーは PostgreSQL Advent Calendar 2017 - Qiita に参加しています。 PG-Stromの視点からも、PostgreSQL v11には首を長くして待っていた機能が2つ入っている。 その１：Hash-Partitioning github.com その２：Parallel-Append github.com Hash-Partitioningというのは、PostgreSQL v10で追加されたテーブルパーティショニング機能の拡張で、日付時刻などの幅（Range）でパーティション化を行うのではなく、レコードの値をハッシュ関数に通して得られた値を元に、振り分ける先の子テーブルを選択して書き込みを行うというもの。 特徴としては、データの母集団が特異なものでない限り*1、各子テーブルへの書込みは均等に平準化されることになる。これは後で説明する通り、子テ
gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ
昨年、PGconf.ASIAで発表したPL/CUDAによる創薬ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測したベンチマークを見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」であるので、Dの行数が同じ1000万行であるならば、Qの行数が1000のケース（22.6s）に比べ、Qの行数が10のケース（13.4s）の実行時間はもっと顕著に短時間でなければならない。 計算量が1/100なのに、実行時間は半分弱にしかなっていない。 実はこれは、化合物同志の類似度を計算するための時間だけでなく、PL/CUDA関数に与える引数をセットアップするための時間に12秒程度を要しており、アムダールの法則を引用するまでもなく、類似度の計算を高速化するだけでは処理速度はこれ以上伸びないのである。 PL/CUDA関数の引数として行列
db tech showcase Tokyo 2017 - MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム #dbts2017 - 2017-09-08 - ククログ
株式会社クリアコード > ククログ > db tech showcase Tokyo 2017 - MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム #dbts2017 この発表のためにmroonga_query_expand()を実装した須藤です。db tech showcase Tokyo 2017で「MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム」という話をしました。一昔前の全文検索システムはそこそこ速く全文検索してキーワードをハイライト表示できれば普通でしたが、最近の全文検索システムはそれだけだと機能不足で、オートコンプリートやクエリー展開や関連エントリー表示機能などがあって普通というくらいにユーザーの要求レベルがあがっています。これは、GoogleやAmazonなど便利な検索サービスに慣れたユーザーが増えたためです。そんな時代の変
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
PostgreSQL 10 Beta 1の新機能検証結果
© 2016-2017 Hewlett-Packard Enterprise Japan Co, Ltd. 1 2017 年 5 月 22 日 PostgreSQL 10 Beta1 新機能検証結果 日本ヒューレット・パッカード株式会社 篠田典良 © 2016-2017 Hewlett-Packard Enterprise Japan Co, Ltd. 2 目次 目次......................................................................................................................................... 2 1. 本文書について.................................................................
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLプラットフォームの徹底比較（コンテナからクラウドまで）
PostgreSQL 13でのpg_stat_statementsの改善について（第12回PostgreSQLアンカンファレンス@オンライン 発表資料）
COMMITについて少し考えてみた(4)
COMMITについて少し考えてみた(3)
Showdown: MySQL 8 vs PostgreSQL 10 | HackerNoon
GitHub - MasahikoSawada/pg_simula: A database system failure simulation tool for PostgreSQL
NTT DATA と PostgreSQL が挑んだ総力戦
PostgreSQL Internals (1)