あまり知られていないPostgreSQLの機能 | POSTD
あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
PostgreSQLのSELECT句ターゲット数上限値「1664」を見る - エムスリーテックブログ
本記事はエムスリー Advent Calendar 2020 の9日目の記事です。 エムスリーエンジニアリンググループの木村です。 今回は今年遭遇したエラーの中で面白かったPostgreSQLのターゲット上限値エラーの話をします。 我々のチームで開発・運用しているアンケートシステムではデータベースにCloudSQL(PostgreSQL)を利用しています。 アンケートシステムでは、ユーザのアンケートの回答を集計するために様々なクエリを駆使します。 その時、発行しようとしたクエリは下記のような結果を得るものでした。 クエリ結果 具体的なクエリは以下のようなものになります(あくまでイメージ。実際はもう少し複雑です)。 SELECT user_id , question1_answer , question2_answer , question3_answer , (略) FROM user u
PostgreSQLでパーティション数が多いほどプラン生成時間が長くなる問題の確認 - Qiita
PostgreSQLのパーティショニング機能には、パーティション数が多いほど親パーティションに対するクエリのプラン生成時間が長くなる問題がある。これは、PostgreSQL10のネイティブ・パーティショニング機能でも従来のパーティショニング機能でも同様である。 今回は以下5パターンにおけるクエリのプラン生成時間を比較して、パーティション数が多いほどプラン生成時間が長くなることを確認する。 パーティション分割しない 10パーティションに分割 100パーティションに分割 500パーティションに分割 1000パーティションに分割 PostgreSQL10のネイティブ・パーティショニングの場合 -- 指定の数だけ分割されたパーティションを作成する関数を登録する CREATE OR REPLACE FUNCTION create_partition_native ( parent TEXT, num
CitusDB + PG-StromでScale-up+outする。 - KaiGaiの俺メモ
PostgreSQL Advent Calendar 2019の14日目です。 PG-Stromの開発をやってると、しばしば聞かれるのが 『マルチノードの並列処理って対応してるんですか？』 という質問。 まぁ、『対応しておりませんし、対応する予定もございません』という回答になるんですが、別にこれはウチのやる気の問題ではなく、PG-StromはPostgreSQLの拡張モジュールとして設計されているため、並列分散処理に関しては他のメカニズムに任せてしまえばよい、というだけの話である。 そこで、今回は同じくPostgreSQLの拡張モジュールとして実装されているスケールアウト機能の Citus と、PG-Stromを組み合わせてちゃんと動作するんですよという事を検証してみる事にする。 Citusとは? PostgreSQLにデータ分散と並列処理機構を付加する拡張モジュールで、PostgreSQ
オープンセミナー香川2019 PostgreSQL
Citus を使って 分散列指向データベースを作ってみよう Noriyoshi Shinoda November 12, 2021 PostgreSQL Conference Japan 2021 (B2) SPEAKER 篠田典良（しのだのりよし） 所属 日本ヒューレット・パッカード合同会社 現在の業務 PostgreSQL をはじめ、Oracle Database, Microsoft SQL Server, Vertica 等 RDBMS 全般に関するシステムの 設計、移行、チューニング、コンサルティング PostgreSQL パッチ提供 オープンソース製品に関する調査、検証 資格など Oracle ACE Oracle Database 関連書籍15冊の執筆 関連する URL 「PostgreSQL 篠田の虎の巻」シリーズ http://h30507.www3
PostgreSQLには「中途半端なサイズ」のデータを格納しないほうがいい
ウェブサイトやアプリケーションには、ユーザー名やメールアドレスといった小さなサイズのものからブログ本文といった大きなサイズのものまで多種多様なサイズのテキストが使われています。一般的にはテキストサイズによってデータベースを使い分けることはありませんが、データベースのPostgreSQLでは「中途半端なサイズ」のテキストデータを格納するとパフォーマンスの低下につながるという調査結果とその仕組みを、ソフトウェアエンジニアのHaki Benita氏が説明しています。 The Surprising Impact of Medium-Size Texts on PostgreSQL Performance | Haki Benita https://hakibenita.com/sql-medium-text-performance PostgreSQLの場合、データベースのインデックスとテーブルは
PostgreSQL 9.6.3をRHEL 7.3(AWSのEC2)のSystemdで起動管理する | setup | OSS Fan
概要 Red Hat Enterprise LinuxではLinuxを構成する各種サービス（プロセス）の起動管理にinitシステムを利用していました。 バージョン7からinitがSystemdに置き換わり、RHEL 7向けのRPMパッケージをインストールすると、Systemdでの起動管理に 必要なファイル（サービスユニットファイル）がインストールされます（インストールされないミドルウェアもありますが）。 PostgreSQLでもコミュニティサイト（https://yum.postgresql.org/rpmchart.php）からダウンロードしたRPMパッケージを使用してインストールを実行すると、 Systemdには /usr/lib/systemd/system/postgresql-9.6.service というファイルによって、postgresql-9.6.serviceという名の
psqlコマンドのお勧め設定 - 青木ブログ
実はpsqlコマンドは色付きプロンプトを始めとして意外と便利な設定ができるようになっています。わたしが使っているおすすめの ~/.psqlrc を書いておきます。 \set PROMPT1 '%[%033[1;32m%]%n %`date +%H:%M` %R%#%[%033[0m%] ' \set PROMPT2 '%[%033[1;32m%]%R%#%[%033[0m%] ' \timing on \set HISTSIZE 1000000 以下解説 PROMPT1, PROMPT2 お約束の色付きプロンプト。 上記設定は緑のボールドにしていて、色を抜かすとこう↓なります。 '%n %`date +%H:%M` %R%# ' 表示すると「aamine 18:05 =>」みたいな感じです。以下解説。 %[...%] : エスケープが有効 %033 : ESC文字 %n : ユーザー名 %
PostgreSQL SQL Tricks
SQL is a language where one task can be solved multiple ways with different efficiency. You can see effective use of PostgreSQL's possibilities on this page. Older tricks Processing PostgreSQL's logs in JSON format with jq Author: Pavel Stěhule The JSON logs are not too readable, but using jq is simple: cat postgresql-Sun.json | jq 'select(.error_severity=="ERROR").message'|sort -n | uniq -c 1 "ca
秒速で10億レコードを処理する話 - KaiGaiの俺メモ
これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 （機材をお貸し頂いたパートナー様には感謝感激雨あられである） 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ
PostgreSQLでのバックスラッシュ文字の扱い - Qiita
psql=# \pset expanded on Expanded display is on. psql=# psql=# set standard_conforming_strings = on; SET psql=# psql=# select psql-# value, psql-# replace(value, '\r', '[CR]') as "bs", psql-# replace(value, '\\r', '[CR]') as "bsbs", psql-# replace(value, E'\r', '[CR]') as "E", psql-# regexp_replace(value, '\r', '[CR]', 'g') as "regex", psql-# regexp_replace(value, E'\r', '[CR]', 'g') as "regex E"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL: invalid page header in block
Citus live query inspection using citus_stat_activity
postgresqlでpg_stat_statementsを使ってSlow Queryを調べる - Qiita
Citus 10.2 rebalance_table_shards not working · Issue #5407 · citusdata/citus
Citus Open Source - Postgres at any Scale
postgres corruption: ERROR: invalid page in block
GitHub - intaro/hstore-extension: The encoder/decoder and set of the doctrine functions for the postgresql type `hstore`
11.8. 部分インデックス
Javascript encodeURI like function in postgresql?