Do You Really Need Redis? How to Get Away with Just PostgreSQL
Do You Really Need Redis? How to Get Away with Just PostgreSQL There’s a tried-and-true architecture that I’ve seen many times for supporting your web services and applications: PostgreSQL for data storage Redis for coordinating background job queues (and some limited atomic operations) Redis is fantastic, but what if I told you that its most common use cases for this stack could actually be achie
PostgreSQL でメッセージキューイングを行う(LISTEN, NOTIFY)
postgres=# LISTEN channel; LISTEN postgres=# NOTIFY channel; NOTIFY PID 1311のサーバプロセスから非同期通知"channel"を受信しました。 postgres=# NOTIFY channel; NOTIFY PID 1311のサーバプロセスから非同期通知"channel"を受信しました。 postgres=# NOTIFY channel, 'payload'; NOTIFY PID 1311のサーバプロセスから、ペイロード"payload"を持つ非同期通知"channel"を受信しました。 postgres=# SELECT pg_notify('channel', 'pg_notify payload'); pg_notify ----------- (1 行) PID 1311のサーバプロセスから、ペイロー
オープンソースデータベース標準教科書｜DBスペシャリストを認定する資格 OSS-DB技術者認定試験
LPI-Japanは、PostgreSQLを体系的に学習するための教材「オープンソースデータベース標準教科書 -PostgreSQL-」を開発し、本サイトにて公開し、無償提供しています。 本教材は、データベースの経験の無い技術者を対象に、実習を通してSQL言語を使ったデータベースの操作、作成、管理についての基礎を学習するための教材が必要とのニーズに応えて開発されました。 データベースを初めて触る方にも分かりやすく、実際に動かしてみて理解できる内容となっています。 また、「OSS-DB技術者認定試験Silver」の学習教材としても役立ちます。 但し、本教材は【受験対策教材ではありません】。受験対策は、LPI-Japan OSS-DB認定教材をご利用ください。 なお、近年のスマートフォンの普及などによる学習環境の変化に対応するため、PDF形式だけでなく、EPUB形式のダウンロードも可能です。
[小ネタ] SQLの GROUP BY / ORDER BY には数字 (1, 2...) を指定しよう - Qiita
-------------------------------------------------------- -- users テーブルについて、部署・役職・作成日ごとに件数を集計する -- (MySQL用) -------------------------------------------------------- SELECT u.department_code `部署コード`, u.role_code `役職コード`, DATE_FORMAT(u.created_at, '%Y-%m-%d') `作成日`, COUNT(*) `人数` FROM users u GROUP BY u.department_code, u.role_code, DATE_FORMAT(u.created_at, '%Y-%m-%d') ORDER BY u.department_code ASC
![[小ネタ] SQLの GROUP BY / ORDER BY には数字 (1, 2...) を指定しよう - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/df7a32ffb8e562dfe0678d701a1eb4d8a4f7969b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JUIwJThGJUUzJTgzJThEJUUzJTgyJUJGJTVEJTIwU1FMJUUzJTgxJUFFJTIwR1JPVVAlMjBCWSUyMCUyRiUyME9SREVSJTIwQlklMjAlRTMlODElQUIlRTMlODElQUYlRTYlOTUlQjAlRTUlQUQlOTclMjAlMjgxJTJDJTIwMi4uLiUyOSUyMCVFMyU4MiU5MiVFNiU4QyU4NyVFNSVBRSU5QSVFMyU4MSU5NyVFMyU4MiU4OCVFMyU4MSU4NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9ODUwOGYxZDE3YzZhN2I1YTk5NzU4NzkxNjhhNmRiMjc%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzc2Mta3NhaXRvdSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzhjNGQzYzhlM2QxYzU5YzFkNjE3M2I2NWNiMjMyNTM%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gU1NDIFImRA%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D9ffdf1c689130de3ed7e5b18c77600c2)
【PostgreSQL】ウィンドウ関数使い方メモ - Qiita
1. この記事は何？ PostgreSQLでWindow関数の便利さに感動したので、後々でも思い出せるように整理したものです。 2. 実行環境 SQL Fiddleでテスト出来ます。 3. Window関数って？ 3.5. ウィンドウ関数より引用 ウィンドウ関数は現在の行に何らかとも関係するテーブル行の集合に渡って計算を行います。 これは集約関数により行われる計算の形式と似たようなものです。 とは言っても、通常の集約関数とは異なり、ウィンドウ関数の使用は単一出力行に行をグループ化しません。 行はそれぞれ個別の身元を維持します。 裏側では、ウィンドウ関数は問い合わせ結果による現在行だけでなく、それ以上の行にアクセスすることができます。 この関数のポイントとなる部分は以下かと思います。 特定カラムのグループとみなして集約関数が利用できる 集約関数の対象となった行はそのまま残る Select内で
DockerでPostgreSQLを使う - Qiita
本番環境ではDBはコンテナ化することは少いと思いますが、諸事情によりメモ。 前知識 Docker環境でPostgreSQLを扱う場合に事前に知っておいたほうが良い知識。 /docker-entrypoint-initdb.d/ PostgreSQLのイメージ(MySQLも）では、/docker-entrypoint-initdb.d/以下に置かれたファイルを起動時に実行する仕組みがあり、これらを利用してDBの初期設定・初期データの作成などを行うことができる。 サーポートされている拡張子は.sh, .sql, .sql.gzみたい。 /var/lib/postgresql/data PostgreSQLのデータ保存場所のパスは/var/lib/postgresql/dataとなる。これをローカルにマウントしてデータの永続化を行う。 基本 起動 まずはシンプルにPostgreSQLをDocke
【PostgreSQL】pg_stat_activityを理解する - Qiita
pg_stat_activityとは？ サーバプロセスあたり1行の形式で、状態や現在の問い合わせなどのプロセスの現在の活動状況に関連した情報を表示する。 pg_stat_activityはシステムの現在の状態を表示するための定義済みのビューの一つであり、その中でも動的統計情報ビューです。 動的統計情報ビューはセキュリティ制限があり、一般ユーザーは自身のセッションに関する全情報だけを参照できる。他セッションに関する行では多くの列がNULLになる。 pg_stat_activityの実行結果 pg_stat_activityの実行結果は以下のとおり それぞれのカラムの詳細については「pg_stat_activityのカラム」を確認して下さい。 postgres=# select * from pg_stat_activity where datname = 'postgres'; -[ REC
型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
PostgreSQLで大量テストデータを作るときにやったこと
はじめに PostgreSQLで大量のダミーテストデータを作成するとき、やったことをまとめる。 本記事では、以下のER図・DDLのテーブル構造に入れるデータ投入するためのSQLについて説明する。 ER図 DDL CREATE TABLE users( id uuid PRIMARY KEY DEFAULT gen_random_uuid(), name varchar(255) NOT NULL ); CREATE TABLE articles( id uuid PRIMARY KEY DEFAULT gen_random_uuid(), user_id uuid NOT NULL, title varchar(255) NOT NULL, content text NOT NULL ); CREATE TABLE comments( id uuid PRIMARY KEY DEFAULT
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
PostgreSQL 16検証報告
更新日: 2023年9月29日 2023年秋にリリース予定となっている PostgreSQL 16 の新機能や性能向上、非互換変更点の主要なものについて動作検証を行った結果を報告します。 本検証レポートは実施手順をコマンドレベルで記載しているため、PostgreSQL 16 の新機能を実際に動作させて確認したい方のガイドブックとしても活用できます。 PostgreSQL 16 の主要な強化点は以下の通りです。 性能向上 パラレルクエリ対応追加 ウィンドウ関数の最適化 同時データ投入の性能向上 SIMD CPUアクセラレータ対応 SQL機能 SQL/JSON 対応 整数リテラル表現の追加 ICU照合順序の拡張 ロジカルレプリケーション機能追加 スタンバイ上でのパブリケーション トランザクションの並列適用 双方向ロジカルレプリケーション クライアント機能 libpqロードバランス psqlで拡
PostgreSQLでマテリアライズドビューを作ってビューとの速度比較検証してみる
PostgreSQLでマテリアライズドビューを作ってビューとの速度比較検証してみる 今日は、PostgreSQLでマテリアライズドビューの作成をし、ビューに対する検索クエリの実行速度とマテリアライズドビューに対する検索クエリの実行速度の比較を行いたいと思います。 マテリアライズドビューとは？ クエリの結果を実際のテーブルにキャッシュする仕組みのこと。クエリの結果を表す仮想的なテーブルであるビューとは違い、都度クエリを発行する必要がないため、複雑な結合や集約を行うクエリをマテリアライズドビューとして作成しておくことで、効率的な参照が実現できる。ただし、あくまで「キャッシュ」であるため、リフレッシュのタイミングによっては最新でない状態を取得する可能性がある。PostgreSQLにおいては元テーブルが更新された際にマテリアライズドビューを更新する自動リフレッシュを指定するオプションがないため、c
UPSERT（ON CONFLICT句）とGROUPING SETS句/CUBE句/ROLLUP句の実装
今回は、PostgreSQL 9.5（以下、9.5）で実装された以下2つの機能について、実際に動かしながら紹介します。 UPSERT（ON CONFLICT句）の実装 GROUPING SETS句/CUBE句/ROLLUP句の実装 UPSERT（ON CONFLICT句）の実装 9.5ではINSERT文にON CONFLICT句が追加されました。これは一般的に「UPSERT」として知られている機能です。この句を利用すると、キー値の重複等でエラーとなっていた挿入処理を自動的に他の処理に代替して実行させることができます。 このON CONFLICT句には2つの動作を指定できます。1つはDO NOTHING句です。ON CONFLICT句にDO NOTHING句を指定すると、テーブルに挿入したい行がまだ存在しない（制約に違反する行が存在しない）場合は通常の挿入処理となります。一方、テーブルに挿入
RDSでロックしたPostgreSQLのプロセスを削除する | fragment
RDSのプロセス削除コマンドはterminateを使う RDSでPostgreSQLを使用しているのですが、table lockが掛かってしまい、insertやupdateが出来ないという自体が起こりました。 今回はロック対処法を書き記しておきたいと思います。 まず、どのプロセスがロックしているかを確認するSQLを打ちます。 SELECT l.pid, db.datname, c.relname, l.locktype, l.mode FROM pg_locks l LEFT JOIN pg_class c ON l.relation=c.relfilenode LEFT JOIN pg_database db ON l.database = db.oid ORDER BY l.pid; 次に、ロックが掛かっているプロセスを削除といきたいのですが、RDSではここでハマりました。 SELEC
PostgreSQL generate_seriesを使って大量にテストデータを作成する
generate_seriesとは 引数に開始値、終了値、刻み値を指定し、その範囲の値を返す集合関数。 -- 2～5を順番に返す SELECT * FROM generate_series(2,5); generate_series ----------------- 2 3 4 5 (4 行) --第3引数に刻む数値を指定する --1～10までで2ずつ加算した結果を返す SELECT * FROM generate_series(1,10,2); generate_series ----------------- 1 3 5 7 9 (5 行) --大きい値から減算もできる SELECT * FROM generate_series(20, -10, -7); generate_series ----------------- 20 13 6 -1 -8 (5 行) --少数点もいけちゃ
PostgreSQL Tutorial
Welcome to the PostgreSQLTutorial.com website! This PostgreSQL tutorial helps you quickly understand PostgreSQL. You’ll master PostgreSQL very fast through many practical examples and apply this knowledge to the development of applications using PostgreSQL. If you are… Looking to learn PostgreSQL fast.Developing applications using PostgreSQL as the back-end database management system.Migrating fro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sailで作ったpostgresのデータベースに接続する
documents/postgresql17_dev_new_features_ja_20240409.pdf at main · nori-shinoda/documents
【新機能】Vercel Postgres + Next.js + PrismaでフルスタックWebアプリケーションを作ってみた
PostgreSQL: 集合を返すGENERATE_SERIES関数で大量データを生成して集計する | TECHSCORE BLOG | TECHSCORE BLOG