Web APIを手作りする時代は終わった？
::: message info これは[フィヨルドブートキャンプ Advent Calendar 2022 Part.1](https://adventar.org/calendars/7760)の25日目の記事です。 昨日の記事は:@shujiwatanabe:shujiwatanabeさんの[質問しながら出来るようにしていく](https://shu91327.hatenablog.com/entry/2022/12/24/091025)と:@saeyama:saeyamaさんの[Rails/Vue 編集時に画像をD&Dで入れ替えした時のActive Storageの保存方法](https://saeyama.hatenablog.com/entry/2022/12/24/000123)でした。 ::: ↓こういうのを職人が丹精込めて一つ一つ手作りする時代は終わりました。 ```sh
排他制御のためだけに Redis 渋々使ってませんか？データベース単独でアドバイザリーロックできるよ！
トランザクション分離レベルについての教養があったほうがこの記事の内容を理解しやすいため，必要に応じてまず以下を参照されたい。 背景 以前， Qiita で以下の記事を投稿した。今回の議題に直接的な関係はないが，関連している部分があるため引用する。 MySQL/Postgres とも， MVCC アーキテクチャの恩恵で， SELECT と UPDATE は基本的には競合しない。 単一レコードのシンプルな UPDATE でも排他ロックされ，排他ロック中のレコードへの UPDATE での変更操作は トランザクション分離レベルによらず ブロックされる。UPDATE 文に含まれる WHERE 句での検索もブロックされ，これはブロックされない SELECT による検索とは別扱いになる。 但し UPDATE 文の WHERE 句上で，更新対象をサブクエリの SELECT から自己参照している場合は例外。
あまり知られていないPostgreSQLの機能 | POSTD
あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
運用中のPostgreSQLのスキーマを無停止で安全に変更する | 株式会社ヌーラボ(Nulab inc.)
初めに こんにちは。ビジネスチャットサービスTypetalkを開発・運用している吉田です。Typetalkではデータの永続化ストレージとしてPostgreSQLを利用しています。扱うデータ量は多く、チャットというサービスの性質上書込み頻度はとても高いです。PostgreSQLを使い日々開発を進めていると、追加する機能によってはスキーマを変更する必要があります。メンテナンスを計画・告知してサービスを止めてしまえば、時間はかかるかもしれませんがスキーマの変更はそう難しくありません。しかしTypetalkはユーザーが日々の業務を進めるために利用しており、サービスが止まるとコミュニケーションが取れなくなります。業務を円滑に進めるためのビジネスチャットツールですので、極力サービスは止めたくありません（最後の計画メンテナンスは2019年6月30日で1年以上前となっています。）。本記事では以下の3つのケ
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
PostgreSQLのRow Level Securityでポリシーを設定し忘れると何が起きるのか - Qiita
どうも、PrAha Inc. CEOです。特技はエンジニアのモノマネです。 今回はマルチテナント型のサービスを設計する時にお世話になるPostgreSQLのRow Level Securityにポリシーを設定し忘れと何が起きるのか共有します。 Row Level Securityとは その名の通り「行単位」でアクセス権限を分けられるため、「この行は、特定のテナントidを持った人だけ取得できる」みたいな細かなアクセス権限ができる。 何が起きたのか PostgreSQLのRLS(Row Level Security)を設定した結果、何をINSERTしようとしても「new row violates row-level security policy for table」と怒られるようになった 結論 PostgreSQLのRLSはデフォルト拒否設定（ポリシーを指定し忘れると、アクセスを拒否される）
PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史 世界中で使用されるRDBMSであるPostgreSQLの長い歴史には、どのような変遷があったのでしょうか。長く、PostgreSQLに関わり続ける石井達夫さんに、同ソフトウェアの進化歴史の中にあるキーワードをもとに振り返ってもらいました。 オープンソースのRDBMSであるPostgreSQLは、いまや世界中の人々が利用するソフトウェアとなりました。その歴史は長く、ルーツは30年以上も前にさかのぼります。 PostgreSQLの前身は、カリフォルニア大学バークレー校で1986年に始まったPOSTGRESプロジェクトです。その後、1994年にAndrew Yu氏とJolly Chen氏がPOSTGRESにSQL言語インタプリタを追加し、翌年にPostgres95をリリース。1996年にようやくPostgreSQLとい
PostgreSQLのPub/Sub機能とJavaのクライアント実装 - Qiita
フューチャー Advent Calendar 2019 18日目の記事です。 Pub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としています NOTIFY/LISTEN PostgreSQLのP
PostgreSQL 12 Released!
The PostgreSQL Global Development Group today announced the release of PostgreSQL 12, the latest version of the world's most advanced open source database. PostgreSQL 12 enhancements include notable improvements to query performance, particularly over larger data sets, and overall space utilization. This release provides application developers with new capabilities such as SQL/JSON path expression
A5:SQL Mk-2 - フリーのSQLクライアント/ER図作成ソフト (松原正和)
特徴・機能 様々なデータベースへの接続 Oracle Database へはOCI接続（オラクルクライアント経由）、直接接続（オラクルクライアント不要）で接続出来ます。 PostgreSQL, MySQLへは直接接続（クライアントライブラリ不要）で接続出来ます。 Microsoft SQL Server へは NativeClient 経由で接続できます。 それ以外のデータベースへはADO(OLE DB)または、ODBCで接続出来ます。 SQL入力支援機能 Ctrl+SpaceでSQL文を解析しテーブル名やテーブルカラム名の入力補完が行えます。 共通表式や副照会も解析する強力な機能です。 AIアシスタント機能 外部AIサービス(OpenAI ChatGPT, Google Gemini, Anthoropic Claude, Microsoft Azure OpenAI, Ollama)の
Best way to select random rows PostgreSQL
I want a random selection of rows in PostgreSQL, I tried this: select * from table where random() < 0.01; But some other recommend this: select * from table order by random() limit 1000; I have a very large table with 500 Million rows, I want it to be fast. Which approach is better? What are the differences? What is the best way to select random rows?
PHPUnitのsetUpでPostgreSQLの外部キー制約がついたテーブルをクリーンアップしフィクスチャに初期化する - Qiita
結論 PHPUnit_Extensions_Database_TestCaseクラスの初期化処理では、外部キー制約があるとうまく初期化できない場合がある オプションでTRUNCATE処理にCASCADEを追加できるが、外部からこのオプション引数は制御できない 引数なしで実行しているメソッドをオーバーライドすることで、CASCADEするようにしてやる class HogeTest extends \PHPUnit_Extensions_Database_TestCase { protected function getSetUpOperation() { // 引数にtrueを渡すように上書き return \PHPUnit_Extensions_Database_Operation_Factory::CLEAN_INSERT(true); } public function setUp()
Don't Do This - PostgreSQL wiki
A short list of common mistakes. Kristian Dupont provides schemalint a tool to verify the database schema against those recommendations. Database Encoding Don't use SQL_ASCII Why not? SQL_ASCII means "no conversions" for the purpose of all encoding conversion functions. That is to say, the original bytes are simply treated as being in the new encoding, subject to validity checks, without any regar
正規化された複数のテーブルに JSON の値を反映する - Qiita
CREATE TABLE parents ( parent_id bigserial PRIMARY KEY, "name" varchar NOT NULL UNIQUE ); CREATE TABLE children ( child_id bigserial PRIMARY KEY, "name" varchar NOT NULL UNIQUE, parent_id bigint NOT NULL REFERENCES parents(parent_id) ); CREATE OR REPLACE FUNCTION upsert_parent(parent json) RETURNS TABLE(parent json) AS $$ with parent_candidates AS ( -- 引数の JSON を非正規形のテーブルに変換 SELECT * FROM json_to_
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
2月7日（木）に予定していたデータベースメンテナンスによるシステム停止を中止します - Mackerel ブログ #mackerelio
いつもMackerelをご利用いただきありがとうございます。 mackerel.io 以前お伝えしていました 2月7日（木）14:30から実施予定でした緊急メンテナンスにつきまして、問題が解消に向かっていることを確認したため中止します。 当該時間帯も引き続き通常どおりMackerelをご利用いただけます。 中止理由 Mackerelが利用しているデータストアである、PostgreSQL (RDS)にて、停止していたautovacuumの復旧を確認しました。 懸念されていたトランザクションIDの枯渇も解消に向かっており、緊急のメンテナンスが不要であると判断しました。 今後も状況を注視しながら、Mackerelの安定稼働に万全を期していきます。 この度はお騒がせしてたいへん申し訳ありませんでした。 引き続きMackerelをよろしくお願いします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLの皮を被った次世代RDBMS - Project Tsurugi (劔) について
【PostgreSQL】大文字小文字を無視したテキストの検索条件 - Qiita
PostgreSQL JOIN with array type with array elements order, how to implement?
OracleのSQLに欲しい13の他DBの機能 - Qiita
