PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
シェルスクリプトで作る、ゆるふわ Kubernetes Operator - Qiita
この記事は 武蔵野アドベントカレンダー の 15 日目の記事です。武蔵野にある施設には1回しか行ったことがない @ktateish が品川からお送りします。 Kubernetes 界隈で注目されているもののひとつに、Operator があります。 Operator とは、 Kubernetes 上で、ステートフルなアプリケーションのインスタンス生成／設定／管理をユーザに代わって実行してくれるソフトウェアのことです。 有名な Operator としては、 etcd-operator や prometheus-operator などがあります。例えば、 etcd-operator の場合、 これを一旦導入すれば、次のようなマニフェストを Kubernetes に投入するだけで、所定の etcd クラスタを構築、維持してくれます。 apiVersion: "etcd.database.coreo
sql-mode で Emacs の中からクエリを実行する - 雑文発散(2015-08-17)
▼ [Emacs] sql-mode で Emacs の中からクエリを実行する せっかく手元に PostgreSQL 環境を作ったし、Emacs も新しくしたし、そろそろまともに sql-mode を使ってみようかなと思って試してみたのでちょっとまとめた。 このあたりの記事を参考にした。 EmacsでインタラクティブにSQLを使うための設定(sql.el) Setup Emacs as an SQL Database client - Part 1 とは言え、自分の設定は上の記事に書かれているものよりだいぶシンプル。あとで必要なら足せばいいかなくらいの感じ。 (eval-after-load "sql" '(load-library "sql-indent")) (defun sql-mode-hooks() (setq sql-indent-offset 2) (setq indent-
Why use Postgres (Updated for last 5 years)
Five years ago I wrote a post that got some good attention on why you should use Postgres. Almost a year later I added a bunch of things I missed. Many of those items bear repeating, and I’ll recap a few of those in the latter half of this post. But in the last 4-5 years there’s been a lot of improvements and more reasons added to the list of why you should use Postgres. Here’s the rundown of the
Dataloss at GitLab | PostgreSQL Blog | 2ndQuadrant
> pg_basebackup first issues a checkpoint to ensure it gets the latest data for the backup, which by default is a paced checkpoint to avoid hitting the disks too hard. As a result it can take a few minutes, typically about 4 minutes with default settings to start up. During that time the pg_basebackup process is quiet while it waits for the checkpoint on the master to complete. Seems like this cou
PostgreSQL 超入門 第1回 | Let's POSTGRES
この記事は、PostgreSQL とは何か、リレーショナルデータベースとは何かをわかりやすく説明するためのものです。 もしあなたがデータベースについて聞いたことがない、あるいは、言葉くらいしか知らないのであれば、そして、これからデータベースに関わっていくのであれば、ぜひこの記事を注意深くお読みいただきたいと思います。 記事の記述内容で分かりにくい、不適切な部分、もっと知りたいことなどございましたら、ぜひ著者までご一報下さい。なるべく早い時期にこの記事に反映したいと思います。 【第１回】データベースとデータベース管理システム 1.1 データベース管理システムが扱うデータ 1.2 データーベース管理システムとアプリケーション 1.3 データベース管理システムはデータベースを守る 1.4 データベースを使うと何人もの人が同時にデータベースを使える 【第2回】PostgreSQL って何？ 【第3
PostgreSQL-OCaml - PostgreSQL Bindings for OCaml
Postgresql-ocaml OCaml-bindings for the PostgreSQL database View on GitHub Download .zip Download .tar.gz PostgreSQL-OCaml - PostgreSQL Bindings for OCaml What is PostgreSQL-OCaml? This OCaml-library provides an interface to PostgreSQL, an efficient and reliable, open source, relational database. Almost all functionality available through the C-API (libpq) is replicated in a type-safe way. This li
pgocaml
PG’OCaml provides an interface to PostgreSQL databases for OCaml applications. It uses Camlp4 to extend the OCaml syntax, enabling one to directly embed SQL statements inside the OCaml code. Admins: user156 Members: user156 user174 Releases Registered: 2011-09-15 13:40:06 Archived data: 1 open bugs 0 open feature requests 1 mailing list 1 VCS 11 released files
PostgreSQL 9.6 に関する技術情報
このページでは PostgreSQL 9.6 （2016年9月29日リリース）に関する技術情報をお届けします。 本ドキュメントは PostgreSQL のリリースノートを元に弊社で解説を加えたものです。 バージョン9.6の主な拡張点 バージョン9.6での主な拡張箇所は以下の通りです。 シーケンシャルスキャン、結合、集約のパラレル実行に対応しました。 自動VACUUMは古いデータを繰り返しスキャンしなくなります。 同期レプリケーションで複数スタンバイサーバが可能になりました。 全文検索でフレーズ（隣接した複数語）の検索に対応しました。 postgres_fdw がリモートでの結合、ソート、UPDATE、DELETE に対応しました。 特に複数CPUソケットサーバでのスケーラビリティにおいて性能改善しました。 バージョン9.6への移行/互換性のない変更点 pg_stat_activityビュー
(EN) GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
An article for none-Japanese readers.... What I'm recently working on is a feature to load data blocks from NVMe-SSD to GPU using peer-to-peer DMA. It allows to bypass the CPU/RAM under a series of data loading process, thus, also allows to reduce number of expensive data copy. Once data blocks are loaded onto the GPU's RAM, we can process individual records within the blocks, by thousands process
[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよ - Qiita
[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよPostgreSQLCentOS6 概要 とある日、postgresが稼働しているサーバのリプレースを行ったところ、 CPUのsysがスパイクしてpostgresが数十秒ほど処理不可となり、ひどい目にあったという話です。 ※この環境はCentOS6.8で、postgresは9.4でも8.2でも同現象が発生しました 原因は"THP(Transparent Huge Page)"というOSの機能に関連したdefrag(compaction alloc)処理により、CPUリソースが枯渇したためでした。 検証したところ、以下の状況が重なるとsysスパイク現象が起きてしまう様です。 サーバの搭載メモリが大きい(たとえば200GB以上) 継続的にトランザクションが発生する TH
![[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/da89cbfddedcf9c52edcaae0db892d1294177636/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcG9zdGdyZXMlNUQlRTUlQTQlQTclRTUlQUUlQjklRTklODclOEYlRTMlODMlQTElRTMlODMlQTIlRTMlODMlQUElRTMlODElOEIlRTMlODElQTRPUyVFMyU4MSU4Q1JIRUwlMjhDZW50T1MlMjk2JUU3JUIzJUJCJUUzJTgyJTkyJUUzJTgxJThBJUU0JUJEJUJGJUUzJTgxJTg0JUUzJTgxJUFFJUU2JTk2JUI5JUUzJTgwJTgxVEhQJUUzJTgxJUFFZGVmcmFnJUUzJTgxJUFGJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgxJTlGJUU2JTk2JUI5JUUzJTgxJThDJUU4JTg5JUFGJUUzJTgxJTg0JUUzJTgxJUE3JUUzJTgxJTk5JUUzJTgyJTg4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iNTZkYTYzOTYyMzk5NTY3NDI4MmMyN2ExNDBhNjU4Mg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBNb3JpaGF5YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NTVlOTlhMTk0NTJjNzQ5MGIxMGMyMDhhM2I4MWNmY2Q%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gQUVPTg%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D6d996e204d482563a53a20bed02a4e18)
GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
前回の動いた！SSD-to-GPU Direct DMA - KaiGaiの俺メモの記事では、Intel SSD 750とNVIDIA Quadro K1200を使って、Raw-I/OでのSSD-to-GPU Direct DMAが動くところまでを紹介した。 この時点で測定できたSSD-to-GPU Direct DMAのスループットは概ね1400MB/s程度で、VFS経由のスループット1100MB/sを約20%程度上回るものであった。 ただ、Quadro K1200のスペックは以下のようなもので、お世辞にもハイパフォーマンスを期待して使用するタイプのカードではない。*1 チップ GM107GL (CC5.0) CUDAコア数 512コア, 1000MHz メモリ容量 4GB GDDR5 メモリ帯域 80GB/s, 128bit という事で、同じくGPUDirect RDMAに対応した T
Uber's move away from PostgreSQL
VP, Chief Database Scientist @ EnterpriseDB, PostgreSQL Major Contributor and Committer Last week, a blog post by an Uber engineer explained why Uber chose to move from PostgreSQL to MySQL. This article was widely reported and discussed within the PostgreSQL community, with many users and developers expressing the clear sentiment that Uber had indeed touched on some areas where PostgreSQL has room
目次
Windows+Apache＋PHP＋PostgreSQLによるWebアプリケーション －入門編－ 目次 第１章 PostgreSQL8.0のインストール １．１ 概要 １．２ Windowsユーザアカウントpostgresの作成 １．３ PostgreSQL8.0のダウンロード １．４ PostgreSQL8.0のインストール １．５ PostgreSQL8.0の起動と停止 第２章 pgADMINⅢによるPostgreSQLの操作 ２．１ pgADMINⅢの起動・ログオン ２．２ グループ・ユーザの作成 ２．３ データベースの操作 ２．４ テーブルの操作 ２．５ データの操作 第３章 ｐｓｑｌによるPostgreSQLの操作 ３．１ psqlの基本操作 ３．２ データベースの操作 ３．３ テーブルの操作 ３．４ データの操作 ３．５ 表結合と相関名 ３．６ 副問い合わせ 第４章 Apac
» PostgreSQL トレーニング | 製品・サービス - SRA OSS
PostgreSQL 導入トレーニングは 2023 年 8 月の開催コースからリニューアルされ、テキストの内容が OSS-DB Silver Ver 3.0 に対応しました。 SRA OSS では、OSS-DB Exam (オープンソースデータベース技術者認定試験) 認定校第1号ならではの充実した内容で、レベルの高い講師陣によるトレーニングコースをご用意しています。 各受講者のレベルに合わせたコースで、OSS-DB 試験にも対応した内容となっておりご好評をいただいております。 PostgreSQL を初めて導入される方から、内部構造を解説するものまで、幅広いコースを用意しています。 また、長年の経験を凝縮したオリジナルのテキストを使用、経験豊かなエンジニアが講師を務めます。 PostgreSQL 導入トレーニングとPostgreSQL 運用管理トレーニングは、OSS-DB Exam に対応
initd.org psycopg1
Psycopg is the most popular PostgreSQL adapter for the Python programming language. Its core is a complete implementation of the Python DB API 2.0 specifications. Several extensions allow access to many of the features offered by PostgreSQL. The psycopg3 project is currently under active development. Sponsoring this project will help achieve swift completion and ensure the maintenance of psycopg2,
PostgreSQL側から見たMySQLとのレプリケーション比較、そのに | キムラデービーブログ
前回ご紹介したブログエントリでは、その後我らがNippondanjiさんがコメントで斬りかかり、比較の深度が増しました。(未見の方は是非ご参照ください) そのコメントの終盤に参加したInterDB鈴木さんが、新たに二つのエントリをポストしたので、ここでご紹介します。 PostgreSQLユーザのためのMySQLバイナリログ・レプリケーション講座 MySQLユーザのためのPostgreSQL:WALログとレプリケーション講座 オープンソースデータベース界の両刀遣い(笑) 鈴木さんはMySQLとPostgreSQLの両方に深い見識をもたれているので、上記の二つのエントリで非常に有用なレプリケーション比較となっています。 PostgreSQLユーザも、MySQLユーザも、是非参照して「データベースレプリケーション」の見識を深めてください(ってFirebirdも参加せねばならぬなw) 以下は、鈴木
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel test with PostgreSQL in Clojure — (def ayalog '())
GitHub - patroni/patroni: A template for PostgreSQL High Availability with Etcd, Consul, ZooKeeper, or Kubernetes
