PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
シェルスクリプトで作る、ゆるふわ Kubernetes Operator - Qiita
この記事は 武蔵野アドベントカレンダー の 15 日目の記事です。武蔵野にある施設には1回しか行ったことがない @ktateish が品川からお送りします。 Kubernetes Operator Kubernetes 界隈で注目されているもののひとつに、Operator があります。 Operator とは、 Kubernetes 上で、ステートフルなアプリケーションのインスタンス生成／設定／管理をユーザに代わって実行してくれるソフトウェアのことです。 有名な Operator としては、 etcd-operator や prometheus-operator などがあります。例えば、 etcd-operator の場合、 これを一旦導入すれば、次のようなマニフェストを Kubernetes に投入するだけで、所定の etcd クラスタを構築、維持してくれます。 (etcd-operat
sql-mode で Emacs の中からクエリを実行する - 雑文発散(2015-08-17)
▼ [Emacs] sql-mode で Emacs の中からクエリを実行する せっかく手元に PostgreSQL 環境を作ったし、Emacs も新しくしたし、そろそろまともに sql-mode を使ってみようかなと思って試してみたのでちょっとまとめた。 このあたりの記事を参考にした。 EmacsでインタラクティブにSQLを使うための設定(sql.el) Setup Emacs as an SQL Database client - Part 1 とは言え、自分の設定は上の記事に書かれているものよりだいぶシンプル。あとで必要なら足せばいいかなくらいの感じ。 (eval-after-load "sql" '(load-library "sql-indent")) (defun sql-mode-hooks() (setq sql-indent-offset 2) (setq indent-
Why use Postgres (Updated for last 5 years) - CRAIG KERSTIENS
Five years ago I wrote a post that got some good attention on why you should use Postgres. Almost a year later I added a bunch of things I missed. Many of those items bear repeating, and I’ll recap a few of those in the latter half of this post. But in the last 4-5 years there’s been a lot of improvements and more reasons added to the list of why you should use Postgres. Here’s the rundown of the
GitHub - patroni/patroni: A template for PostgreSQL High Availability with Etcd, Consul, ZooKeeper, or Kubernetes
You can find a version of this documentation that is searchable and also easier to navigate at patroni.readthedocs.io. There are many ways to run high availability with PostgreSQL; for a list, see the PostgreSQL Documentation. Patroni is a template for high availability (HA) PostgreSQL solutions using Python. For maximum accessibility, Patroni supports a variety of distributed configuration stores
Dataloss at GitLab | PostgreSQL Blog | 2ndQuadrant
GitLab, thanks for using PostgreSQL 9.6 and its replication and backup facilities. We’re sorry that you lost your database: http://about.gitlab.com/2017/02/01/gitlab-dot-com-database-incident/ Thank you for posting this publicly to allow us to comment on this for your postmortem analysis. I’m very happy that you monitor Replication Lag, that is good. Replication lag of 4GB is at times normal, so s
PostgreSQL 超入門 第1回 | Let's POSTGRES
この記事は、PostgreSQL とは何か、リレーショナルデータベースとは何かをわかりやすく説明するためのものです。 もしあなたがデータベースについて聞いたことがない、あるいは、言葉くらいしか知らないのであれば、そして、これからデータベースに関わっていくのであれば、ぜひこの記事を注意深くお読みいただきたいと思います。 記事の記述内容で分かりにくい、不適切な部分、もっと知りたいことなどございましたら、ぜひ著者までご一報下さい。なるべく早い時期にこの記事に反映したいと思います。 【第１回】データベースとデータベース管理システム 1.1 データベース管理システムが扱うデータ 1.2 データーベース管理システムとアプリケーション 1.3 データベース管理システムはデータベースを守る 1.4 データベースを使うと何人もの人が同時にデータベースを使える 【第2回】PostgreSQL って何？ 【第3
PostgreSQL-OCaml - PostgreSQL Bindings for OCaml
Skip to the content. PostgreSQL-OCaml - PostgreSQL Bindings for OCaml Overview PostgreSQL-OCaml is an OCaml library that provides a type-safe interface to PostgreSQL, a reliable and efficient open-source relational database. It replicates almost all functionality available through the C-API (libpq) using objects to represent database connections and query results. Usage The OCaml API, detailed in
pgocaml
PG’OCaml provides an interface to PostgreSQL databases for OCaml applications. It uses Camlp4 to extend the OCaml syntax, enabling one to directly embed SQL statements inside the OCaml code. Admins: user156 Members: user156 user174 Releases Registered: 2011-09-15 13:40:06 Archived data: 1 open bugs 0 open feature requests 1 mailing list 1 VCS 11 released files
PostgreSQL 9.6 に関する技術情報
このページでは PostgreSQL 9.6 （2016年9月29日リリース）に関する技術情報をお届けします。 本ドキュメントは PostgreSQL のリリースノートを元に弊社で解説を加えたものです。 バージョン9.6の主な拡張点 バージョン9.6での主な拡張箇所は以下の通りです。 シーケンシャルスキャン、結合、集約のパラレル実行に対応しました。 自動VACUUMは古いデータを繰り返しスキャンしなくなります。 同期レプリケーションで複数スタンバイサーバが可能になりました。 全文検索でフレーズ（隣接した複数語）の検索に対応しました。 postgres_fdw がリモートでの結合、ソート、UPDATE、DELETE に対応しました。 特に複数CPUソケットサーバでのスケーラビリティにおいて性能改善しました。 バージョン9.6への移行/互換性のない変更点 pg_stat_activityビュー
(EN) GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
An article for none-Japanese readers.... What I'm recently working on is a feature to load data blocks from NVMe-SSD to GPU using peer-to-peer DMA. It allows to bypass the CPU/RAM under a series of data loading process, thus, also allows to reduce number of expensive data copy. Once data blocks are loaded onto the GPU's RAM, we can process individual records within the blocks, by thousands process
[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよ - Qiita
■ 現行設定確認 # cat /sys/kernel/mm/transparent_hugepage/defrag ⇒alwayであれば対象 ■ あれ？sys高いなと思ったときに打つ # perf top ⇒以下のように出たらすぐにTHPのdefrag設定を見直しましょう ～～～ Samples: 2M of event 'cycles', Event count (approx.): 908733026153 42.59% [kernel] [k] compaction_alloc ←★これ (圧縮_再配置) 8.09% [kernel] [k] __reset_isolation_suitable 2.32% [kernel] [k] compact_zone ... ～～～ 起きたこと CPU使用率のsysが張り付く postgresの処理が止まる postgresのプロセスが大量
![[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d99eedfe105353b4bd6d0d9383bac1265c65f3c1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTIwNzA3JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzE0NjY5P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWJkOWIyOTkxM2I4ZWU4NDBjNDIzZDc3MzBmNWI1ZDRi%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D31e7577f4567f1c088521ced8e6b3a16%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcG9zdGdyZXMlNUQlRTUlQTQlQTclRTUlQUUlQjklRTklODclOEYlRTMlODMlQTElRTMlODMlQTIlRTMlODMlQUElRTMlODElOEIlRTMlODElQTRPUyVFMyU4MSU4Q1JIRUwlMjhDZW50T1MlMjk2JUU3JUIzJUJCJUUzJTgyJTkyJUUzJTgxJThBJUU0JUJEJUJGJUUzJTgxJTg0JUUzJTgxJUFFJUU2JTk2JUI5JUUzJTgwJTgxVEhQJUUzJTgxJUFFZGVmcmFnJUUzJTgxJUFGJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgxJTlGJUU2JTk2JUI5JUUzJTgxJThDJUU4JTg5JUFGJUUzJTgxJTg0JUUzJTgxJUE3JUUyJTgwJUE2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MmEzMTJiYzUxNWU3ZjM5ODE3YmMyMzFmNzZkNTAxZmM%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBNb3JpaGF5YSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTE2MWRiNWM2YTc5MTM5YzQwM2NhN2Q4MjM2YzVkMzVk%26blend-x%3D242%26blend-y%3D454%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26txt64%3DaW4gQUVPTg%26txt-x%3D242%26txt-y%3D539%26txt-width%3D838%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D28%26s%3D0d73d5d075dd1795440e307bf0f2f45c)
GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
前回の動いた！SSD-to-GPU Direct DMA - KaiGaiの俺メモの記事では、Intel SSD 750とNVIDIA Quadro K1200を使って、Raw-I/OでのSSD-to-GPU Direct DMAが動くところまでを紹介した。 この時点で測定できたSSD-to-GPU Direct DMAのスループットは概ね1400MB/s程度で、VFS経由のスループット1100MB/sを約20%程度上回るものであった。 ただ、Quadro K1200のスペックは以下のようなもので、お世辞にもハイパフォーマンスを期待して使用するタイプのカードではない。*1 チップ GM107GL (CC5.0) CUDAコア数 512コア, 1000MHz メモリ容量 4GB GDDR5 メモリ帯域 80GB/s, 128bit という事で、同じくGPUDirect RDMAに対応した T
Uber's move away from PostgreSQL
VP, Chief Database Scientist @ EnterpriseDB, PostgreSQL Major Contributor and Committer Last week, a blog post by an Uber engineer explained why Uber chose to move from PostgreSQL to MySQL. This article was widely reported and discussed within the PostgreSQL community, with many users and developers expressing the clear sentiment that Uber had indeed touched on some areas where PostgreSQL has room
目次
Windows+Apache＋PHP＋PostgreSQLによるWebアプリケーション －入門編－ 目次 第１章 PostgreSQL8.0のインストール １．１ 概要 １．２ Windowsユーザアカウントpostgresの作成 １．３ PostgreSQL8.0のダウンロード １．４ PostgreSQL8.0のインストール １．５ PostgreSQL8.0の起動と停止 第２章 pgADMINⅢによるPostgreSQLの操作 ２．１ pgADMINⅢの起動・ログオン ２．２ グループ・ユーザの作成 ２．３ データベースの操作 ２．４ テーブルの操作 ２．５ データの操作 第３章 ｐｓｑｌによるPostgreSQLの操作 ３．１ psqlの基本操作 ３．２ データベースの操作 ３．３ テーブルの操作 ３．４ データの操作 ３．５ 表結合と相関名 ３．６ 副問い合わせ 第４章 Apac
» PostgreSQL トレーニング - 株式会社SRA OSS
SRA OSS では、OSS-DB Exam (オープンソースデータベース技術者認定試験) 認定校第1号ならではの充実した内容で、レベルの高い講師陣によるトレーニングコースをご用意しています。 各受講者のレベルに合わせたコースで、OSS-DB 試験にも対応した内容となっておりご好評をいただいております。 PostgreSQL を初めて導入される方から、内部構造を解説するものまで、幅広いコースを用意しています。 また、長年の経験を凝縮したオリジナルのテキストを使用、経験豊かなエンジニアが講師を務めます。 PostgreSQL 導入トレーニングとPostgreSQL 運用管理トレーニングは、OSS-DB Exam に対応しており、OSS-DB Silver / Gold 認定の取得を目指している方にもぜひお勧めのトレーニングコースです。 PostgreSQL とは？ PostgreSQLは代表
initd.org psycopg1
Psycopg is the most popular PostgreSQL adapter for the Python programming language. Its core is a complete implementation of the Python DB API 2.0 specifications. Several extensions allow access to many of the features offered by PostgreSQL. The psycopg3 project is currently under active development. Sponsoring this project will help achieve swift completion and ensure the maintenance of psycopg2,
PostgreSQL側から見たMySQLとのレプリケーション比較、そのに | キムラデービーブログ
前回ご紹介したブログエントリでは、その後我らがNippondanjiさんがコメントで斬りかかり、比較の深度が増しました。(未見の方は是非ご参照ください) そのコメントの終盤に参加したInterDB鈴木さんが、新たに二つのエントリをポストしたので、ここでご紹介します。 PostgreSQLユーザのためのMySQLバイナリログ・レプリケーション講座 MySQLユーザのためのPostgreSQL:WALログとレプリケーション講座 オープンソースデータベース界の両刀遣い(笑) 鈴木さんはMySQLとPostgreSQLの両方に深い見識をもたれているので、上記の二つのエントリで非常に有用なレプリケーション比較となっています。 PostgreSQLユーザも、MySQLユーザも、是非参照して「データベースレプリケーション」の見識を深めてください(ってFirebirdも参加せねばならぬなw) 以下は、鈴木
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel test with PostgreSQL in Clojure — (def ayalog '())