第4章 PostgreSQL の運用に便利な機能―バックアップ、レプリケーション、パーティション、バージョンアップ | gihyo.jp
詳解 PostgreSQL［10/11対応］―現場で役立つ新機能と実践知識 第4章PostgreSQL の運用に便利な機能―バックアップ、レプリケーション、パーティション、バージョンアップ バックアップとリストア──転ばぬ先の杖 最終章は運用についてです。 運用でまず重要なのは、バックアップとリストアです。データの死はサービスの死と言っても過言ではありません。PostgreSQLのバックアップとリストアを学んでいきましょう。本節では、はじめにRDBMSのバックアップの種類とリストアの設計をおさらいします。そのあと、PostgreSQLでのバックアップツールや勘どころを紹介します。自分のバックアップのやり方を見なおす機会にご活用ください。 そのあとの節では、運用で役立つレプリケーション、パーティション、バージョンアップ、日本語ドキュメントについて解説します。各節を通して、Pos
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
Tune Linux Kernel Parameters For PostgreSQL Optimization
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
Replication from Percona Server for MySQL to PostgreSQL using pg_chameleon
Replication is one of the well-known features that allows us to build an identical copy of a database. It is supported in almost every RDBMS. The advantages of replication may be huge, especially HA (High Availability) and load balancing. But what if we need to build replication between 2 heterogeneous databases like MySQL and PostgreSQL? Can we continuously replicate changes from a MySQL database
稼動統計情報を活用しよう(2) | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 笠原 辰仁 稼動統計情報を取得してみよう では、実際に稼動統計情報を取得してみましょう。稼動統計情報は、PostgreSQLのテーブルやビューの形で提供されています。pg_stat_* という名称のテーブル/ビューがそれらに当たります。そのため、取得にはSQLを用います。なお、psqlの\dコマンドなどでpg_stat_*のビュー定義を見てみると、pg_stat_get_*() 関数で各種情報が取得されていることが分かると思います。稼動統計情報を直接取得するには関数を使うのですが、それをビュー経由でユーザが閲覧できるようになっています。本項では、pg_stat_*で提供されているビューを読み解いていくことにします。 それでは、前ページの冒頭で紹介した情報について具体的に解説していきます。下記は稼動統計情報の中でも多用される情報ですので、覚えておくと
PostgreSQLのオンラインバックアップとリカバリ
自宅のサーバについて日次バックアップしたいなぁと考えていて、 そのバックアップ対象となるのがデータベースであるPostgreSQLということになりました。 Postgresはオンラインバックアップに対応しています。 ということで、オンラインバックアップをしてみたのと、 リカバリまで試してみました。そのまとめ。 バックアップの方式としてはpg_dumpコマンドを用いたものもオンラインでできるのですが、 WALアーカイブを用いたバックアップを試してみることにしました。 簡単に仕組みを説明しておくと、Postgesはデータベースの更新時、 トランザクションのログ、WALを残してから実行します。 そうすることで、データベースがクラッシュしてもWALを追うことで、リカバリできる仕組みになっています。 WALアーカイブとは、一定のタイミングでそのWALを別の場所にアーカイブしておく仕組みです。 例えば
PostgreSQL 実行されたSQLをログに出力(システム全体の設定)
PostgreSQLで実行されたSQLをログに出力する方法を以下に示します。 また、これを元に設定値の参照、変更についても説明していきます。 ブックメーカーへの投資でお金を稼ぐ方法と、ベッティングのヒントを学ぶ場所は？ ※データベース単位で設定を行う方法については、当サイトのPostgreSQL 実行されたSQLをログに出力(データベース単位の設定)をご覧ください。 ※データベース接続ユーザー単位で設定を行う方法については、当サイトのPostgreSQL 実行されたSQLをログに出力(データベース接続ユーザー単位の設定)をご覧ください。 ※ここで説明に使用しているPostgreSQLは、当サイトのCentOS7 64bitのyumリポジトリにPostgreSQLを追加し、最新バージョンをインストールのページを元にインストールした、バージョン9.4になります。 ※データベース接続ユーザーの作
Docker構成のMastodonに後からpgBouncerを組み込む - たていすのメモ2
背景 mastodon.juggler.jp はここ数日はサーバの人数1100〜1050、1日間のアクティブユーザ270人くらいで人数はあまり変わってません。しかしユーザ間のフォローが増えるにつれて、発言、ブースト、お気に入りで発生するFan-outが大量にsidekiqのキューに積まれるのが目立ってきました。特にdefaultキューに処理が溜まるとユーザへの応答性が低下します。 Push通知は計算よりも通信待機が多いのでキューを処理するスレッドを増やすのが効果的です。 それに必要なのがCPU、メモリ、そしてDBサーバへの接続数です。 今回はDBサーバへの接続数を稼ぐために、DBサーバとアプリケーションの間にpgBouncerを設置してみます。 期待される効果 Docker構成のMastodon で使われているDBサーバの初期設定では max_connectionが100 になっていますが
(レポート) AWS Online Tech Talks : PostgreSQL互換Amazon Aurora #awsblackbelt | DevelopersIO
はじめに 本記事は2017/01/16にオンラインで開催されたウェビナー(AWS Online Tech Talks)"PostgreSQL Compatibility for Amazon Aurora"のレポートです。 講師はAWSの以下の2名です Mark Porter(PostgreSQL互換AuroraのとRDS PostgreSQLのGeneral Manager) Kevin Jernigan(PostgreSQL互換AuroraのSr. Product Manager) 発表資料 Slideshare YouTube アジェンダ Why did we build Amazon Aurora? PostgreSQL Fast Facts Durability and Availability Architecture Performance Results vs. Postg
PostgreSQL のパフォーマンスチューニング - Qiita
PostgreSQL Advent Calendar 2014 の 13日目です。 Advent Calendar を今年もやってみたいと思って、枠が空いていたので飛び込んでみました。 昨日は osapon さんの libpqxx を使ってみたでした。 概要 PostgreSQL のパフォーマンスチューニングは大きく下記に分かれます。 システムチューニング SQL チューニング ここでは Linux 上で動かしていることを前提に、それぞれ説明します。 システムチューニング システムチューニングの概要 システムチューニングとは、OS または PostgreSQL の設定を変更することです。 それぞれ順に説明します。 OS チューニング PostgreSQL では特にメモリ関連でOSパラメータを設定変更すると、高速化効果が得られます。 特に下記のカーネルパラメータに注意します。 vm.dirt
PostgreSQLの設定 チューニング — そこはかとなく書くよん。 ドキュメント
PostgreSQLの設定 チューニング¶ PostgreSQL when it is not your job - Christophe Pettus 経由で DjangoCon Europe 2012 で発表された このスライド を知ったので、 メモ代わりに残してみる。件のblogは抜粋なので、ここでは可能な限り全部載 せます。 最初に¶ 気をつける設定はこれだけ。 ログ メモリ チェックポイント プランナー ログ¶ ログに対して寛容になること。システムへの影響は少ない。 ログは性能問題を解決するための一番いい情報。 どこにログを出す？¶ syslog: すでにsyslogを使うシステムを構築してるならこれがいいでしょう 標準形式のファイル: 標準形式のファイルを使うツールをすでに使っていればこれ。 そうでなければ CSVフォーマット あとの設定はこれ。 log_destination
[レポート]PostgreSQLの監視運用を楽にするツールのご紹介 ～ pg_monz と fluentd ～ in OSC2015 Hokkaido #osc15do｜Developers.IO
こんにちは、せーのです。今日は昨日、今日と2日間にわたって行われている「Open Source Confference」の北海道版、「OSC Hokkaido 2015」よりPostgreSQLで監視運用を行う際のツールを速報としてレポート致します。スピーカーはTIS OSS推進室の中西 剛紀氏。 レポート 今回の動作確認 PostgreSQL9.4.3 Zabbix 2.4.5 Fluentd 0.12.7 CentOS 6.6 データベースの運用管理 目的は「DBの状態を把握して健全な状態に保つ」ため 種類 死活監視 リソース監視 性能監視/分析/チューニング バックアップ/リストア 監視が運用管理の基本なので、正しく現状を把握する POstgreSQL標準機能を使った運用 監視に使うPostgreSQLの機能 稼働統計情報 内部のアクティビティ情報を蓄積 stats_collecto
![[レポート]PostgreSQLの監視運用を楽にするツールのご紹介 ～ pg_monz と fluentd ～ in OSC2015 Hokkaido #osc15do｜Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ea97b24a571974aaf2cb80b5b357d42a728afa2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F06%2FOSC2015do_poster4dl.jpg)
GitHub - dhamaniasad/awesome-postgres: A curated list of awesome PostgreSQL software, libraries, tools and resources, inspired by awesome-mysql
Barman - Backup and Recovery Manager for PostgreSQL by 2ndQuadrant. OmniPITR - Advanced WAL File Management Tools for PostgreSQL. pg_probackup – A fork of pg_arman, improved by @PostgresPro, supports incremental backups, backups from replica, multithreaded backup and restore, and anonymous backup without archive command. pgBackRest - Reliable PostgreSQL Backup & Restore. pg_back - pg_back is a sim
キャストを追加してバージョン互換性を保つには — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 PostgreSQL 8.3 では型変換のチェックが厳密になるよう仕様変更されました。特に文字列型への暗黙の型変換が無くなったため、以前のバージョンで動作していたアプリケーションであっても 8.3 上ではエラーが発生するかもしれません。もちろん、一番確実な対応方法は、型を厳密に扱うようアプリケーションやSQLを書き換えることですが、アプリケーションの規模が大きかったり、そもそも書き換えができないケースもあるのではないかと思います。できれば、せっかく高速化された 8.3 へはバージョンアップしたいですし、互換性を保つ手軽な方法は何か無いでしょうか? 型エラーのメッセージ 型変換でエラーが発生している場合の典型的なエラーメッセージには、以下のようなものがあります。もし 8.3 へのバージョンアップ後にこれらのエラーが出力されるようならば、キ
MySQLユーザーのためのPostgreSQL対応表 - かみぽわーる
毎回わからなくなってググってるから今度からここに追記していく。 MySQL PostgreSQL SHOW DATABASES; \l USE dbname \c dbname SHOW TABLES; \dt SELECT * FROM tblname\G \x on SELECT * FROM tblname; SELECT * FROM information_schema.processlist; SELECT * FROM pg_stat_activity; KILL <pid>; SELECT pg_terminate_backend(pid); KILL QUERY <pid>; SELECT pg_cancel_backend(pid); table / column の情報 MySQL PostgreSQL SHOW TABLE STATUS FROM dbname; わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パラメータの設定
Document Backup and Restore · Issue #140 · 2ndQuadrant/bdr · GitHub
PGTune - calculate configuration for PostgreSQL based on the maximum performance for a given hardware configuration
まずやっとくPostgreSQLチューニング
http://kwatch.houkagoteatime.net/blog/2014/12/20/postgresql-features/
