PostgreSQL Internals
本コンテンツは、2014年1月30～31日に筑波大学で開講された「情報システム特別講義D」における講義「Inside PostgreSQL Kernel」の内容を再構成、加筆・修正したものです。 はじめに 本コンテンツについて 本コンテンツへのフィードバックについて アーキテクチャ概要 PostgreSQLの構成要素 PostgreSQLの基本的なアーキテクチャ SQL文の処理される流れ トランザクション管理 トランザクション処理におけるACID特性 各レコードの可視性の管理 Atomicity（原子性）の実装 Consistency（一貫性）の実装 Isolation（分離性）の実装 トランザクション分離レベルの定義 Durability（永続性）の実装 チェックポイント メタデータ管理 pg_controlファイル OID/XID/TID システムカタログ MVCCとストレージ構造 テ
シーケンスの代わりにuuidをIDとして使う
stop using numbers as IDs. just use UUIDs. seriously — Postgres: The Bits You Haven’t Found by pvh UUID の違い v1 Generate a UUID from a host ID, sequence number, and the current time. v3 Generate a UUID from the MD5 hash of a namespace UUID and a name. v4 Generate a random UUID v5 Generate a UUID from the SHA-1 hash of a namespace UUID and a name. この内、ID として利用できるのは v1 と v4 の2つ。v1 は最後 48 ビットがハード固有のノー
［速報］Amazonクラウド、PostgreSQLをDBaaSで提供。Amazon RDS for PostgreSQLをリリース。AWS re:Invent 2013
［速報］Amazonクラウド、PostgreSQLをDBaaSで提供。Amazon RDS for PostgreSQLをリリース。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」。2日目の基調講演に登壇したのは、同社CTOのWerner Vogels氏です。 Vogels氏はAWSにおいて新サービスや新機能の投入が加速していること、その開発は利用者のメリットをシンプルに表すプレスリリースを書くことが最初のステップであり、チームはピザ2つ分で済む少人数で構成される、といった同社独特の規律について触れた後で、新サービスであるAmazon RDS PostgreSQLを発表しました。 Amazon RDSはクラウド上でデータベースをサービスとして提供するもので、データベースのバックアップ、パッチの適応、自動フ
GrowthForecastでパフォーマンス情報を可視化する
PostgreSQL Advent Calendar 2012（全部俺）のDay 11です。 最近、ちょっとした可視化ブームが訪れております（個人的に）。 運用管理を可視化するツールやプラグインもいろいろと公開されている昨今ですが、個人的にはちょっと前から「GrowthForecast」というツールが気になっていましたので、今回はこれを使ってPostgreSQLを可視化してみようと思います。 ■「GrowthForecast」とは何か 「GrowthForecast」は @kazeburo氏 の開発したグラフツールです。単独でWebサーバとして動作し、WebAPIを経由して可視化すべきデータの登録を受け付け、HTTPリクエストでグラフ化された画像データを取得することができるソフトウェアです。 GrowthForecast - Lightning fast Graphing / Visual
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
pg_reorg: Project Home Page
pg_reorg は PostgreSQL のテーブルを再編成するシェルコマンドです。 共有ロックや排他ロックを取得しないため、再編成中であっても行の参照や更新を行うことができます。 このモジュールは CLUSTER や VACUUM FULL コマンドのより良い代替になります。 この pg_reorg プロジェクトは PostgreSQL コミュニティによる pgFoundry の中のプロジェクトです。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 ドキュメント ドキュメントはこちら。 実行時間 pg_reorg とclusterdb の比較に示します。 断片化のないソートされた状態 (not fragmented) では clusterdb のほうが高速ですが、完全に断片化した状態 (fully fr
Create new page · t-matsuo/resource-agents Wiki
Attach files by dragging & dropping, selecting or pasting them. Uploading your files… We don’t support that file type. Try again with a GIF, JPEG, JPG, MOV, MP4, PNG, SVG or WEBM. Attaching documents requires write permission to this repository. Try again with a GIF, JPEG, JPG, MOV, MP4, PNG, SVG or WEBM. We don’t support that file type. Try again with a GIF, JPEG, JPG, MOV, MP4, PNG, SVG or WEBM.
待望のPostgreSQL 9.2は大幅性能アップするのか？（1/2） － ＠IT
Database Watch 2012年3月版 待望のPostgreSQL 9.2は大幅性能アップするのか？ PostgreSQL Conferenceではコミッターから次期バージョン9.2の紹介がありました。従来のボトルネックを解消し、性能の大きな飛躍が期待できそうです。また3月には、IBMデータ分析ソフトウェアの2つの新製品が発表になりました。 PostgreSQL 9.2では大幅な性能アップが実現するか 2月24日、日本PostgreSQLユーザー会（JPUG）が毎年恒例の「PostgreSQL Conference」を開催しました。JPUGのサイトには講演資料の一部が公開されています。基調講演では、EnterpriseDB Senior Database ArchitectのRobert Haas（ロバート・ハース）氏（写真）が次期バージョンとなるPostgreSQL 9.2を紹介
postgresql(同期レプリケーション)+pacemaker+corosyncでsecondaryが復帰しない状態の簡単な対処方法 - smellman's Broken Diary
postgresql 9.1.2(同期レプリケーション) + pacemaker + corosync ではまりました。 環境は CentOS 6.2, pacemaker-1.1.6(CentOS付属), corosync-1.4.1(CentOS付属), postgresql91-server-9.1.2(PGDG) + PostgreSQL 9.1 ストリーミングレプリケーション対応 リソースエージェントです。 わかりやすくpg01が最初のprimary、pg02が最初のsecondaryとします。 pg01のcorosyncを落とす pg02がprimaryに昇格(これはOK) pg01のcorosyncを起動するとpostgresqlの起動に失敗する この直後にはこんなログ。 LOG: parameter "synchronous_standby_names" changed t
pg_upgrade | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 笠原 辰仁 はじめに PostgreSQLでは、定期的なバージョンアップが行われます。バージョンアップには2種類あり、バージョン名 (x.y.z) の x または y が変化するメジャーリリース (8.3 → 8.4) と、z が変化するマイナーリリース (8.3.6 → 8.3.7) です。メジャーバージョンがアップするとDBクラスタの互換性がなくなるため、pg_dump等によるダンプを行い、新版のDBクラスタにデータをリストアする処理が必要です。 このダンプの取得とリストアは、非常に大きなデータを持つシステムでは長時間かかるため厄介でした。この作業が面倒で、古いバージョンを使い続けている方も多いのではないでしょうか？このようなダンプやリストア処理を不要にし、使用中のDBクラスタをそのまま新しいバージョンのPostgreSQLでも使い続けられるよ
PostgreSQL 9.1 の新機能—Let's Postgres
PostgreSQL 9.1.0 が 2011年9月12日にリリースされました。 最新版のバイナリやソースコードは "ダウンロード用ページ" で配布されています。 9.1 では、9.0 で新規に採用されたレプリケーション機能の使い勝手の強化の他、外部のファイルや DB に直接アクセスできる SQL/MED や、拡張モジュールの管理機能など、さらなる強化が行われています。 互換性に関する注意 最初が注意になってしまいますが、以前のバージョンとの互換性の無い設定がデフォルトに変更されています。比較的多くのアプリケーションで問題になる可能性があるため、あえて強調して注意させてもらいます。 standard_conforming_strings のデフォルトが on に変更 standard_conforming_strings = on がデフォルトになりました。E'...' 形式でない文字列内
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Redmine + CVS + PostgreSQL で invalid byte sequence - honeplusのメモ帳
またまた、Redmine + CVSで、文字コード絡みの話（汗 バージョンは引き続き0.8.4。CVSサーバーがCVSNTで、DBがPostgreSQL 8.4。 今回のは内容的にこういう構成じゃない人には関係ない（？）と思われる。 現象としては、CVSに日本語のファイル名が含まれる場合に、DB周りで下記のようなエラーが発生して、Redmineのリポジトリとして使用できないというもの。 ActiveRecord::StatementInvalid (PGError: ERROR: invalid byte sequence for encoding "UTF8" : 0x82 HINT: This error can also happen if the byte sequence does not match the encoding expecte d by the server, w
Postgres-XC
Postgres-XC is a write-scalable synchronous multi-master PostgreSQL cluster with the following features. 1) Both read and write scalability. 2) Configured with more than one server. 3) Complete global transaction and visibility management. Features Read/Write ScalabilitySymmetric (multi-master, synchronous) clusterTransaction management and consistent tuple visibilityParallel transaction execution
NTTと米EnterpriseDB、PostgreSQLクラスタ技術を開発
日本電信電話株式会社（NTT）と米EnterpriseDBは5月19日、トランザクション処理性能をスケールさせるPostgreSQLクラスタ技術「Postgres-XC（eXtensible Cluster）」を共同開発し、オープンソースとして公開した。 従来のオープンソースデータベース（DB）のクラスタ技術では、「DBサーバーを複製してデータ参照性能を向上することはできたが、ノードをまたがったトランザクション管理の仕組みが不十分なため、データ更新性能の向上は困難だった。つまり、データ変更を伴うトランザクションの多い業務アプリケーションでは性能向上に限界があり、クラスタ構成用にアプリケーションの変更や再設計が必要となるケースがあった」（NTT）という。 Postgres-XCでは、DBサーバー間で共通してトランザクションを管理する技術を導入することで、データ更新性能を向上。アプリケーション
PostgreSQL 9.0 のその他の新機能 | Let's POSTGRES
この記事では、PostgreSQL 9.0 の概要記事だけでは紹介しきれなかった、9.0のその他の新機能についてまとめています。 SQL 構文の強化 string_agg 文字列を連結して集約する string_agg 関数が追加されました。 以前のバージョンでも array_agg + array_to_string で同じ結果が得られますが、より高速です。 他のデータベースにも同様の関数はありますが、MySQL では group_concat()、Oracle Database では listagg() と名前は異なります。 =# SELECT array_to_string(array_agg(t), '+'), string_agg(t, '+') FROM tbl; array_to_string | string_agg -----------------+----------
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PGDG apt repository for Debian/Ubuntu
PostgreSQL Query Cache - "pqc"
Google Code Archive - Long-term storage for Google Code Project Hosting.