PostgreSQLの内部構造と監視の話 - そーだいなるらくがき帳
Geeks Who DrinkとPostgreSQL Conference Japan 2017での資料です。 nulab.connpass.com PostgreSQL Conference Japan 2017 (2017-11-03) | 日本PostgreSQLユーザ会 詳しく知りたい人は下記の本がおすすめです。 ただし注意点は9.3相当なのでプロセスの仕組みがちょっと違います。 待望の新刊出ました！10系ベースなのでぜひ読んでみてください。 ※2018/10/07 追記 読み応えのある内容になったかなと思います。レベル感で言えばOSS DB Goldの試験出る範囲です。特に内部構造は覚えて置いて損は無いでしょう。 speakerdeck.com 内部構造の中で取り扱っていないところにAUTOVACUUM、TOASTとレプリケーションがあります。AUTOVACUUMはPostgre
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
[PostgreSQL] よく使うコマンドまとめ | DevelopersIO
はじめに PostgreSQL始めました。 Mysqlの感覚でPostgreSQLを触るとコマンドが違うことが多いので、その都度Google先生に教えてもらいました。 PostgreSQLのコマンドがまとまっているサイトを見つけられなかったので、自分用にメモしていたものを公開します。 注) 僕がPostgreSQLでよく使うコマンドや何度も調べたコマンドのまとめです。PostgreSQL特有のコマンドのまとめではありません。 ※#から始まるコマンドはpsql内で、$から始まるコマンドはpsql外で実行するコマンドになります。 ※<TABLE_NAME>のように記述している箇所は、任意の名前を記入する箇所です。(<>は不要です) 環境 MacOS 10.10.5 PostgreSQL 9.4.5 よく使うコマンド バージョンを確認する $ psql —version # select ver
![[PostgreSQL] よく使うコマンドまとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
[SQL] SQL文の書き順 〜PostgreSQL Tutorialを使いながら解説〜 | DevelopersIO
はじめに いざSQL文を書こうと思ったけど、どこから書けばよいのか迷うことはないでしょうか？ まずはselect句から書こうかな。。 使用するテーブルはわかっているのでfrom句から。。 where句はちょっと長くなるから後回しにして。。。 などなど 長いSQL文を書く必要がある時に、どこから書けばいいのか迷う方（僕もそうです）に読んでいただければと思います。 今回ご紹介する書き方は、あくまでも僕がSQL文を書く時に気をつけている方法ですので、他にもっといい書き方・書き順がある可能性があります。 今回は順番にフォーカスしているため、個々の句についての解説は割愛します。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 実行順序 SQLが実行される順番は以下のようになっています。 FROM → WHERE → GROUPBY → HAVING → SELECT → ORDE
[PostgreSQL] サンプルのデータベースを用意する | DevelopersIO
はじめに 練習用に手頃なサンプルデータベースが欲しくなることってありますよね？ 僕の場合だとブログを書くときにサンプルが欲しくなったりするのですが、結果的にはPostgreSQL Tutorialにあったのですが、探すのに少し苦労しましたのでメモします。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 ※PostgreSQLのインストールについては割愛します。 サンプルデータベースを作る まずはPostgreSQL Tutorialからサンプルをダウンロードします。 次にサンプルデータを入れるためのデータベースを用意します。 PostgreSQL内で CREATE DATABASE dvdrental; 次にunzipコマンド先ほどダウンロードしたzipファイルを展開します。 unzip dvdrental.zip 次に同じディレクトリで以下のコマンドを叩きます。 pg
PHP + PostgreSQL カーソルを使ったデータ取得の計測 - Shin x Blog
PHP（pdo_pgsql）から PostgreSQL に SELECT 文でデータを取得する際に、カーソルを使った場合と使わなかった場合で、どのようにリソース消費（主にメモリと実行時間）の違いがあるのかを計測してみました。 検証内容 PostgreSQL テーブルに、1,000,000 件のレコードを持つテーブルを用意し、下記のようなパターンにて、PHP から全レコードを取得して、実行時間と消費メモリを計測します。カーソル利用時は、1度のフェッチで取得する件数によって計測しています。ここでは、前方向のカーソルのみ扱っています。 1) カーソル未使用 + 1 件づつフェッチ 2) カーソル利用 + 1 件づつフェッチ 3) カーソル利用 + 100 件づつフェッチ 4) カーソル利用 + 10,000 件づつフェッチ 5) カーソル利用 + 100,000 件づつフェッチ 6) カーソル利
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
PostgreSQLで異なるメジャーバージョン間のレプリケーション実験 - tom__bo’s Blog
はてなのアルバイトでmaster-slave構成のPostgreSQL(9.3.*)クラスタをアップグレードするための調査をすることになりました。 サービスの性質上できるだけ無停止でアップグレードする必要があったため、Slony-Iを使ったダウンタイムなし（もしくは最小）のアップグレードに向けて調査・実験した内容を紹介します。 背景 Slonyについて 実験内容 環境・準備 レプリケーションの作成 スイッチオーバ 今後の課題 参考 背景 PostgreSQLでメジャーバージョンをアップグレードするにはdump/restoreかpg_upgradeのどちらかの方法で行います。 しかし、このどちらもデータベースの停止が必須です。さらに、メジャーバージョン間ではシステム内のデータ形式の互換性が保証されていないため、異なるメジャーバージョン間ではレプリケーションを行うことができません。 そのため、
SIerといえばソースコードの自動生成だ！テーブルとEntityクラスを自動生成するサムシン(PostgreSQL版) - そこに仁義はあるのか(仮)
これはPostgreSQL Advent Calendar 2015 - Qiitaの記事です。 昨日はsawada_masahikoさんのPostgreSQL開発の基本動作まとめ - Qiitaでした！ SIerといえば、ソースコードの自動生成ですね！ 開発を進めていくうえで、コロコロと変わっていくテーブル構成。。。 そんな中で、まったくソースコードを触らずに（sqlもjavaも触らない！つまり誰でも！どんな人でも！！作業できる！！！） テーブル構築からデータ投入、さらにはEntityクラスを生成することが出来るツール(mavenプラグイン)を、今のプロジェクトで使っているので、それの紹介と使いかたを説明します。 いろんなDBに対応しているけど、今のプロジェクトではPostgreSQLを使っているので、今回はPostgreSQL版の使いかた説明です！*1 なお、今回使っているPostgr
PostgreSQLアンチパターン
37. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 38. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 ユーザの削除フラグを見る 39. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users
コマンドラインでPostgreSQLを操作する – psqlで効率を上げる | POSTD
私は、もう4年も毎日のようにPostgreSQLを使用しています。以前はデータベースとやりとりするためにGUIアプリケーションを用いていました。しかし今では、お気に入りのツールを使いながら効率よく作業できる、ビルトインのコマンドラインツールだけを使用しています。 本稿は、 psql というコマンドラインツールを通して実現可能なタスクを複数のセクションに分けて説明します。ここで挙げる項目は次のとおりです。 psqlの設定 ヘルプの使用 データベースが遊び場 データベースの探索 クエリの作成 出力の比較 データベースのクローン作成 データの抽出 psqlの設定 あらかじめpsqlはある程度設定されています。そのため、本稿では提供されているオプションを詳しく説明しません。psqlの使用がより楽しくなる2つのオプションについてのみ説明します。 1つ目は、データが横長でも正しくスクリーンに映し出され
PostgreSQL 9.3をCentOS 6.5へインストールして初期設定 | setup | OSS Fan
構成 想定環境 サーバ構成 OSバージョン CentOS 6.5 x86_64 パッケージ一覧 postgresql93-9.3.4-1PGDG.rhel6.x86_64.rpm postgresql93-libs-9.3.4-1PGDG.rhel6.x86_64.rpm postgresql93-server-9.3.4-1PGDG.rhel6.x86_64.rpm 環境構築 PostgreSQL 8.4のアンインストール Linuxインストール時に選択したパッケージグループによっては 始めからPostgreSQLがインストールされているケースがあります。 新旧のバージョンが競合しないように、古いバージョンを削除します。 私の環境ではPostgreSQL 8.4がインストールされていたので削除します。 # rpm -qa | grep postgres postgresql-libs-8
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
今風にPostgreSQLの開発環境をつくってみた - tehepero note(・ω<)
2015-03-24 今風にPostgreSQLの開発環境をつくってみた 最近ホットすぎるPostgreSQL界隈ですが、せっかくなので今風に開発環境を作ってみました。 PostgreSQLおさらい 近年のPostgreSQLの進歩は目覚しいものがあって、高いスケーラビリティはもちろん、アプリとの親和性の高さもあって注目度を増しています。 9.4系からはJSONBサポートに加えGINインデックスの性能強化等があって、RDBの特性を持ちながらドキュメントDBのような使い勝手を実現しています。MongoDBもびっくりですね。 ちなみにAmazon RDSにもつい最近9.4.1がサポートされましたね。 Amazon RDS for PostgreSQL support for major version 9.4.1 というわけでこんな今風なPostgreSQLを今風に環境構築してみようと思います
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（後編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（後編） NTTデータオープンソースDAY2015 PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」で紹介しています。講演内容をダイジェストにしました。 （本記事は「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編）」の続きです） 実行計画をチェックするためにPostgreSQLを騙す。 3つ目は実行計画のチェックです。PostgreSQLのSQL文はコストベースで実行されますので、統計情報を見て、テーブルをスキャン
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgreSQL で Dapper を使う - present
.NET Server Framework がリリースされたら、Mac OS X や Linux で動く .NET アプリケーションを作ることもありそう。そうなるとデータベースは PostgreSQL かなぁ。My SQL や MariaDB も捨てがたい。 どちらにしても、ORM には Dapper か Entity Framework を使うと思うので、まずは PostgreSQL と Dapper の組み合わせを試してみる。 新規コンソールアプリケーションプロジェクトに NuGet で Npgsql Dapper を追加し、Npgsql と Dapper を使ったサンプルを書いてみた。 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T
『内部構造から学ぶPostgreSQL 設計・運用計画の鉄則』、Kindleストア・楽天Koboにて販売開始。Gihyo Digital PublishingでもEPUB版を追加 | gihyo.jp
株式会社技術評論社は、『内部構造から学ぶPostgreSQL 設計・運用計画の鉄則』の電子版に関して、Amazon Kindleストアおよび楽天Koboストアでの販売を開始しました。また、Gihyo Digital PublishingにてPDFに加えてEPUBのセット販売を始めており、すでにPDFを購入した方には無償でEPUBを提供します。 長年、現場で培った設計・運用計画の鉄則！ 本書はPostgreSQL 9.3がベースとなっています。 業務システムの開発案件ではライセンス費用のかからないLinux＆PostgreSQLの組み合わせが採用されるケースが増えています。ただ、後工程になって問題が発生する試行錯誤的なシステム設計／運用計画が見受けれます。そこで本書では「設計／計画」「運用」「チューニング」についてPostgreSQLの内部構造を照らし合わせる形で解説しています。 ぜひ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL：行数推定を読み解く/row-estimation
http://kwatch.houkagoteatime.net/blog/2014/12/20/postgresql-features/
