PostgreSQL Index Only Scan 奮闘記 その3 | TECHSCORE BLOG | TECHSCORE BLOG
どうも。村上です。 今回で3回目のPostgreSQLです。 今はこんな感じです。 追記型アーキテクチャ バキューム Visibility Map ← 前回ここまで プラン演算子 ← 今回ここ Index Only Scan では「プラン演算子」いってみよう！！ プラン演算子？？？ プラン演算子ってあまり聞きなれないですけど、簡単に言うと「explain」したら出てくるアレです。 =# explain select * from users; QUERY PLAN ------------------------------------------------------------------- Seq Scan on users (cost=0.00..385179.80 rows=10010480 width=190)
contribモジュールを使ってみよう
PostgreSQL Advent Calendar 2012（全部俺）のDay 2です。 今日はcontribモジュールの使い方についてです。 ■contribモジュールとは PostgreSQLには「contrib」と呼ばれるモジュールがあります。 これは、PostgreSQLのソースコードと一緒に配布されているものの、明示的にコンパイルしてインストールしないとデフォルトではインストールされないという、PostgreSQL周辺の拡張モジュールや便利ツールです。 以下のような感じで、ソースディレクトリの中のcontribというディレクトリ内にいろいろと並んでいます。 [snaga@devsv02 postgresql-9.0.8]$ ls aclocal.m4 config.status* contrib/ GNUmakefile INSTALL src/ config/ configu
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgreSQL 9.4 の JSON サポートについて - Qiita
PostgreSQL 9.4 で JSON 関連機能が強化された。 jsonb 型の追加 jsonb 関係演算子の追加 GIN インデックスの jsonb サポート JSON サポート関数の拡充 以前 PostgresSQL 9.3 の JSON サポートについてまとめた。 本稿はその続編であり、PostgreSQL 9.4 になって JSON どう進歩したのかをユーザ視点で検証したい。（また長いんだこれが） 修正リクエストは歓迎します。 なお本稿では、大文字の JSON はその書式やデータを表し、PostgreSQL の型を指す場合に json や jsonb のように小文字を使って区別する。検証は素でソースビルドした beta2 版の PostgreSQL 9.4 を仮想環境上の CentOS 7 上で行った。 jsonb 見参 9.4 で追加された jsonb 型は JSON テキス
PostgreSQL 9.3 の JSON サポートについて（長いよッ） - Qiita
Postgresql 9.3でJSON関連のサポートが強化されている。 JSON型 （>=9.2） JSON演算子 (読み込み専用アクセッサ) JSONサポート関数 (JSON データ変換) 9.3リリースの目玉機能だが、使ってみた人が少ないのか一向に情報が上がってこない。 ドキュメントを見てもなんだか面倒くさそうで自分から使う気は起きない。 実際の使い勝手はどうなのか、たまたま開発で触る機会があったのでまとめておく。 PostgreSQL自体そんなに詳しいわけではないので、間違いがあったら突っ込んでほしい。 追記: PostgreSQL 9.4 のリリースで jsonb の登場するなど状況がかなり変わっている。 9.4 ついてもフォローしたので参考にしてほしい。 PostgreSQL 9.4 の JSON サポートについて PostgreSQL JSON の応用メモ テーブルデータをJS
大量のデータを高速に投入するには — Let's Postgres
FORCIA, Inc. 板垣 貴裕 PostgreSQL に大量のデータを高速に取り込む方法を紹介します。 COPY という専用のコマンドを使うと INSERT よりもずっと高速です。 また、COPY を使う際にひと工夫すると、さらに速くなります。 高速にデータをロードするコマンド INSERT の代わりに COPY FROM を使う PostgreSQL には COPY FROM という大量データ取り込み専用のコマンドがあります。 COPY コマンドは外部からタブ区切り (.tsv) やカンマ区切り (.csv) のファイルを読み込める上に、INSERT よりもずっと高速です。 同様に、pg_dump コマンドも -d や --inserts オプションを付けると INSERT を並べたダンプファイルを作ってしまいます。 オプションを付けないデフォルトでは高速な COPY 形式なので、
ツールをちょい足ししてPostgreSQLの運用を楽にする
Copyright © 2014 TIS Inc. All rights reserved. ツールをちょい足しして PostgreSQLの運用を楽にする ～ pg_monz, fluentd 他 ～ 中西 剛紀 Copyright © 2014 TIS Inc. All rights reserved. 2 自己紹介 • 氏名 : 中西 剛紀 (なかにし よしのり) • 所属 : TIS株式会社 戦略技術センター • 主な活動領域 : PostgreSQL全般 – 日本PostgreSQLユーザ会(JPUG) 勉強会でたまに講演しています http://www.slideshare.net/naka24nori/jpug25 – PostgreSQLエンタープライズコンソーシアム (PGECons) • お仕事 : 社内でOSSを活用する支援 Copyright © 2014 TIS I
PostgreSQLのログをFluentdで収集する - Tech-Sketch
PostgreSQLの運用管理にログの情報は不可欠ですが、PostgreSQLが出力するログは直接取り扱うのに適した形式とは言えません。ここではFluentdを使って運用管理に活用しやすい形にPostgreSQLのログを加工する方法を紹介します。 PostgreSQLの運用管理とログ データベースの運用管理には 死活監視、リソース監視 性能分析、チューニング バックアップ、リストア といったものが考えられますが、現状を把握しなければ何も対策できないので、まずは必要な監視を正しく行うことが重要です。PostgreSQLで監視に使える機能には稼働統計情報とログがありますが、今回はログに注目してみます。 PostgreSQLのログからわかること PostgreSQLが出力するログからは以下の様なことがわかります。 何らかの異常(エラー)が発生したこと 処理されたSQL チェックポイント、自動VA
シーケンス操作関数
シーケンス関数により操作されるシーケンスはregclass引数で指定され、そしてそれはpg_classシステムカタログ内のシーケンスのOIDに過ぎません。手作業でOIDを検索してはいけませんが、regclassデータ型の入力変換器が代わってその作業を行ってくれます。リテラル関数のように見えるするようにするため、単一引用符で括られたシーケンス名を記述するだけです。通常のSQLの名称での操作との互換のため、文字列はシーケンス名が二重引用符で括られている以外、小文字に変換されます。よって、以下のようになります。 nextval('foo') operates on sequence foo nextval('FOO') operates on sequence foo nextval('"Foo"') operates on sequence Foo 必要であれば、以下のようにシーケンス名をスキ
PostgreSQLエンタープライズ・コンソーシアムセミナーで発表してきました
大阪で開催された「第7回PostgreSQLエンタープライズ・コンソーシアムセミナー」でPostgreSQLの事例を発表してきました。 発表の機会をいただき、ありがとうございました！ PostgreSQLエンタープライズ・コンソーシアムセミナー ～2013年度活動成果発表会～【in大阪】 僕が働いている会社では2007年からERPのサービスを開発・運用しています。 サービスローンチ時点ではオンプレミス環境(国内データセンター) + Oracleでしたが、 2010年にPostgreSQLに移行し、2013年からはデータセンターからAWSに移行を始めています。 インフラやミドルウェアを改善していった過程や、OracleからPostgreSQLへのマイグレーション時に行ったソース改修、 データ移行、運用管理などをお話させて頂きました。 僕は MySQL Casual Talks を主催されてい
PostgreSQL 編13 - 文字関数、連結、空白削除、置換、切出、検索、長さ、数値 - SAK Streets
PostgreSQL 編13 - 文字関数、連結、空白削除、置換、切出、検索、長さ、数値 ■文字列連結 ・「||」演算子で文字列の結合を行う。 concat() 関数は、PostgreSQL では使用できない。 select 'abc' || 'def'; ?column? ---------- abcdef select key || data1 from testm; ■chr 文字変換 ・chr() 関数は、コードに該当する ASCII 文字を返す。 この例では、「1」と言う文字が返る。 select chr(49); chr ----- 1 ■ascii コード変換 ・ascii() 関数は、文字に該当する ASCII コードを返す。 この例では、「49」と言う数字が返る。 select ascii('1'); ascii ------- 49 ■小文字化 ・lower() 関数は
PostgreSQLとOracle Databaseそれぞれの特徴
PostgreSQLとOracle Databaseのアーキテクチャ構造 本シリーズの最終回は、PostgreSQLと、商用RDBMSとして普及しているOracle Databaseとの違いについて簡単にご紹介していきます。 「第1回：PostgreSQLの概要とアーキテクチャ」で、PostgreSQLアーキテクチャの概要図を説明しましたが、PostgreSQLとOracle Databaseは同じような役割を担ったプロセスやファイルで構成されていることがわかります（表1および表2参照）。 また、図1にあるプロセスとデータベース構成ファイルを解説すると、以下のようになります。 クライアントから接続要求を受けてデータベースと通信するためのプロセスを起動する。 クライアントからのSQL要求を処理するプロセスが、ディスク上にあるデータをメモリ上に保持する。 メモリ上の変更内容は専用のプロセスによ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通研、PostgreSQLの分析処理を50倍以上高速化できる技術を開発
PostgreSQLクエリ実行の基礎知識 ～Explainを読み解こう～
[pgsql-jp: 32094] Re: COPYコマンドによる timestamp 型データのインポート
cswiki.jp - このウェブサイトは販売用です！ - cswiki リソースおよび情報
LOG: unexpected EOF on client connection
インデックスの種類
インデックスの種類
Using regex in WHERE in Postgres