PostgreSQL 超入門 第3回 (3) | Let's POSTGRES
Excel の表では、行数は最大約 65,000行です。データベースの表の行数にはそのような制限はありません。何千万行でも何十億行でも扱うことができます。Excel の表はメモリ（仮想メモリが使えるので実際のメモリのサイズよりも大きい表が扱えますが）のサイズが上限ですが、データーベースの表にはそのような制限はありません。仮想メモリの数百倍、数千倍のサイズの表を作ることができます。 Excel では、処理中に PC がクラッシュしたり電源が切れたりすると、保存していない部分は失われてしまいます。 データベース管理システムでは、このようなことが起きないように、大量のデータを効率よく読み書きするだけではなく、変更の確定したデータが破壊されたり失われたりすることがないような配慮がなされています。 データベース管理システムはデータの変更が確定するたびに、データベースの変更記録（ログ）を常に保存し続け
PostgreSQL 超入門 第3回 (2) | Let's POSTGRES
ところで、Excel に出てくる表とデータベースの表では少し違いがあります。その違いを次に解説します。 データベースの表では、フィールド同士を連結したり、一つのフィールドを複数のフィールドに分割したりすることはできません。一つのフィールドに入れることができるデータは、一つです（ただし、データとして配列など、複数の値が入るように拡張してあります）（図3-2）。 図3-2 ● フィールドの分割結合はできない 行の順序には意味がありません。データベースからデータを読み出した場合、特に順序を指定しなければ、読み出される順は予測することはできません。入力した順序というわけでもありません。実際データを読み出す際には、データの順序を一定にする手段がいろいろと用意されています（図3-3）。 図3-3 ● 行の順序には意味はない 行は、それぞれのフィールドの値でだけ区別されます。したがって、図7にあるように
PostgreSQL の構造とソースツリー（２） — Let's Postgres
PostgreSQLのソースコード PostgreSQL のおおまかな構造がわかったところで、PostgreSQL のソースコードの構造を見ていきましょう。 PostgreSQL が現在の形になったときは 20 万行ほどだったソースコードは、今では 100 万行ほどあります。 これほどの量になると、闇雲にコードを読んでも理解するのは難しいでしょう。 そこでまず本稿で大まかなソースコードの構造を理解していただきたいと思います。 トップレベル PostgreSQL のソースコードを展開すると、トップレベルには表のようなファイルやディレクトリがあります。 トップレベルで configure; make; make install を行なえば、基本的なインストールはすぐにできるようになっています。 実際には、PostgreSQL のソースからのインストールは極めて容易です。 ファイル/ディレクトリ
PostgreSQL導入に向けての取り組み ～大規模システムへの適用を目指して～ (3) | Let's POSTGRES
3.2 性能面の着目点２：スケーラビリティ ここまで性能とその安定性を検証してきました。 ここでは「コストパフォーマンス」という観点から、CPU スケーラビリティに関する検証結果をご紹介します。 大規模システムでスケールアップの要求を満たせるのかという観点で、参照系トランザクションを主体に構成される TPC-W モデルを参考に作られた DBT-1 というベンチマークプログラムを用いて CPU スケーラビリティを計測してみました。 図3.2-1 IA サーバでは 16 コアまではスケールする事が確認できましたが、4 → 8 コアでのスケーラビリティに比べ、 8 → 16 コアでのスケーラビリティは低くなっており、コストパフォーマンスの観点で PostgreSQL 8.4 は 8 コアマシンで使用するのがお勧めと言えます。 また、今回ご紹介しませんが OS・ハードウェアアーキテクチャの点から、
PostgreSQL 9.2 リリース！ — Let's Postgres
※本ニュースは、石井達夫氏による紹介 を 転載させていただいています。 ※ Let's Postgres では近日、それぞれの新機能について詳しく紹介する予定です。ご期待ください！ 待望の PostgreSQL 9.2.0 がついにリリースされました。 PostgreSQL 9.2.0 では、大幅な性能改善や各種の機能追加が行なわれています。 検索性能の大幅な改善。マルチ CPU 環境では最高 64 コアまで検索性能が向上することが確認されています。 インデックスだけを見て検索を行なう "index only scan" により、 特に大規模データで数十倍の性能向上が得られる場合があります。 スタンバイサーバから更に別のスタンバイサーバにレプリケーションを行なう カスケードレプリケーション アナウンス（英語） http://www.postgresql.org/about/news/14
統合監視ソフトウェア Zabbix で PostgreSQL を監視しよう | Let's POSTGRES
(1) はじめに 本記事では、OSS 統合監視ソフトウェア Zabbix を利用した PostgreSQL の監視方法を紹介します。 (2) 統合監視ソフトウェアとは システム監視は、ハードウェアの稼働監視、CPU などのリソース監視や アプリケーション監視など多岐にわたります。 監視や監視データの保存、障害が発生したときの通知設定を一元的に行って システム監視を自動化するソフトウェアを、統合監視ソフトウェアと呼びます。 統合監視ソフトウェアを用いると、内部状態が刻々と変化するデータベースの稼働状況と OS の状態を容易に蓄積できるので、障害発生時の通知だけでなく、障害が発生する前に データベース状態を把握することで対策を取ることもできるようになります。 また過去取得したデータを元に障害発生後に原因を追究したり将来を予想するなどに 役立てることができます。 オープンソースで利用できる統合監
第三回 HOTの上手な使い方 | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 笠原 辰仁 さて、HOTシリーズの第3回目となりました。前回・前々回を通じて、HOTがどんな効果を持ち、どのように振舞うのかを見てきました。今回は、HOTを上手く使うためのコツを解説していきたいと思います。HOTの機能を上手く生かすには何が必要になるのでしょうか？次の4つのキーワードに沿って進んでいきましょう。 インデックスキーの更新は避けよう 使われないインデックスは削除しよう ページの空き領域を確保しておこう ロングトランザクションに要注意 インデックスキーの更新は避けよう！ 1つ目のコツは、「インデックスキーの更新を避ける」です。 HOTが機能するための前提として、「インデックスキーの更新が起こらない」ことが挙げられます。もちろん、必要不可欠なインデックスキーの更新処理は避けることができませんが、HOTを機能させるための条件ですので、覚えてお
WindowsでPostgreSQLを使ってみよう — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 Windows Vista へ PostgreSQL をインストールし、データベースを利用するための環境を整えます。インストールには EnterpriseDB 社のバイナリ・パッケージを使います。解説の最後で、初期設定やデータの移動に関する、よくある質問についても補足します。 インストールの流れ 最初にインストールが何を行うのかと、インストールされるファイルを整理しておきます。PostgreSQL サーバ本体に関しては、ウィザードに従えば一括でインストールされます。 ダウンロード バージョン 8.4 では、Windows 用のパッケージは EnterpriseDB 社によりメンテナンスされています。コミュニティのダウンロードページから辿れるインストーラを利用するのが手軽です。postgresql-8.4.0-1-windows.exe
PostGIS 単純なデータ処理をやってみる | Let's POSTGRES
農業・食品産業技術総合研究機構 近畿中国四国農業研究センター 寺元 郁博 はじめに PostGIS では、幾何関数やジオメトリ型を、PostgreSQL のクエリの中に混ぜ込むことができます。 WHERE 句に幾何関数を使ったり、INSERT, UPDATE 等で使用することができます。 ビューで扱うこともできます。 今回はごく簡単なデータ処理の例を示してみます。 広島県内の市区町村ごとの駅の数を数え上げて、多いところ少ないところを色分けして表示します。 数え上げまでを PostGIS で行います。 本例での前提は次の通りです。 データベース名は pgis 格納するデータは2種類 国土数値情報 (行政区域) のうち広島県 国土数値情報 (鉄道) テーブルは3つ admarea station rail (使用しません) 全テーブルのジオメトリカラム名は the_geom (shp2pgsq
PostgreSQL Conference 2014 参加レポート — Let's Postgres
今年の講演は？ 3 日目、4 日目がメインイベントといえます。キーノート講演から始まり、3 トラック全 35 講演が用意されています。PostgreSQL の主要開発者も多数演壇に立ちます。 今回のキーノート講演は、組み込みデータベースソフトウェア SQLite の開発者である Dwayne Richard Hipp による講演です。SQLite は PostgreSQL から (6.x 時代の昔にですが) 分岐して、あるいは参考にして生まれた製品なのでした。 「データベースサーバに PostgreSQL を、アプリケーション保存形式には SQLite を使おう、ところで NoSQL は屑だ」といった講演内容です。PGCon に集まるハッカーの大部分は当然のことながら YeSQL 党 (= リレーショナルデータベース派) なので、後段のくだりには会場が笑いに沸き立ちます。 PostgreS
Mac OS X で PostgreSQL を使ってみよう (2) | Let's POSTGRES
3. PostgreSQL を立ち上げてみる 順調にインストール作業は終了しました。さて実際に Mac OS X 上で PostgreSQL を立ち上げてみましょう。 Mac の「アプリケーション」フォルダを見てみると、既に「PostgreSQL」、「PostgreSQL 8.3」と言ったフォルダが作成されています。「PostgreSQL 8.3」フォルダは PostgreSQL 本体のインストール時に、「PostgreSQL」フォルダはスタックビルダで phpPgAdmin をインストールした時に作られたようです。 それでは「PostgreSQL 8.3」の「SQL Shell (psql)」を立ち上げてみましょう。 ダブルクリックすると自動的に「ターミナル」が立ち上がり、以下のようなメッセージが表示されます。 /Library/PostgreSQL/8.3/scripts/runps
PostgreSQL 9.2 の新機能 | Let's POSTGRES
最新のメジャーバージョンとなるPostgreSQL 9.2 が2012/9 にリリースされました。本記事では、PostgreSQL9.2の新機能をいくつかピックアップしてご紹介します。 9.2 では、ロックの改善やIndex Only Scanのサポートなどの性能改善をはじめ、レプリケーション機能の強化、JSON型や範囲型のサポート、ログメッセージや監視機能の充実など、多方面に渡る改良がバランスよく行われています。 性能強化 9.2ではIndex Only Scanやスケーラビリティの向上など、様々な性能強化が図られています。特に、Index Only Scanは9.2の目玉機能の一つとなっています。 Index Only Scan 読んで字の如く、インデックスのみを読むスキャン機能です。この機能により、インデックスキーの付与されている列だけを参照するSELECT処理速度がぐっと向上してい
これを読めば PostgreSQL の全てが分かる！PostgreSQL ガイドブック (2) | Let's POSTGRES
PostgreSQLの開発 PostgreSQL は、PostgreSQL Global Development Group によって開発が行われています。 PostgreSQL Global Development Group とは、PostgreSQLの開発者からなるコミュニティです。開発者は、コアメンバ、主幹開発者、その他の開発者（パッチ投稿など）の 3 層に分けることができます。コアメンバは、プロジェクト全体の取り仕切りを中心に、開発の意思決定権を持っています。ディベロッパ以下の開発者は、自分の得意分野を中心とする機能の開発などを行っているという形です。 開発者は、企業の支援を受けて開発に専念している人もいれば、純粋なボランティアとして趣味の時間を利用して活動している人など様々です。 企業が開発者の支援を行っている場合でも、その企業はソフトウェアの方向性を左右するようなことはなく、
SQLを使ってログ解析をしよう | Let's POSTGRES
各項目がカンマ区切りのテキストで1行を構成します。実際には下記のような内容です。 (注)幅の関係で1行のデータを2行に分けて記述しています。 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:03,1,277,DoSearch,sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:04,2,115,ShowList,sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:06,3,344,DoSearch,date 20100701 sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017
pgpool-II 3.2 の新機能 (2) オンメモリクエリキャッシュ | Let's POSTGRES
オンメモリクエリキャッシュとは？ 端的に言うと、SELECT の結果をメモリ上にキャッシュとして保存しておいて、 同じ SELECT がきたときに、即座にそのキャッシュした結果を返すしくみです。 キャッシュが存在する場合には、SELECT 文をパース（構文解析）したり実際に実行したりしなくなるので、非常に高速です。 以下は、この機能に関する文書です。 場合によっては、飛躍的な性能向上が見られます。 更新がそんなに頻繁でなく、apache など同じユーザが同じ SELECT をたくさん発行するようなシステムでは、 大きな効果が得られるかもしれません。 特に、それが重い SELECT である場合には、めざましい改善が期待できるでしょう。 以下はその一例のグラフで、横軸は pgbench -S -c 10 -T 10 を実行した回数、 縦軸は TPS（Transactions Per Secon
HOTの効果 (4) | Let's POSTGRES
【コラム】 ガベージの監視 DBT-1の測定でガベージ量の時間推移を見ていましたが、その方法を説明します。PostgreSQLは、取得できる稼働統計情報(DBの様々な処理の統計情報)がバージョンによって少し異なります。そのため、8.2.5と8.3.0で少々ガベージ量のチェック方法が異なります。 8.2.5の場合 8.2.5の測定では、PostgreSQLのシステムテーブルである「pg_stat_user_tables」の「n_tup_upd」と「n_tup_del」のカラムの数値をガベージ量としてしました。pg_stat_user_tablesは、DB内のユーザテーブルに関する様々な情報を記録しており。その中に、更新や削除されたタプル(レコードと同義)数を記録している数値があります。「n_tup_upd」は更新されたタプル数、「n_tup_del」は削除されたタプル数です。そこで更新または
pgpool-II 3.3 の watchdog 機能 | Let's POSTGRES
はじめに 2013 年 8 月に pgpool-II 3.3 がリリースされました。このバージョンでは、複数の pgpool-II を連携させ、可用性を高める機能である watchdog 関して、いくつか新機能が追加されました。 中でも大きな変更は、pgpool-II 間の死活監視に新しい方法が追加されたことです。 本記事では、この新しい監視方法を用いた pgpool-II 3.3 の watchdog 機能について解説します。 pgpool-II および watchdog について pgpool-II とは pgpool-II は、PostgreSQL のクライアントアプリケーションと、（複数の）PostgreSQL の間に割り込んで入る proxy のような形で利用するミドルウェアです。直接 PostgreSQL を使うのではなく、pgpool-II を経由することによって、コネクショ
HOTの仕組み(2) | Let's POSTGRES
どうしてガベージの発生量が減ったのか？ これの答えは、「常時行われる処理の中で、ガベージの回収を行うようになったから」です。PostgreSQLは、更新処理や削除処理を行った場合、古いデータは消さずに残しておきます。この古いデータ = ガベージを除去し、空き領域として再利用可能とする処理がVACUUMです。HOTは、常時実施されている SELECT, INSERT, UPDATE の処理の中で、VACUUM相当の処理をページ単位で実施するようになったのです(図5)。 図5. HOTによるガベージの掃除 しかし、これだけ見ると単純にVACUUMを細かな単位でバックグラウンド的に実施されるようになっただけに見えますね。実は、これが実現できたのは先ほどの「インデックスの不要な更新をスキップ」できるようになったからなのです。ガベージの掃除をする時に最も注意するのは、除去する行が完全に他から参照され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Search
Let's Postgres