Kazuho@Cybozu Labs: PostgreSQL のボトルネックを統計的に監視・解析する方法
先日書いた「MySQL のボトルネックを統計的に監視・解析する方法」について、PostgreSQL でも pg_stat_activity テーブルを使って実行中のクエリ一覧を取得できると higepon さんに教えてもらったので、やってみました。 % ppdump > ppdump.txt のようにクエリをサンプリング (デフォルトで100秒間程度) して、 % ppfilter < ppdump.txt | ppreport のようにすると、平均負荷の高いクエリから順にソートされて表示されます。詳しい使い方や考え方については、mprofile のエントリをご参照ください。 pprofile のソースコードは、/platform/postgresql/pprofile – CodeRepos::Share – Tracに置いてあります。負荷が高い PostgreSQL 環境が手元にないの
rubyrep: Home
Mission Development of an open-source solution for asynchronous, master-master replication of relational databases that is ridiculously easy to use database independent[1] License Released as open source under the MIT license. Status Production ready. Battle tested. Main Features Can scan two databases for differences Can sync two databases Can continuously replicate between between two databases
PostgreSQL の dump をテーブルごとに分割する pg_dump_splitter.pl - 酒日記 はてな支店
pg_dump で (-t オプションなしで) 出力したファイルは、すべてのテーブルのデータが一緒になっているわけです。 が、バックアップが必要な時って「データベース全体を復旧したい」だけではなくて、「このテーブルのデータ間違って消しちゃった(updateしちゃった)から戻したい!」みたいなことが多々ある。 ダンプが大きくなると、エディタで開いて探してコピペして……みたいなこともできなくて困る。てことで、結構前に書いたのを晒します。 Coderepos に上げてあります。http://coderepos.org/share/browser/lang/perl/misc/pg_dump_splitter/pg_dump_splitter.pl pg_dump_splitter.pl [-t tablename] [-i input_encoding] [-o output_encoding]
ここギコ！: mysqlの空間拡張対応が進んでいるよ！（C/W：Postgres使うならPostGIS使おうよ）
2009年07月08日 mysqlの空間拡張対応が進んでいるよ！（C/W：Postgres使うならPostGIS使おうよ） 同僚が見つけてくれたネタ、パクる感じで申し訳ないのですが...。 mysqlの空間拡張と言えば、空間インデックスでMBR（最小外接矩形）ベースの絞込みができるくらいで、後は沖電気さんがユーザ関数でdistance_sphere開発されたりとか、そういう感じだったんですけれども、裏ではまだベータ版ながら、大分いろんな機能が追加されてるみたいですね。 Categories: MySQLDevelopment | Software Preview | GIS Functions BUFFER(g1 geometry, d numeric) returns a Geometry defined by buffering a distance d around g1 where
PostgreSQL の PITR（ポイントインタイムリカバリ） を試してみる - higepon blog
PostgreSQL の PITR（ポイントインタイムリカバリ） を試してみる。 大まかな流れ 事前設定 WAL archive 設定 ベースバックアップの作成 事件発生！ リカバリ WAL archive の設定 通常の WAL は不要になったら（commit/abort 時に）消えてしまうのだが、PITR のために archive directory にためるような設定にする。 通常は耐障害性を考えて、archive ディレクトリは data ディレクトリと別のディスクにすべき。 ディレクトリを作り % mkdir archive dbdata/postgresql.conf に archive directory 指定。 ファイルが決して上書きされないように test でチェックしてから archive するように書く。（マニュアル通り） archive_mode = on arch
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
NTT、米EnterpriseDBとPostgreSQLの普及促進で提携
左から、NTTの舘担当部長と木ノ原所長、米EnterpriseDBのAstor上級副社長とLussierチーフアーキテクト 日本電信電話株式会社（以下、NTT）と米EnterpriseDBは10月7日、PostgreSQLの機能拡張と普及促進において、包括的なパートナーシップを締結したと発表した。NTTでは、この協業による信頼性強化などによって、社内システムへのPostgreSQL導入を促進し、コスト削減に役立てたい考えで、将来的には、SaaS事業者向けサービス基盤での利用など、社外への提供も目指すとしている。 PostgreSQLはコミュニティ主導で開発されているオープンソースデータベース製品で、「1年1回のバージョンアップで、機能のアップデートが着実に進み、エンタープライズ向けの機能が充足してきた」（NTT オープンソースソフトウエアセンタ 木ノ原誠司所長）状況。NTTも2004年から
NTT、PostgreSQL開発の米EnterpriseDBと包括的パートナーシップ締結 | OSDN Magazine
NTT持株会社は2008年10月7日、オープンソースデータベース「PostgreSQL」を開発する米EnterpriseDBとの間で包括的なパートナーシップを締結したと発表した。PostgreSQL開発コミュニティへの貢献を強化するほか、子会社を通じてEnterpriseDBへの出資も行う。 パートナーシップに基づき、両社はPostgreSQLおよび商用版「Postgres Plus」の機能強化で協力。ミッションクリティカルな分野への活用を促進する。第1弾として、高可用データベース実現のためのキー技術である同期レプリケーション技術をコミュニティに共同提案する。 さらに、EnterpriseDBの並列処理技術「GridSQL」を改良し、NTTの同期レプリケーション技術と組み合わせて大規模分散データベース環境を構築するための検討・開発に共同で取り組む。 また両社は、同期レプリケーション技術によ
PostgreSQLのクライアント認証と暗号化の設定方法
クライアント認証に必要な作業 PostgreSQLは、クライアント認証に関する設定をpg_hba.confファイルで管理しています。hbaとは、host-based authenticationの略です。pg_hba.confファイルは、通常、データベースクラスタのディレクトリにあります。 pg_hba.confの内容 >>> 本連載の前提環境 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Xeon 3060 2.40GHz HDD：73.4GBytes／15,000rpm／SAS 16MBytes RAM：PC2-5300 8GBytes
SqlSyncによるデータベースの同期化 | OSDN Magazine
SqlSync では2つのデータベースを比較して、どのタプルが追加され、除かれ、変更されたかを知ることができる。また、一方のデータベースを他方のクローンにし、必要な変更を加えながらその状態を保つことができる。同期化にSqlSyncを用いることには、異種エンジン間（たとえば、MySQLからPostgreSQLへ）の同期化ができるというメリットがある。 Ubuntu、Fedora、openSUSEの標準リポジトリにはSqlSyncパッケージがない。そこで、本稿ではバージョン1.0.0-rc1を使い、64ビットのFedora 8マシンでソースからビルドすることにした。プロジェクトのfreshmeatページにもホームページにも書かれていないが、SqlSyncはデータベースへのアクセスにODBCを使う。したがって、unixODBC開発パッケージがインストールされていないと、ビルドは成功しない。 Sq
PostgreSQLを遅くしている犯人はどこだ？
PostgreSQLを遅くしている犯人はどこだ？：Linuxトラブルシューティング探偵団（3）（1/3 ページ） NTTグループの各社で鳴らした俺たちLinuxトラブルシューティング探偵団は、各社で培ったOSS関連技術を手に、NTT OSSセンタに集められた。普段は基本的にNTTグループのみを相手に活動しているが、それだけで終わる俺たちじゃあない。引き続きOSSに関するトラブルの解決過程を＠ITで連載していくぜ。 ソースコードさえあればどんなトラブルでも解決する命知らず、不可能を可能にし、多くのバグを粉砕する、俺たちLinuxトラブルシューティング探偵団！ 助けを借りたいときは、いつでもいってくれ！ OS：高田哲生 俺はリーダー、高田哲生。Linuxの達人。俺のようにソースコードレベルでOSを理解している人間でなければ、百戦錬磨のLinuxトラブルシューティング探偵団のリーダーは務まらん。
RailsDB
RailsDB is a web application written in Ruby using the Ruby on Rails web framework. RailsDB provides a generic interface to popular open source databases such as MySQL, PostgreSQL, and SQLite. The RailsDB project is currently under heavy development. License RailsDB is distributed under the GNU GENERAL PUBLIC LICENSE, Version 3 Documentation RailsDB API rdocs Download Download 0.3 Source Code Brow
PostgreSQLパフォーマンスチューニングのために ～重いSQLの見つけ方～ : アシアルブログ
<?php $db = pg_connect('dbname=test'); $sql = " CREATE TABLE artist ( artist_id serial primary key, name text not null ) "; pg_query($sql); $sql = " CREATE TABLE music ( music_id serial primary key, artist_id integer not null, title text not null ) "; pg_query($sql); for ($i = 0; $i < 10000; $i++) { $a_name = serialize(time() + $i); $sql = "INSERT INTO artist(name) VALUES('{$a_name}')"; $res = pg_
【ハウツー】PostgreSQLの高速化と高信頼化を実現する「pgpool-II」を使ってみる (1) pgpool-IIの概要 | エンタープライズ | マイコミジャーナル
pgpool-IIの概要 「pgpool-II」とは、PostgreSQLの高速化と高信頼化を目的としたミドルウェアである。pgpool-IIは、下図のようにクライアントとPostgreSQLの間に入る形(プロキシ形式)で動作する。なお、データベースクライアントはPostgreSQLサーバへ接続するのではなく、pgpool-IIへ接続することになる。 pgpool-IIは現在、pgpool Development Groupにより開発が継続されている。ライセンスには修正BSDライセンスを採用しており、ソースコードが公開されているので自由に利用することができる。ソースコードはhttp://pgfoundry.org/projects/pgpoolからダウンロードすることができる。なお、2007年10月1日現在のpgpool-IIの最新バージョンは1.2.1である。 pgpool-IIはさまざ
スラッシュドット ジャパン | 反撃ののろしを上げるPostgreSQL
やや旧聞に属するが@ITの記事によると、オープンソースのデータベースサーバとしてずっとMySQLの後塵を拝しつづけてきたPostgreSQLが、最近になって急速に勢力を伸ばしていると言う。2006年のIOUG調査ではPostgreSQLを使っている割合はわずかに9%だったが、2007年10月に発表された最新の調査結果では(依然74%はMySQLユーザであるものの)PostgreSQLの利用は20%にまで拡大したそうだ。 これは、高速化などPostgreSQLそのものの改良が急ピッチで進められていることに加え、SonyやAppleがPostgreSQLベースのソリューションを使用していることが知られるようになり(日本だとR25.jpも)、知名度が上がったのが一因だと言う。サードパーティアプリケーションや教育用書籍を充実させていくのが今後の課題と考えられるとのこと。
ソニー、アップル効果？ PostgreSQLが反撃開始 − ＠IT
オープンソースのデータベースサーバ「PostgreSQL」は、現在普及している「MySQL」の陰に隠れているものの、徐々に移行ユーザーを獲得しつつあると、支持者らが主張している。 開発が始まった1980年代以来、PostgreSQLは、長い時間をかけて技術的な進歩を遂げてきた。当初は「Postgres」と呼ばれていた。支持者らは、今日のPostgreSQLは十分な先進性を備えた、開発者の利用に耐えうるものであり、プロプライエタリ製品に取って代わる安価なオープンソース製品の代表格となったと述べている。 10月に発表された、「Independent Oracle Users Group」（IOUG）の会員226名を対象にした最新調査結果によれば、オープンソースおよび「Express」版データベースを使用している回答者の74％が MySQLユーザーである一方、PostgreSQLを利用しているの
【特集】期待度大のバージョンアップ - PostgreSQL 8.3の改良点を徹底分析 (1) はじめに - PostgreSQL 8.3の大きな4つの改良点 | エンタープライズ | マイコミジャーナル
現在ベータテスト中のPostgreSQL 8.3は、久々にストレージ部分に手が入るなど、大きな改良が加えられている。ストレージの基本構造部分に手が入るのは、筆者の記憶では、2001年リリースのPostgreSQL 7.1以来のことである。 8.3の改良点は、大きく分けて以下の3つになる。 1. 性能面での改良 HOT(Heap Only Tuple)という新しい仕組みがストレージ部分に導入され、従来PostgreSQLが苦手としていた、大規模データベースにおける更新処理性能が大幅に改善されている。そのほか、マルチセッションでのキャッシュ効率の向上などが目につくところである。 2. データベース運用管理機能の改良 PostgreSQLに限らず、データベースの適切な管理/運用は難しい。それだけで1つの職業になるほどだ。8.3では、より適切な管理が行えるように、ログ項目が増えているほか、適切なイ
オープンソースDBの弱点を埋める - SRA OSS、PowerGresの新製品を発表 | エンタープライズ | マイコミジャーナル
SRA OSS日本支社は13日、PowerGresブランドの新製品「PowerGres + security」を発売することを発表した。PowerGresは、PostgreSQLをベースに開発されたデータベース製品群。今回発表されたPowerGres + securityは、NTTデータが開発した「PostgreSQL認証版」をパッケージ化したもので、セキュリティ機能が強化されている。 NTTデータ 基盤システム事業本部 オープンソース開発センタ 技術開発担当 部長 田中一男氏 PostgreSQL認証版は、今年4月にNTTデータがBSDライセンスの下に公開したオープンソースのデータベース。PowerGres同様、PostgreSQLをベースに開発されている。セキュリティ機能を強化している点が最大の特徴で、セキュリティ評価の国際標準規格ISO/IEC 15408に基づくITセキュリティ認証
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLのしくみ勉強会(2009年6月) — NPO法人 日本PostgreSQLユーザ会
PostgreSQLのバックアップ＆リストア手法その1
