PostgreSQLのレプリケーションの監視 - そーだいなるらくがき帳
この記事は PostgreSQL アドベントカレンダー の25日目です。 qiita.com 基本的なPostgreSQLのモニタリングについては下記に纏めました。 soudai.hatenablog.com 本日はここで扱っていないレプリケーションの監視についてまとめようと思います。 なおPostgreSQLのストリーミング・レプリケーション (Streaming Replication) は、PostgreSQL 9.0 移行に使える機能です。 本ブログで説明するレプリケーションはこのストリーミング・レプリケーションを対象とします。 そのためここでは8.4とかで Slony-I 使ってるケースや pgpool-II でレプリケーションモードを使ってるケースは対象外です。 レプリケーションの仕組み PostgreSQLのレプリケーションは変更履歴であるWAL(ログ先行書き込み)を使ってい
PostgreSQLの監視 ~ mackerel-plugin-postgresを読み解く - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の25日目です。 qiita.com soudai.hatenablog.com それでは25日目は mackerel-plugin-postgres です。 mackerel-plugin-postgresはRDBMSでもMySQLと同じように広く使われているPostgreSQL専用プラグインです。 github.com インストールと設定手順 PostgreSQLのプラグインはPostgreSQLの統計情報の内容を可視化してくれるプラグインです。 本プラグインはプラグイン集として提供しているパッケージの mackerel-agent-plugins に含まれています。 インストール名は mackerel-plugin-postgres です。 次にMackerelのプラグインはコマンドですので実行する事ができま
SIOS "OSSよろず" ブログ出張所: PostgreSQL 9.3 新機能の概要
SIOS "OSSよろず"ブログ出張所はサイオスが新たにオープンしました「SIOS Tech.Lab」ブログに移設します。 新サイトのURLは下記となります。引き続きのご愛読をよろしくお願いします。 https://tech-lab.sios.jp/ お疲れ様です。稲垣です。 PostgreSQL 9.3 がこの秋に正式にリリースされる予定です。本ブログの執筆時点では Beta2 がリリースされています。今回は、現時点でリリースが確定している機能をご紹介します。 ■PostgreSQL9.3 の新機能一覧 新しい機能や高速化された全ての機能を紹介することは難しい為、これらの機能の内の幾つかをピックアップして後ほど簡単に紹介します。 【追加機能】 マテリアライズドビュー データが更新されないビュー http://www.postgresql.org/docs/9.3/static/rules
RDS for PostgreSQLの中を覗いてみた（追記あり）
皆さんお待ちかねの、RDS for PostgreSQLが昨日リリースされました。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS for PostgreSQLがご利用可能になりました！ http://aws.typepad.com/aws_japan/2013/11/amazon-rds-for-postgresql-now-available.html 既にインスタンスを立ち上げてみた方もいるようです。 Amazon RDS for PostgreSQLがやってきた！！ ｜ Developers.IO http://dev.classmethod.jp/cloud/amazon-rds-for-postgresql-now-on-sale/ cloudpackブログ: Amazon RDS で PostgreSQL が利用可能に http://bl
［速報］Amazonクラウド、PostgreSQLをDBaaSで提供。Amazon RDS for PostgreSQLをリリース。AWS re:Invent 2013
［速報］Amazonクラウド、PostgreSQLをDBaaSで提供。Amazon RDS for PostgreSQLをリリース。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」。2日目の基調講演に登壇したのは、同社CTOのWerner Vogels氏です。 Vogels氏はAWSにおいて新サービスや新機能の投入が加速していること、その開発は利用者のメリットをシンプルに表すプレスリリースを書くことが最初のステップであり、チームはピザ2つ分で済む少人数で構成される、といった同社独特の規律について触れた後で、新サービスであるAmazon RDS PostgreSQLを発表しました。 Amazon RDSはクラウド上でデータベースをサービスとして提供するもので、データベースのバックアップ、パッチの適応、自動フ
PostgreSQL Conference Japan 2011(FY)
PostgreSQL Conference は、日本 PostgreSQL ユーザ会（JPUG）が毎年開催している 技術的話題を中心としたカンファレンスで、PostgreSQL に関する内外の導入事例 および技術情報を提供する恒例のイベントとなっております。 昨年、PostgreSQL はレプリケーション機能を伴ったバージョン 9.0 が公開され、 今年はさらに進化したバージョン 9.1 が公開されるなど、 現在も発展と進化を着実に続けている先進的な DBMS です。 更新履歴 資料を公開しました。 New! 2012/02/22 ご参加の皆様へのご案内を掲載しました。 2012/02/22 Ustream での中継について掲載しました。 2012/02/20 VMware さまのランチセッションを掲載しました。 2012/02/20 チケット販売状況を掲載しました。カンファレンスのチケッ
PostgreSQL安定運用のコツ2009 @hbstudy#5
2. アジェンダ • パフォーマンスと初期設定 • データベースの監視 • 性能劣化とメンテナンス • パフォーマンスチューニング（GUC編） • パフォーマンスチューニング（SQL編） • バックアップ＆リカバリ 本日の資料は http://slideshare.net/uptimejp にアップしてあります。 Copyright 2009 Uptime Technologies LLC, All rights reserved. 4. PostgreSQLプロセス構造 • PostgreSQL 8.4の場合 [snaga@devpg01 ~]$ ps -aef | cat | grep ^snaga snaga 5282 1 0 20:15 tty1 00:00:00 /usr/local/pgsql/bin/postgres - D ./pgdata snaga 5283 5282
PostgreSQLについて纏めた調査結果の一部
PostgreSQLバイブル サポートページ サンプル SQLの実行 レプリケーション レプリケーションの設定 pgpool関連情報 pgpool-IIのセットアップ pgpool-II:レプリケーションモード pgpool-II:マスタスレーブモード Streaming Replication はじめに クイックスタート 機能一覧 仕組み memcached mcb: memcached benchmark tool pgmemcached Postgres-XC ver0.9.2クイックスタート gtmのJava版 gtmの多重化 並行プログラミング The Programmer's Guide to the Parallel World MySQL [MySQLの基礎知識] MySQLとは MySQLの概要 データベースシステムの構造 データベースシステムへのアクセス方法 ストレージ
Tuning Your PostgreSQL Server/ja - PostgreSQL wiki
作者 Greg Smith、Robert Treat、およびChristopher Browne PostgreSQLは性能よりも幅広い互換性を目的に設定された、基本設定で配布されています。 デフォルトのパラメータでは、使用中のシステムを過小評価してしまう可能性が高いです。 最終的に把握しなければならない項目のすべて（必要ならばGUC Three Hour Tourを参照してください）に引きずり込まれないように、ここで基本を簡単に紹介することでお助けしようと思います。 これらはPostgreSQLの初心者は気にしない、もっとも一般的なもののようです。 ここで紹介した概要を読んだ後により詳しく知りたければ、各節にてパラメータの名前をクリックしてください。 最新のPostgreSQLのマニュアルの関連文書にリンクしています。 さらにServer Configuration Tuningには、こ
PostgreSQLを使っている人が使いたい外部ツール | 独り言v6
前作 PostgreSQLを本当に高速化したい人のための10のポイント が結構受けたようなのと、外部ツールの話が書ききれなかったので次回作を。まあこっちは受けないと思うが、ついでに備忘録をかねて。内容としては「RDBMSだけ使ってもどうしようもないよね」というのは多い。しかし残念ながらL.starは、PostgreSQL本体に比べてこの種のツールの組み合わせについて精通しているとはいいがたい。なので、「PostgreSQLとしては、こんな部分は外部ツールに任せたいよね！」という思いをまとめるように書いてみた。 外部キャッシュ 最近のRDBMSはとても早くて、シンプルなselect * from table where id=? ぐらいだと、10000tps位平然とこなしちゃう。このくらい早いと、web server数台分ぐらいのバックエンドになれるので、それで十分ではないかすら思ってしまう
What's new in PostgreSQL 9.0 - PostgreSQL Wiki
This document showcases many of the latest developments in PostgreSQL 9.0, compared to the last major release – PostgreSQL 8.4. There are more than 200 improvements in this release, so this wiki page covers many of the more important changes in detail. The full list of changes is itemised in Release Notes. The two features you can't ignore Hot Standby and Streaming Replication are the two new feat
textsearch_senna
N-gram を使用した、組み込み型の日本語全文検索です。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 インストール テキスト検索機能 %% 演算子 @@ 演算子 インデックス (senna) インデックス・オプション (WITH) インデックスのメンテナンス senna.drop_index() senna.reindex_index() 不要ファイルの調査 TODO 概要 日本語テキストの全文検索を行います。 形態素解析ベースである textsearch-ja とは異なり、textsearch_senna では N-gram ベースの全文検索を行います。 検索には、全文検索エンジン Senna を使用しています。 利点として、文字すべてをインデックス化するため LIKE 中間一致検索に近い結果
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
pgbenchの使いこなし — Let's Postgres
SRA OSS, Inc. 日本支社 石井 達夫 pgbenchとは pgbenchはPostgreSQLに同梱されているシンプルなベンチマークツールです。最初のバージョンは筆者により作成され、日本のPostgreSQLメーリングリストで1999年に公開されました。その後pgbenchはcontribという付属追加プログラムとして、PostgreSQLのソースコードとともに配布されるようになりました。どのバージョンでPostgreSQLに取り込まれたのかはPostgreSQL付属のドキュメント(HISTORY)には書かれていないので定かではないのですが、コミットログを見ると、おそらく2000年にリリースされたPostgreSQL 7.0で導入されたと思われます。その後数多くの改良がたくさんの人によって行われ、現在に至っています。 pgbenchを利用することにより、自分の使っているPost
PostgreSQL 9.0 のその他の新機能 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 PostgreSQL の主要な新機能はこちらを参照してください。 Windows のイベントログやコンソール出力の文字化け修正 PostgreSQL で日本語を扱う場合、サーバエンコーディングには UTF-8 または EUC_jp を選ばなければなりません。しかし、Windows のイベントログやコンソールではエンコーディングを SJIS にして出力する必要があるため、サーバログが文字化けしていました。v9.0 ではログをユニコードで出力するようになり、この問題が解消されています。 pg_ctl reload した際に変更があったパラメータをログに出力 どのパラメータが変更されたかが分かりやすくなりました。 ALTER TABLESPACE seq_page_cost, random_page_cost テーブルスペースごとにオプティマ
PostgreSQL 9.0 のその他の新機能 | Let's POSTGRES
この記事では、PostgreSQL 9.0 の概要記事だけでは紹介しきれなかった、9.0のその他の新機能についてまとめています。 SQL 構文の強化 string_agg 文字列を連結して集約する string_agg 関数が追加されました。 以前のバージョンでも array_agg + array_to_string で同じ結果が得られますが、より高速です。 他のデータベースにも同様の関数はありますが、MySQL では group_concat()、Oracle Database では listagg() と名前は異なります。 =# SELECT array_to_string(array_agg(t), '+'), string_agg(t, '+') FROM tbl; array_to_string | string_agg -----------------+----------
データベース負荷テストツールまとめ(1) - SH2の日記
Webシステム開発において性能試験を行う場合、hp LoadRunnerやApache JMeterといったウェブブラウザをエミュレーションしてくれる負荷テストツールを用いるのが定番だと思います。そんななか、たまにデータベース単体での性能を測ってほしいと頼まれることがあるので、そうした便利なツールはあるのかなと思って調べてみました。 データベースに対する負荷テストツールは探すとたくさん出てくるのですが、案件で使用しているRDBMSに対応していなかったり、トランザクション仕様が希望と異なっていたり、微妙に作りが悪かったりと、ニーズに合致したツールはすぐには見つかりません。そんなときにこのエントリがツール探しの参考になればと思います。 pgbench 対応RDBMS：PostgreSQL 対応OS：Linuxなど 言語：C 作者：石井達夫氏 ライセンス：独自(BSDライセンスに近い) トランザ
Postgresql障害対応／復旧メモ - アルパカDiary Pro
今年はまだ一つもいい事ない 2月はいろいろと最悪な月だった。 半分は障害対応してた。 とりあえず備忘録として、何があってどのような対応をして解決したかをメモっておきます。 概要 うちのとあるサービスのDBサーバはPostgresql8.3.8。 8.3から追加されたウォームスタンバイ機能を使って非同期レプリケーションを行い、 マスタが落ちたら自動でスタンバイへフェールオーバーする仕組みになっています。 ウォームスタンバイ環境とかPITRは以下を参照にするとわかりやすいかも。微妙にうちと設定違うけど。 http://postgres.sios.com/modules/install/index.php?content_id=3 http://www-06.ibm.com/jp/domino01/mkt/cnpages7.nsf/page/default-000B5D90 そして、２月のとある
第5回 PostgreSQL でのデータベース構築の際に必要となる物理設計のポイント | gihyo.jp
第5回では、PostgreSQL でのデータベース構築の際に必要となる物理設計のポイントとして、データ容量の計算方法とインデックスの張り方を解説していきます。 データベース・サイジング サイジングとは、サービスの開始前に、想定される負荷や格納されるデータ量を見積り、十分な性能や規模のサーバおよびストレージを用意することです。今回は、サイジングの要素のうち、ストレージサイズの計算方法を紹介します。 データファイルの構成 PostgreSQLはデータベース・クラスタと呼ばれるディレクトリの下に、複数のディレクトリやファイルを作成します。容量の多くを占めるのはアプリケーションが使うテーブルやインデックスになるでしょうが、それ以外にも管理領域やログのためのディスク領域が必要になります。 表1 データファイルの構成と容量
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.