[B! postgresql] wang-zhiのブックマーク

PostgreSQLのストリーミングレプリケーションで、更新が完了したはずなのにデータがスレーブに反映されていない場合がある - Qiita

PostgreSQLのストリーミングレプリケーションで、更新が完了したはずなのにデータがスレーブに反映されていない場合があるPostgreSQL 同期レプリケーション？ PostgreSQL9.1以降でストリームレプリケーションを設定するとき、postgresql.confでsynchronous_commitをon(デフォルト)にしておくと、同期レプリケーションで動作します。「同期」と聞くと、以下のような動作じゃないかと思いますよね。例としてinsertを考えます。また、単純化するためにスレーブも1台とします。アプリケーションからマスターDBにinsertを発行マスターDBがinsertを実行。自身に反映される insertの内容がスレーブDBに送られるスレーブDBにinsertの内容が反映されるマスターはアプリに「insert完了」と通知する insertが全てのノードに適用

wang-zhi 2016/06/27

postgresql

リンク

PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ

弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび」でどのように運用しているかを紹介いたします。システムの特徴ユーザからのアクセスは、9割が参照処理。データはバッチ処理で、随時 ( 毎分 ) 更新されている。参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。参照SQLは、集計処理が多いため比較的重いSQL。参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス

wang-zhi 2016/06/27

postgresql

リンク

PostgreSQL 9.3 の JSON サポートについて（長いよッ） - Qiita

Postgresql 9.3でJSON関連のサポートが強化されている。 JSON型　（>=9.2） JSON演算子 (読み込み専用アクセッサ) JSONサポート関数 (JSON データ変換) 9.3リリースの目玉機能だが、使ってみた人が少ないのか一向に情報が上がってこない。ドキュメントを見てもなんだか面倒くさそうで自分から使う気は起きない。実際の使い勝手はどうなのか、たまたま開発で触る機会があったのでまとめておく。 PostgreSQL自体そんなに詳しいわけではないので、間違いがあったら突っ込んでほしい。追記: PostgreSQL 9.4 のリリースで jsonb の登場するなど状況がかなり変わっている。 9.4 ついてもフォローしたので参考にしてほしい。 PostgreSQL 9.4 の JSON サポートについて PostgreSQL JSON の応用メモテーブルデータをJS

wang-zhi 2016/04/20

postgresql

リンク

パーティショニング : 使い方 | Let's POSTGRES

1. UPDATE, DELETE へのルールの定義 8.1 以前では UPDATE, DELETE に対して『ルール (RULE)』の定義が必要です。古いバージョンでは検索条件による自動的な絞込みが行われないため、検索を効率化するためにルールを用いて不要なパーティションを除外してやる必要があるのです。この作業には手間がかかると思いますので、作業が自動化された 8.2 以降を使うことをお勧めします。 2. constraint_exclusion による SELECT, UPDATE, DELETE の自動化設定パラメータ constraint_exclusion が追加され、SELECT は 8.1 以降で、UPDATE, DELETE は 8.2 以降で、絞込みが自動的に行われるようになりました。constraint_exclusion = on を設定します。ただし、デフォルトの

wang-zhi 2015/12/16

postgresql

リンク

[pgpool-general-jp: 603] Re: オンラインリカバリを実施するとノード間のシーケンスがずれる

Tatsuo Ishii ishii ＠ sraoss.co.jp 2009年 8月 12日 (水) 18:49:47 JST 前の記事 [pgpool-general-jp: 600] Re: オンラインリカバリを実施するとノード間のシーケンスがずれる次の記事 [pgpool-general-jp: 607] Re: オンラインリカバリを実施するとノード間のシーケンスがずれる記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] 石井です。 > こんにちは。石田@苫小牧市です。 > > 2009/08/11 11:14 に Jun Kuriyama<kuriyama+ml ＠ s2factory.co.jp> さんは書きました: > > 2009/08/03 18:39 に <kamisima ＠ vips.co.jp> さんは書きました: > >> [環境] >

wang-zhi 2015/10/19

マスタースレーブ時にシーケンスがずれる理由 > これはおそらく、nextvalのたびに毎回WALに記録するのは効率が悪いので、(32 + CACHE)回に一度だけしかWALには記録しないということだと思います。

postgresql

リンク

PostgreSQLのログをfluentdで回収する設定 - still deeper

PostgreSQLのログをfluentd経由で回収するようにしたので設定を晒しておきます。ほぼ同じ設定を使いまわせるはずなので、fluentd & postgresの組み合わせを使っている人はどうぞ。 PostgreSQL側 postgresql.conf postgresのログの設定はこんな感じ。 # csv logを出力 logging_collector = on log_destination = 'csv log,stderr' # 1日でローテーション log_rotation_age = 1440 # /var/log/pgsql/postgres-%Y%m%d.(log|csv)に出力 log_directory = '/var/log/pgsql/' log_filename = 'postgres-%Y%m%d.log' # modeを644に log_file_mode

wang-zhi 2015/09/22

リンク

PostgreSQLのログをFluentdで収集する - Tech-Sketch

PostgreSQLの運用管理にログの情報は不可欠ですが、PostgreSQLが出力するログは直接取り扱うのに適した形式とは言えません。ここではFluentdを使って運用管理に活用しやすい形にPostgreSQLのログを加工する方法を紹介します。 PostgreSQLの運用管理とログデータベースの運用管理には死活監視、リソース監視性能分析、チューニングバックアップ、リストアといったものが考えられますが、現状を把握しなければ何も対策できないので、まずは必要な監視を正しく行うことが重要です。PostgreSQLで監視に使える機能には稼働統計情報とログがありますが、今回はログに注目してみます。 PostgreSQLのログからわかること PostgreSQLが出力するログからは以下の様なことがわかります。何らかの異常(エラー)が発生したこと処理されたSQL チェックポイント、自動VA

wang-zhi 2015/09/22

リンク

[PostgreSQL] 設定による性能チューニング

postgresql.confの設定により、性能向上する方法を紹介します。以下、PostgerSQL Conference 2009 Japanの発表資料 'PostgreSQLのチューニング技法' を参考にしました。 shared_buffers ディスクから読み込んだデータをキャッシュするために使用するメモリ量を指定します。マシンに搭載されているメモリの 20% 程度に設定します。 Linuxの場合、shared_bufferを増やすとカーネルの shmmax の設定値を超える場合があります。shmmax (/proc/sys/kernel/shmmax)を shared_buffer以上に設定しておかないと、PostgreSQLは起動しません。また、shmallの値は、shmmax/shmnmi (shmmaxをshmnmiで割った値)以上に設定しておく必要があります。通常、shmn