GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey
果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時
溜まったアーカイブログを削除するタイミング - Qiita
PostgreSQLには、PITRするためにWALファイルをアーカイブする機能があります。 しかし、アーカイブされたWALファイルはユーザが削除しない限り、溜まり続けるため、不要になったアーカイブWALは適宜削除する必要があります。 今回はその削除の判断の仕方と削除手順について書きます。 前提条件 PostgreSQL 9.5.2 CentOS 7.2 削除対象となるアーカイブWALとは アーカイブされたWALファイルは、取得していたベースバックと組み合わせたPITRに使用します。 つまり、最も古いベースバックアップよりも古いアーカイブWALは使うことはないため、それらのファイルが削除対象となります。 削除対象となるアーカイブWALの確認方法 とても簡単です。 ベースバックアップ取得時に作成されるbackup_labelのSTART WAL LOCATIONで確認することができます。 以下
WAL 二重化に基づくバックアップ / リカバリ - PowerGres Plus (Windows 版) マニュアル
WAL の二重化とは、データベースが使用している WAL と全く同じ WAL を別のディスクに出力することです。 これにより、ディスク破壊でデータベースとともに使用中の WAL が失われても、バックアップディレクトリに保管している、多重化された WAL を使用して、最新状態に復旧する事が可能となります。 セットアップの手順 データベースの作成から運用を開始するまでの手順を示します。 すでにデータベース格納ディスクとバックアップ格納ディスクは準備しているものとします。 データベースクラスタの作成 initdb を実行し、データベースクラスタを作成します。 例: $ initdb -E UTF8 --locale=C バックアップ格納ディレクトリの作成 空のバックアップ格納ディレクトリを作成します。 データベースサーバを起動するユーザのみがアクセスできるように許可を設定しておきます。 例: #
MySQL Cluster でもフラッシュドライブを活用してみる
あらゆるITにクラウドエクスペリエンスをもたらし、お客様はデータを管理下に置き、サービスの利用および管理における柔軟性を維持しつつ、プライベートクラウドとパブリッククラウドにわたってリソースを展開して管理できます。
PostgreSQL のパフォーマンスチューニング - Qiita
PostgreSQL Advent Calendar 2014 の 13日目です。 Advent Calendar を今年もやってみたいと思って、枠が空いていたので飛び込んでみました。 昨日は osapon さんの libpqxx を使ってみたでした。 概要 PostgreSQL のパフォーマンスチューニングは大きく下記に分かれます。 システムチューニング SQL チューニング ここでは Linux 上で動かしていることを前提に、それぞれ説明します。 システムチューニング システムチューニングの概要 システムチューニングとは、OS または PostgreSQL の設定を変更することです。 それぞれ順に説明します。 OS チューニング PostgreSQL では特にメモリ関連でOSパラメータを設定変更すると、高速化効果が得られます。 特に下記のカーネルパラメータに注意します。 vm.dirt
スロークエリの分析 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 スロークエリ (時間のかかるSQL) を発見するまでの手順を解説します。スロークエリ分析と改善は以下の流れで行うことになります。この記事では主に 1. のスロークエリの特定方法について解説します。2.については『スロークエリの改善』を参考にしてください。 どのSQLが遅いのかを見つける。 そのSQLがなぜ時間がかかるのかを判断する。 設定パラメータ、SQL、スキーマなどを改善する。 着目したSQLの性能を再測定し、2. から繰り返す。 着目したSQLのチューニングが完了したら、他のボトルネックを探すため 1. から繰り返す。 スロークエリの見つけ方 スロークエリを見つけるには、大きく分けて統計情報ビューを使う方法と、サーバログを使う方法の2つがあります。統計情報ビューを使う方法は PostgreSQL 8.4 以降でしか利用できませんが
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by SRA OSS, Inc. 日本支社 長田悠吾
PostgreSQLでスケールアウト構成を構築しよう
PostgreSQL でスケールアウト構成 を構築しよう db tech show tech 2013 2013/11/15 SRA OSS, Inc. 日本支社 技術開発部 長田 悠吾 Copyright © 2013 SRA OSS, Inc. Japan All rights reserved. 2 自己紹介 ● 長田 悠吾（ながた ゆうご） ● 所属 ● SRA OSS, Inc. 日本支社 技術開発部 ● 業務 ● PostgreSQL 関連の技術調査 ● pgpool-II の開発 ・・・など ● SRA OSS, Inc. 日本支社 ● PostgreSQL を中心としたOSSのサポート/コンサルティング ● OSS 関連プロダクトの販売 ● 技術者トレーニングサービス Copyright © 2013 SRA OSS, Inc. Japan All rights reser
パスワード入力なしの公開鍵認証でSSH接続する設定 | setup | OSS Fan
概要 Linuxサーバにリモート接続して操作する場合、TeraTerm(Windows)やsshコマンド(Linux)を使って接続するのが通例となっています。 接続の際にはSSH（Secure Shell）プロトコルが使用され、ネットワーク上の通信が暗号化されます。 RHELではこの機能を司るSSHサーバとしてOpenSSHが採用されています。 RHELのOpenSSHで構築したSSHサーバへリモート接続する際には、 初期状態ではユーザIDとパスワードによる認証が許可されていますが、 ユーザIDとパスワードさえ知っていれば、誰でも（どのPCからでも）接続できてしまうという問題があります。 また、SSHのサブセットとして提供されているSCPを使うとリモートホストとの間でファイルコピーを 実行することができます。この機能を利用して、リモートホストとのファイルコピーをシェルで自動化して 定期的に
» PowerGresをコマンドラインから使ってみよう – PowerGres 体験記 V9.1 第 4 回 | PowerGres体験記 | 技術情報 | PowerGres
技術情報 | PowerGres体験記 | PowerGresをコマンドラインから使ってみよう – PowerGres 体験記 V9.1 第 4 回 対象バージョン: PowerGres V9.1 本文では前半で CentOS 6.2 (x86_64 アーキテクチャ版) において PowerGres on Linux V9.1 Update 1 を、後半で Microsoft Windows 7 (64 ビット版) において PowerGres on Windows V9.1 Update1 を使用して解説しています。 ※最新バージョンに関する情報はこちら PowerGres 体験記では、全３回に渡って GUI を使った使用方法を紹介し、PowerGres V9.1 の魅力をお伝えいたしました。今回は、「GUI による操作でなく、バッチプログラムから自動操作をしたい場合などい、コマンドから
pgpool-II 入門（インストールと簡易設定） - LCL 開発者ブログ
弊社のサービスには、PostgreSQL用のミドルウェアであるpgpool-IIを利用しています。 techblog.lclco.com pgpool-IIは非常に良いソフトウェアだと思いますが、多機能であり用途によって設定が異なるため、最初の導入が難解なのがネックです。 公式ドキュメントは充実しているものの、用途別の構成にはなっていないため、詳細を読みこんで目的のパラメータを取捨選択する必要があります。 pgpool-II ユーザマニュアル 今回は、多少なりともpgpool-IIを利用するハードルを下げるために、機能の説明と導入の手順を記載したいと思います。 説明に利用する環境 Amazon Linux ( AMI release 2015.03 ) PostgreSQL 9.5 pgpool-II 3.5.2 pgpool-IIとは pgpool-IIは、アプリケーションとPostgr
pgpool-II レプリケーション構成 — Let's Postgres
SRA OSS, Inc 古跡 智仁 本章では、pgpool-II によるレプリケーション構成について紹介します。 pgpool-II をレプリケーションモードで動作させて使うことで PostgreSQL サーバのレプリケーション構成を構築することができます。 pgpool-II によるレプリケーション レプリーケーション構成とは、複数ノードにデータの複製を作成する構成のことを指します。pgpool-II は、アプリケーションから受け取った問い合わせをクエリベースで複数ノードに送信して、同じ内容のデータベースを複数ノードで保持することが可能です。ハードディスク障害などで１つのノードが正常に動作しなくなると、これを検知して障害ノードを切り離して縮退動作します。障害検知にあたっては、アプリケーションからのアクセスでエラーになる場合のほか、pgpool-II 自身で定期的なヘルスチェックを行わせ
pgpool-IIを使ってPostgreSQLのアクティブ・スタンバイ(1+1構成)を試してみた · hnakamur's blog
2016-09-15はじめにpgool-IIを使ってPostgreSQLのアクティブ・スタンバイ(1+1構成)を試したのでメモです。 以下のページを参考にしました。 pgpool-II ユーザマニュアルpgpool-II watchdog チュートリアル（master-slave mode）pgpool-II 3.3 の watchdog 機能 — Let’s Postgresテスト用のAnsible playbookhttps://github.com/hnakamur/postgresql-pgpool2-failover-example-playbook に置きました。 LXD をセットアップ済みの Ubuntu 16.04 上で試しました。 LXD で CentOS 7 のコンテナを2つ作って環境構築しています。 PostgreSQL と pgpool-II は PostgreSQ
pgpool-II watchdog チュートリアル（master-slave mode）
概要 このチュートリアルでは watchdog 機能を使用して、２台の PostgreSQL を２台の pgpool-II で共有する方法について説明します。 Linux マシン 2 台にそれぞれ、PostgreSQL（9.3 以降）と pgpool-II（3.3 以降）がインストールされている構成とします。サーバ名は「osspc19」「osspc20」とします。また psql などを実行するサーバを便宜上「someserver」と表記していますが、osspc19、osspc20 の何れかのサーバ、あるいは他のサーバでも構いません。 △ back to top 設定 PostgreSQL の設定 PostgreSQL を 2 台のサーバにインストールし、Hot Standby / Streaming Replication 構成に設定しておきます。最初のプライマリサーバを osspc19、
PostgreSQL9.4でストリーミングレプリケーションする - マコーの日記
概要 PostgreSQL9.4でストリーミングレプリケーションの構成を組んでみる 以下のような構成を作成する マスター1台 スレーブ2台 マスターからスレーブに矢印を引いたところに「同期」と「非同期」とあるが、これはWALファイルをマスターからスレーブに転送した時にスレーブに書き込まれてからレスポンスを返す設定とスレーブに書き込まれたかどうか確認せずに即レスポンスを返す設定のことである。 スレーブが複数台ある場合は、全て非同期か、1台のみ同期でそれ以外が非同期しか設定が出来ない仕様になっている。 また、単純なレプリケーションの設定のみではなく以下の設定も記述する マスターが落ちた時のスレーブをマスターに昇格させる設定 落ちたノードに対してリカバリするためにWALアーカイブの設定 環境 AWS EC2インスタンス上に以下のバージョンの環境を構築する。 CentOS 7 PostgreSQL
ストリーミング・レプリケーション | Let's POSTGRES
ストリーミング・レプリケーション (Streaming Replication) は、PostgreSQL 9.0 以降で利用できる、本体組み込みのレプリケーション機能です。参照/更新が可能な1つのマスタDBへの更新操作を、参照のみが可能な複数のスタンバイDBへ転送することで、データベースを複製することができます。スタンバイDBに更新結果が反映されるまでには若干の遅延がありますが、比較的 遅延は少なく、マスタDBへの影響も小さいレプリケーション方式です。 用途 ストリーミング・レプリケーションには以下の用途があります。 多数の参照クエリのサーバ間分散 マスタDB異常時の迅速なフェイルオーバー (切り替え) マスタDBのディスク故障に備えたリアルタイム・バックアップ PostgreSQL 9.1 での強化点 バージョン 9.0 の目玉機能として登場したレプリケーション機能ですが、9.1 では
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Weekly backups of PostgreSQL database to Amazon S3
Setup a redundant PostgreSQL database with repmgr and pgpool | Jensd's I/O buffer![[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by SRA OSS, Inc. 日本支社 長田悠吾](https://cdn-ak-scissors.b.st-hatena.com/image/square/46c3b9f8f50262dee4361ea9f86da974612915d8/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015b17postgresqlsraoss-150616021919-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
https://www.pgpool.net/pgpool-web/contrib_docs/pgpool-II-internal-1.pdf
レプリケーション - PowerGres Administration Tool マニュアル