奮闘記その６３:PostgreSQLのWAL機能、PITR、障害復旧の話
サービス終了のお知らせ いつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。 お客様がアクセスされたサービスは本日までにサービスを終了いたしました。 今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。
サービス終了のお知らせ いつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。 お客様がアクセスされたサービスは本日までにサービスを終了いたしました。 今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。
この記事は本番環境でやらかしちゃった人のアドベントカレンダー9日目の記事です。 https://qiita.com/advent-calendar/2020/yarakashi-production 去年に引き続き、今年も参加させてもらいました。 ※去年の記事はこちら→ データ移行をしただけなのに…（起こってしまったメール誤配信） 今年のネタも15年くらい前の事で、且つ自分が直接関わった事案ではないのですが、「そういやあの事件、今MySQLだったらどうするかな」と思い書くことにしました。 何があったか もうタイトルで出落ちしていますが本番でUPDATE文を実行する際にWHERE句を付け忘れたという事故です。 当時の状況を整理するとこんな感じだったと思います。 対象サービス： 年商10億円くらいの自社サービス 作業内容： 仮登録されている顧客の情報を指定された情報で更新する 作業環境： DB
New – Amazon DynamoDB Continuous Backups and Point-In-Time Recovery (PITR) | Amazon Web Services
AWS News Blog New – Amazon DynamoDB Continuous Backups and Point-In-Time Recovery (PITR) The Amazon DynamoDB team is back with another useful feature hot on the heels of encryption at rest. At AWS re:Invent 2017 we launched global tables and on-demand backup and restore of your DynamoDB tables and today we’re launching continuous backups with point-in-time recovery (PITR). You can enable continuou
PostgreSQLのポイントインタイムリカバリ(PITR)のしくみとオンラインバックアップ手順、リカバリ手順のめも。 バックアップ概要 バックアップの種類 pg_dump サーバを起動したまま、pg_dumpコマンドでバックアップを取得します。DBをバックアップを取った時点のデータに戻すことができます。PostgreSQLのメジャーバージョンが異なるとき、この方法でデータの移行を行う必要があります。 オフラインバックアップ サーバを停止後、dataディレクトリ以下をまるまるコピーします。DBをバックアップを取った時点のデータに戻すことができます。 オンラインバックアップ バックアップツールを使用して、サーバを起動したままファイルをコピーします。また、アーカイブログも取得します。アーカイブログを適用することで、DBの状態を任意の時刻の時点に戻すことができます。 ここでは、このオンラインバッ
PostgreSQL の PITR（ポイントインタイムリカバリ） を試してみる - higepon blog
PostgreSQL の PITR（ポイントインタイムリカバリ） を試してみる。 大まかな流れ 事前設定 WAL archive 設定 ベースバックアップの作成 事件発生！ リカバリ WAL archive の設定 通常の WAL は不要になったら（commit/abort 時に）消えてしまうのだが、PITR のために archive directory にためるような設定にする。 通常は耐障害性を考えて、archive ディレクトリは data ディレクトリと別のディスクにすべき。 ディレクトリを作り % mkdir archive dbdata/postgresql.conf に archive directory 指定。 ファイルが決して上書きされないように test でチェックしてから archive するように書く。（マニュアル通り） archive_mode = on arch
MysqlとPostgreSQLのPITRによるバックアップ＆リカバリの違い（まとめ） | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、落合です。 この記事は、TECHSCORE Advent Calendar の22日目の記事です。 2014年も終わろうとしていますね。 PostgreSQL8.x系は、今年EOLを迎えました。いままでありがとうございました。 （ですので9.x系で実施した記事内容となっています。） そして、いまどきはMysqlというよりMariaDBにしたほうが刺さるんですかね？ そもそも、AWSでポチッとバックアップ&リカバリなんてしちゃうので、あんまり興味がなかったりでしょうか？（笑） さて、、、記事タイトルのことをダラダラと・・・ オンラインバックアップのおさらい まず、PostgreSQLとMysqlでみなさんが最初に実施したであろうバックアップ、 全データベースのオンラインバックアップをおさらいをしてみようとおもいます。 ○PostgreSQL編 簡単ですね。
新機能 – Amazon DynamoDBに継続的バックアップとPoint-In-Time-Recovery(PITR)機能が追加されました | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon DynamoDBに継続的バックアップとPoint-In-Time-Recovery(PITR)機能が追加されました Amazon DynamoDBチームはencryption at restに引き続き新しい機能を発表しました。AWS re:Invent 2017 では、グローバルテーブルの作成と DynamoDBテーブルのオンデマンドバックアップとリストアを発表しました。そして今日、継続的バックアップとしてPITR（ポイントインタイムリカバリ）を利用出来るようになりました。 AWS Management Consoleからワンクリックするか、簡単なAPIコール、またはAWSコマンドラインインターフェイス（CLI）を使用して継続的バックアップを有効にすることができます。DynamoDBはPITRが有効になってから35日
【特集】PostgreSQL 8でつくるBlogライクなメモシステム (10) PITR (Point In Time Recovery)を試す | エンタープライズ | マイコミジャーナル
最後になったが、PostgreSQL 8.0に最も期待されていた機能、「PITR (Point In Time Recovery)」を試してみよう。PITRは、簡単に言うと、データベースのデータを過去の任意の時点に戻せる機能だ。従来はディスククラッシュなどで万一データが壊れてしまった場合、最新のバックアップの時点に復旧するぐらいしか対応手段がなく、バックアップ完了後、障害発生までの更新は消失してしまう危険性があった。しかしPITRが実装されたことにより、例えば誤ってテーブルのデータを全件削除してしまった場合でも、削除を実行する直前の状態にデータを戻せるようになる。管理者の精神的な負担は大きく軽減されるだろう。 PITRの具体的な仕組みはいたって単純で、PostgreSQLの特徴的な機能である「WAL (Write-Ahead Logging)」を活用して行われる。WALでは、更新クエリの発
鈴木 幸市 オンライン・バックアップを利用して、データベースを故障直前の状態まで復旧させる手順を解説します。 オンライン・バックアップとポイント・イン・タイム・リカバリ (アーカイブ・リカバリ) を利用すると、pg_dump でのバックアップとは異なり、バックアップ時点ではなく、アーカイブログが残っている限り最新の状態までリカバリできるのが利点です。 6.3 オンライン・バックアップとアーカイブログを用いたリストア PostgreSQL 運転中に取得したベースバックアップとアーカイブログを使ってデータベースをリストアすることができます。 アーカイブログもベースバックアップも、PostgreSQL を運転しているサーバとは別な場所に保存できることが重要です。 アーカイブログとベースバックアップを安全な場所 (PostgreSQL を運転しているサーバとは別の場所) に保存しておくことで、サー
JPUG 仕組み分科会 2009-02-14 補足資料 補足資料：PostgreSQL の WAL と PITR 鈴木啓修@InterDB.jp 1. PostgreSQL の簡単な紹介 "PostgreSQL"はオープンソースのデータベースシステム。 1.1. 歴史 PostgreSQL の起��
JPUG 仕組み分科会 2009-02-14 補足資料 補足資料：PostgreSQL の WAL と PITR 鈴木啓修@InterDB.jp 1. PostgreSQL の簡単な紹介 "PostgreSQL"はオープンソースのデータベースシステム。 1.1. 歴史 PostgreSQL の起源は、カリフォルニア大学バークレー校で作られた"Postgres"。 Postgres の開発は 1986 年から。しかし、研究プロジェクトだったため、保守とユーザサポートの負担が大きくなっ たことを理由に、バージョン 4.2 をもって開発が終了。 1994 年に Andrew Yu 氏と Jolly Chen 氏が Postgres に改良を加え、"Postgres95"としてリリース。1996 年に は"PostgreSQL"と改名され、機能拡張と改良を加えながら現在に至る。 1.2. リリー
FirestoreをBigQueryに連携して長期間のPITRを実現した話 - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2023の11日目の記事です。 はじめに こんにちは、SWEの西です。普段はANDPADチャットを開発するチャットチームのメンバーとして働いています。今回はANDPADチャットのデータベースとして使われているFirestoreについてお話します。 FirestoreはGCPが提供するフルマネージドのNoSQL製品です。フルマネージドNoSQLのもう一つの代表例にAWSのDynamoDBがありますね。Firestoreにしかない特徴の一つとして、データの更新をリアルタイムでクライアントに反映できるというものがあります。この特徴はチャット機能と非常に相性が良いため、ANDPADチャットではFirestoreを採用しています。そんなFirestoreですが弱みもあります。その一つがバックアップ機能です。DynamoDBとFirestoreは
鈴木 幸市 オンライン・バックアップを利用して、データベースを故障直前の状態まで復旧させる手順を解説します。 オンライン・バックアップとポイント・イン・タイム・リカバリ (アーカイブ・リカバリ) を利用すると、pg_dump でのバックアップとは異なり、バックアップ時点ではなく、アーカイブログが残っている限り最新の状態までリカバリできるのが利点です。 6.3 オンライン・バックアップとアーカイブログを用いたリストア PostgreSQL 運転中に取得したベースバックアップとアーカイブログを使ってデータベースをリストアすることができます。 アーカイブログもベースバックアップも、PostgreSQL を運転しているサーバとは別な場所に保存できることが重要です。 アーカイブログとベースバックアップを安全な場所 (PostgreSQL を運転しているサーバとは別の場所) に保存しておくことで、サー
If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o
Amazon DynamoDB が、ポイントインタイムリカバリ (PITR) の追加でバックアップとリストアを強化しました。PITR は、DynamoDB テーブルデータの継続的バックアップを提供し、誤った書き込みや削除から保護します。PITR を使用すれば、バックアップの作成、保守、スケジューリングについて心配する必要はありません。 代わりに、テーブルで PITR を有効にすると、有効にした瞬間から最大 35 日前までの任意の時点でのバックアップからそのテーブルを回復できます。PITR は、AWS マネジメントコンソールまたは単一 API 呼び出しからの 1 クリックで有効化できます。有効にすると、PITR は、明示的にオフにするまで DynamoDB テーブルの継続的バックアップを行います。 PITR は、本日から米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリ
以前の覚書 日々の覚書: Percona XtraDB Cluster設計の迷いどころ（現在進行形） で迷ってたんですが、気付いたらPITRフツーにできたのでメモ。 あの記事を書いた時点で検証していたのはwsrep 25.2.xだったんですが、wsrepも気付けば25.5.x (MySQLと同じで、25. x . y のうち25はAPIバージョンなので、wsrepのバージョンは2.x系から5.x系なのでメジャー2世代くらい？)、25.2.xと25.3.xの間で結構インプリメントされたような話は聞いてたんですが、そのせいなのかどうかはよく判らず。 ( ´-｀).oO（なんか25.2.xの時のcodershipのMLで、25.3.x(の初期)ではマルチマスターでPITRまだできないねー、みたいなのを読んだ気がしたんですがソース見つからず。 このディスカッション見ると、25.3.xと5.6の組み
where句なしでupdate文を実行するというオペミスがあった際にdummyのrelay_log(binlogをrenameしたもの)を使って、1ホスト単体でMTSを利用した一人replication的なことをしてPITRする方法の検証をしてみた。 何いってんだと思ったら下のlefredの発表資料を見てみてください。 その過程でいくつかの疑問が出てきたので、そこまでを書いていく。 ↓の発言に至った経緯と思ってもらえると良いです。 stopポジションとして指定したクエリまで、 mysqlbinlog -> 実行しない stop slave sql_thread until (file and pos)... -> 実行する(beginをまたいだ場合そのトランザクションごと実行??)— :tom__bo: (@tom__bo) 2019年1月17日 MySQL 5.7.17, GTID=OF
運用管理コマンド全般 - PITR｜Goldの例題解説「運用管理」｜サンプル問題／例題解説｜受験対策｜DBスペシャリストを認定する資格 OSS-DB技術者認定試験
ポイントインタイムリカバリ(PITR)についての説明の中から、適切なものを2つ選びなさい。 A. ベースバックアップは、データベースクラスタ全体のバックアップなので、同じバージョンのPostgreSQLがインストールされている環境にコピーすれば、そのまま使うことができる。 B. ベースバックアップは、システムの運用開始時に1度だけ取得すれば良い。 C. pg_xlog ディレクトリが消失した場合は、リカバリ時に一部の更新情報が失われ、最新の状態にまで復旧できない場合がある。 D. ベースバックアップを再取得すれば、それ以前の古いアーカイブログは消しても良い。 E. より安全な運用のためには archive_timeout パラメータの設定を、パフォーマンスに支障が出ない範囲で大きくすることが望ましい。 ※この例題は実際のOSS-DB技術者認定試験とは異なります。 解答と解説 まずPITRの
PostgreSQLは常に、クラスタのデータディレクトリ以下のpg_wal/ディレクトリ内で先行書き込みログ（WAL）を管理しています。 このログはデータベースのデータファイルに行われた全ての変更を記録します。 このログは主にクラッシュ時の安全性を目的としています。 システムがクラッシュしたとしても、最後のチェックポイント以降に作成されたログ項目を「やり直し」することで、データベースを整合性を維持した状態にリストアすることができます。 しかし、この存在するログファイルを使用して、データベースのバックアップ用の第3の戦略が可能になりました。 ファイルシステムレベルのバックアップとWALファイルのバックアップを組み合わせるという戦略です。 復旧が必要ならば、ファイルシステムバックアップをリストアし、その後にバックアップされたWALファイルを再生することで、システムを最新の状態にできます。 管理
22.3. オンラインバックアップとポイントインタイムリカバリ(PITR)PostgreSQLは常に、クラスタのデータディレクトリ以下のpg_xlog/ディレクトリ内で先行書込みログ (WAL)を管理しています。 このログはデータベースのデータファイルに行われた全ての変更を示します。 このログは主にクラッシュ時の安全性を目的としています。 システムがクラッシュしたとしても、最後のチェックポイント以降に作成されたログ項目を"再生"することで、データベースを整合性を維持した状態にリストアすることができます。 しかし、この存在するログファイルを使用して、データベースのバックアップ用の第3の戦略が可能になりました。 ファイルシステムレベルのバックアップとWALファイルのバックアップを組み合わせるという戦略です。 復旧が必要ならば、バックアップをリストアし、その後にバックアップされたWALファイルを
26.3. Continuous Archiving and Point-in-Time Recovery (PITR)
At all times, PostgreSQL maintains a write ahead log (WAL) in the pg_wal/ subdirectory of the cluster's data directory. The log records every change made to the database's data files. This log exists primarily for crash-safety purposes: if the system crashes, the database can be restored to consistency by “replaying” the log entries made since the last checkpoint. However, the existence of the log
▼ カテゴリーから探す お知らせ (17) アート/デザイン (282) インテリア (371) ガジェット (367) グルメ/キッチン (281) ゲーム (57) ファッション (180) フォト (245) ミュージック (24) 動画/ムービー (340) 広告 (96) 建築/スポット (243) 本 (37) 雑貨 (267)
Point-in-time recovery (PITR) overview | Spanner | Google Cloud
Send feedback Point-in-time recovery (PITR) overview Stay organized with collections Save and categorize content based on your preferences. Spanner point-in-time recovery (PITR) provides protection against accidental deletion or writes. For example, if an operator inadvertently writes data or an application rollout corrupts the database, with PITR you can recover the data from a point-in-time in t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とあるテーブルの中身を一括更新した話から学ぶPITR - Qiita
PostgreSQLのポイントインタイムリカバリ(PITR)めも - あられねこのめも
ポイント・イン・タイム・リカバリ (PITR) — Let's Postgres
ポイント・イン・タイム・リカバリ (PITR) | Let's POSTGRES
Point In Time Recovery (PITR)利用ガイド
Amazon DynamoDB が、継続的バックアップとポイントインタイムリカバリ (PITR) のサポートを追加
Percona XtraDB Clusterでいつの間にかPITRできるようになってた
RockstarらしいPITRの検証 - tom__bo’s Blog
26.3. 継続的アーカイブとポイントインタイムリカバリ（PITR）
オンラインバックアップとポイントインタイムリカバリ(PITR)
美しい異次元空間。額縁に飲み込まれてしまいそうな空間アート - Ella & Pitr