PostgreSQLには、用途や環境に応じて様々な構成を組み、最適なパフォーマンスで動作させられるよう、設定ファイルpostgresql.confに多くのパラメーターが存在します。そのパラメーターを正しく設定し調整を行うためには、PostgreSQLのアーキテクチャーを理解する必要があります。ここでは、押さえておきたい、PostgreSQLの基本的なアーキテクチャーについて説明します。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 1. PostgreSQLの基本構成 PostgreSQLの基本的な構成について説明します。はじめに、主なプロセス、メモリー、および、ファイルについての構成図を示します。 図1 PostgreSQLの基本構成 PostgreSQLを構成する主なプロセス、メモリー、ファイルについて、その用語と概要を説明します。 リスナープロセス
ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝
【アップデート】AWS Security Hub の『基礎セキュリティのベストプラクティス』に新たに25個のチェック項目が追加されました | DevelopersIO
【アップデート】AWS Security Hub の『基礎セキュリティのベストプラクティス』に新たに25個のチェック項目が追加されました はじめに みなさん、セキュリティチェックしていますか？(挨拶 AWS Security Hub の『AWS 基礎セキュリティのベストプラクティス v1.0.0』に新たに 25個のチェック項目(コントロール)が 追加されました。AWS公式も以下のようにアナウンスしています。 この新しいチェック項目は Security Hub の [設定 > 一般 > 新しいコントロールの自動有効化] を ON に していると自動的に追加されます。 いつのまにか CRITICAL/HIGH の項目で失敗していて、大量に通知が飛んできた方もいらっしゃるかもしれません。 本ブログで新規追加されたコントロールを簡単なコメント付きで紹介していきます。 (コントロールの題目はまだ日本
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 1 を翻訳したものです。 Amazon Aurora MySQL 互換エディション バージョン 2 (MySQL 5.7 互換)は 2024 年 10 月 31 日に標準サポートの終了が予定されています。Amazon Aurora MySQL バージョン 2 の標準サポートの終了タイムラインについて
AWS でバックアップを保護するためのセキュリティベストプラクティス Top 10 | Amazon Web Services
Amazon Web Services ブログ AWS でバックアップを保護するためのセキュリティベストプラクティス Top 10 この記事は “ Top 10 security best practices for securing backups in AWS ” を翻訳したものです。 セキュリティは AWS とお客様の間で責任を共有することで実現されます。ここで、お客様は AWS で安全にバックアップを行う方法を求めています。この記事では AWS 上のバックアップデータの保全とその操作に関して、厳選したセキュリティベストプラクティスのトップ 10 を紹介します。この記事では AWS Backup サービスにおけるバックアップデータと操作に焦点を当てて紹介しますが、推奨されるセキュリティのベストプラクティスは AWS Marketplace で提供されるバックアップツールなど、他のバッ
AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） | DevelopersIO
こむろ＠事業開発部です。 前回 の続きです。 そろそろ諸々の記憶が薄れ始めている頃なので早めに全部書ききっておきたいところです。 前回までのまとめ データの取得と転送方法についての検討は終わりました。 Amazon S3 の転送方法の検討と想定される時間の計測 → 完了 Amazon ElastiCache for Redis の転送方法の検討と想定される時間の計測 → 完了 Amazon DynamoDB の転送方法の検討と想定される時間の計測 → 完了 転送対象の絞り込み → 完了 重要データ、ログイン情報の3テーブルにフォーカスを絞る 認証情報は除外 データ完全性検証の方法検討 → 未着手 全体のスケジュール作成 → 未完成 転送作業の実施 → 未着手 今回のテーマ データ完全性検証の方法を検討します。 データ完全性検証について。ここでは、「移行元のデータ」と「移行先のデータ」が完全
この記事は本番環境でやらかしちゃった人のアドベントカレンダー9日目の記事です。 https://qiita.com/advent-calendar/2020/yarakashi-production 去年に引き続き、今年も参加させてもらいました。 ※去年の記事はこちら→ データ移行をしただけなのに…（起こってしまったメール誤配信） 今年のネタも15年くらい前の事で、且つ自分が直接関わった事案ではないのですが、「そういやあの事件、今MySQLだったらどうするかな」と思い書くことにしました。 何があったか もうタイトルで出落ちしていますが本番でUPDATE文を実行する際にWHERE句を付け忘れたという事故です。 当時の状況を整理するとこんな感じだったと思います。 対象サービス： 年商10億円くらいの自社サービス 作業内容： 仮登録されている顧客の情報を指定された情報で更新する 作業環境： DB
AWS Backup を使った Amazon RDS インスタンスの継続的なバックアップとポイントインタイムリカバリ | Amazon Web Services
Amazon Web Services ブログ AWS Backup を使った Amazon RDS インスタンスの継続的なバックアップとポイントインタイムリカバリ このブログはKelly Griffin (Solutions Architect at AWS specializing in Storage and Cloud infrastructure solutions)によって執筆された内容を⽇本語化した物です。原⽂はこちらを参照して下さい。 2021年3月10日に、AWS Backupは、Amazon Relational Database Service（Amazon RDS）の継続的なバックアップとポイントインタイムリカバリー（PITR）のサポートを発表しました。この機能により、お客様はAmazon RDSのバックアップデータを保持期間内の指定された時間から復旧することができ
※この投稿は米国時間 2022 年 2 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Spanner の概要Cloud Spanner は、エンタープライズ クラスのグローバルな分散型外部整合性データベースであり、無制限のスケーラビリティと業界最高水準の 99.999% の可用性を提供します。メンテナンスの時間枠を必要とせず、使い慣れた PostgreSQL のインターフェースを提供します。リレーショナル データベースの利点と、非リレーショナル データベースの比類ないスケーラビリティと可用性を兼ね備えています。 企業が技術スタックをモダナイズし、簡素化する中で、Spanner は、新しいアプリケーションや顧客体験の構築の一環として、データベースに対する考え方や利用方法を変革するユニークな機会を提供します。 しかし、ワークロードに合わせてデータ
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の21日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。本日のテーマは『Amazon DynamoDB』です。 目次 Amazon DynamoDBとは サービス名にDBとある通りデータベースです。2012年1月にローンチされた
Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 先日(2022/9/1) に開催した Data Modernization Day in Japan #3「2.5時間で学ぶ！ Amazon Aurora のいま 〜アーキテクチャと高可用性にパフォーマンスチューニングをそえて〜」の資料・動画を公開しました。今回のセミナーでは、RDS/Auroraの最新アップデートのセッションに加え、多くのお客様へのご利用が加速しているAuroraに関して、アーキテクチャ・高可用性・パフォーマンスチューニングに関するDive Deepセッションを行いました。 当日、参加者の皆様には数多くの QA を頂きありがとうございました。頂いた QA の一部についても
DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。 この記事は、LayerXテックアドカレ2023の7日目の記事です。 昨日は@yuya-takeyamaが「Microsoft Graph API へのキーレス認証 (GitHub Actions編)」を書いてくれました。 次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Dat
Litestream入門
Litestream というSQLite3をレプリケーションするOSSを調べてみました インストール macだと以下でインストールできます $ brew install benbjohnson/litestream/litestream 使い方 レプリケーション先は同一ホストの任意のパスやAmazon S3を利用できます。 今回はS3と互換性のあるオブジェクトストレージの MinIO を使って検証してみました。 MinIOの起動 $ docker run -p 9000:9000 minio/minio server /data 起動後は http://localhost:9000 でクレデンシャルに minioadmin を指定してログインし、適当なバケットを作成します。 今回は mybkt というバケットを作成しています。 Litestream起動前にsqlite3で適当なDBを作って
Cloud Nativeなシステムを構築するにあたって手助けとなる、アプリケーション開発と運用のアジリティ、可用性、拡張性を支えるさまざまなデータベースを学ぶ「Cloud Native Database Meetup #1」。ここからは、アジア規模の分散配置検証を紹介します。前回はこちらから。 処理の高速化 水戸部章生氏：今までの話を振り返ると、Two Phase CommitはTSOを取得したり、リージョンの位置を把握したり、prewriteしたり、非常に何回もやり取りをするんだなと思いました。このような処理を改善すべく、2021年4月16日に新しいバージョンが出ました。TiDB 5.0では、これらの処理の高速化もサポートしています。 （スライドを指して）1つ目は非同期commitです。今までのcommitは、TSOは取得できますが、commitをするとprewriteをして、prewr
新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 2012 年のリリース以来、数十万の AWS のお客様がミッションクリティカルなワークロードに Amazon DynamoDB を選択しています。DynamoDB は、非リレーショナルマネージドデータベースで、事実上無限のデータを格納し、1 桁ミリ秒のパフォーマンスで任意のスケールで取得できます。 このデータから最大限の価値を引き出すには、お客様は AWS Data Pipeline、Amazon EMR、または DynamoDB ストリームに基づくその他のソリューションを利用する必要がありました。このようなソリューションでは通常、読み取りスループットの高いカスタムアプリケーションを構築する必要があるため、メンテ
G-gen の杉村です。 Professional Cloud Architect 試験 は、 Associate Cloud Engineer 試験の上位に位置する Google Cloud (旧称 GCP) の難関認定資格です。本投稿では試験の合格に役立つ、勉強方法や出題傾向などについて解説します。 はじめに Professional Cloud Architect 試験 とは Professional Cloud Architect 試験の難易度 推奨の勉強法 ケーススタディ 出題傾向 組織 / IAM 組織のポリシー IAM の基本概念 オペレーションスイート Cloud Monitoring Cloud Logging セキュリティ・統制 Network Intelligence Center Data Loss Prevention Kubernetes / Google Ku
AWS Backupで継続的バックアップを有効化したときのRDSとAuroraのバックアップの挙動を確認してみる | DevelopersIO
自動バックアップを有効にしているものは、バックアップウィンドウを以下のように設定しています。 RDS DBインスタンス : UTC 21:00 - 21:30 Aurora DBクラスター : 自動割り当て (Aurora DBクラスターをマネジメントコンソールで作成する際はバックアップウィンドウを明示的に指定することはできない) メンテナンスウィンドウについてはいずれもJST 9:00 - 9:30 で設定をしています。 また、AWS Backupのバックアッププランではいずれも1時間に一度動作するようにしています。 作成したAurora DBクラスターとRDS DBインスタンスは以下のとおりです。 aurora-1 aurora-2 rds-1 rds-2 rds-3 rds-4 rds-5 RDSで自動バックアップを有効にしていつものについては作成時にスナップショットが取得されるよう
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
2021 年の Cloud Spanner を振り返る
この記事は Google Cloud Japan Advent Calendar 2021 の 14 日目の記事です。本記事は 2021 年 12 月 14 日現在の情報に基づいて書いています。 こんにちは、Google Cloud で Database Specialist をやっている佐藤です。今回は Cloud Spanner 冬休み講座と題して、2021 年の Cloud Spanner を振り返ってみようと思います。これらをおさえておけば、来年に向けた Cloud Spanner の復習と予習はバッチリ！さて 2021 年は Cloud Spanner にとってどんな年だったでしょうか？ 目次1 時間目：Cloud Spanner はどんなデータベース？2 時間目：インスタンスの運用管理機能の向上 — 0.1 ノード インスタンスの登場 — 任意の時点のデータを復元する PITR
FirestoreをBigQueryに連携して長期間のPITRを実現した話 - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2023の11日目の記事です。 はじめに こんにちは、SWEの西です。普段はANDPADチャットを開発するチャットチームのメンバーとして働いています。今回はANDPADチャットのデータベースとして使われているFirestoreについてお話します。 FirestoreはGCPが提供するフルマネージドのNoSQL製品です。フルマネージドNoSQLのもう一つの代表例にAWSのDynamoDBがありますね。Firestoreにしかない特徴の一つとして、データの更新をリアルタイムでクライアントに反映できるというものがあります。この特徴はチャット機能と非常に相性が良いため、ANDPADチャットではFirestoreを採用しています。そんなFirestoreですが弱みもあります。その一つがバックアップ機能です。DynamoDBとFirestoreは
Amazon Web Services ブログ AWS Backup で自動復元テストおよび検証が使用可能に すべての重要なリソースの自動ゲームデーテストを実行することは、ランサムウェアやデータ損失イベントへの対応の準備ができているかどうかを判断するための重要なステップです。これにより、結果に基づいて適切な是正措置を講じ、これらのテストの成功または失敗などの結果をモニタリングする機会が得られます。最終的には、復元時間が組織の想定される目標復旧時間 (RTO) を満たしているかどうかを確認でき、より優れた復旧戦略を策定するのに役立ちます。 11月27日、AWS Backup の新機能である復元テストを発表しました。これを使用することで、ストレージ、コンピューティング、データベース全体で AWS リソースの復元テストを実行できます。この機能を使用すると、復元テストプロセス全体を自動化し、ランサ
Announcing self-hosted Deno KV, continuous backups, and replicas When we first announced Deno KV, developers were captivated by the promise of a zero-config, strongly consistent, and globally replicated database crafted for JavaScript. The concept of adding state to servers, functions, and applications using just a single line of code has been well-received. As we expanded Deno KV with features li
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
この記事はMySQLのカレンダー | Advent Calendar 2023 - Qiitaの19日目の記事です。 MySQLのredoログには何が書かれているのだろうか？ そんな疑問を解決するために私はアマゾンの奥地へと旅立つことにしました。 MySQLはSQLをパースし、実行計画を立てたあと、実際にストレージ(メモリ含む)でデータを処理する部分はプラガブルなストレージエンジンに実装を移譲する設計になっています。 しかし、処理をストレージエンジンがトランザクションをサポートしないことも選択できるため、クラッシュリカバリのための機構を実装していない可能性もあります。 そのため、レプリケーションにも利用されるバイナリログがWrite Ahead Loggingされていて、クラッシュリカバリやPITRにもバイナリログが主に使われています。(と、筆者は理解しています。). なので、運用上はバイ
この本の概要 本書では「PostgreSQLを学習，もしくは利用したことがある人」「今後，本格的にPostgreSQLの運用・管理や技術力の向上を図りたいと考えている人」を主な対象読者とし，現場で培われてきたPostgreSQL設計・運用計画の鉄則を徹底解説！ PostgreSQLのコアな技術力を持つ専門家の視点から，システム構築や運用時に重要な要素を，PostgreSQLの内部構造と照らし合わせる形で解説します。内部構造を知っているからこそわかる運用ノウハウやチューニング方法が満載です。本書はPostgreSQL 14をベースに解説しています。 こんな方におすすめ PostgreSQLのシステム設計をする技術者，開発者 運用計画を作成する管理者 この書籍に関連する記事があります！ データベースの内部構造としくみを理解し，高可用性と安定稼働を実現する 本書では「PostgreSQLを学習、
[アップデート]AWS Backupは、Amazon Auroraの継続的なバックアップがサポートされ、ポイントインタイムリカバリが利用できるようになりました。 | DevelopersIO
[アップデート]AWS Backupは、Amazon Auroraの継続的なバックアップがサポートされ、ポイントインタイムリカバリが利用できるようになりました。 はじめに AWS Backupは、Amazon Auroraの継続的なバックアップがサポートされ、ポイントインタイムリカバリが利用できるようになりました。 ポイントインタイムリカバリとは、インスタンスを特定時点まで、データ変更を復元することです。Auroraでは、選択した特定の時刻に巻き戻すことが可能です。 AWSにおいて「継続的なバックアップ」と「自動バックアップ」の違いは、ドキュメントに記載がありました Amazon RDS は、継続的なバックアップを「自動バックアップ」と呼んでいます。 AWS Backup は、Amazon RDS の継続的なバックアップを「継続的なバックアップ」と呼びます。 従来、AWS Backupから
AWS Backup は、Amazon Aurora 継続的バックアップの復元テストのサポートを発表しました。AWS Backup 復元テストは、バックアップされているサポート対象の AWS リソースの自動的かつ定期的な復元テストを行うのに役立ちます。AWS Backup は、サポート対象の AWS サービスやハイブリッドワークロードのデータ保護を一元化して自動化する、フルマネージドサービスです。このリリースにより、AWS Backup のお客様は復元の準備状況をテストして、データ損失の可能性に備えたり、コンプライアンスや規制要件を満たすために Amazon Aurora 継続的バックアップの復元ジョブの所要時間を測定したりすることができます。 Amazon Aurora 継続的バックアップの復元テストを開始するには、AWS Backup コンソール、API、または CLI を使用します。
AWS News Blog Happy 10th Birthday, DynamoDB! 🎉🎂🎁 On January 18th 2012, Jeff and Werner announced the general availability of Amazon DynamoDB, a fully managed flexible NoSQL database service for single-digit millisecond performance at any scale. During the last 10 years, hundreds of thousands of customers have adopted DynamoDB. It regularly reaches new peaks of performance and scalability. For e
2023年9月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 9月はなんと69本もピックアップしています。注目はついにリリースされたAmazon Bedrockですね！すでに色々記事があります！ ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Dev
New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | Amazon Web Services
AWS News Blog New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required Hundreds of thousands of AWS customers have chosen Amazon DynamoDB for mission-critical workloads since its launch in 2012. DynamoDB is a nonrelational managed database that allows you to store a virtually infinite amount of data and retrieve it with single-digit-millisecond performance a
はじめに 概要 Amazon Auroraのバックアップからデータの復元までについて、色々と方法があるようでなんとなくの理解ではまずいと感じたのでまとめてみました。 全体像 バックアップの種類 バックアップ〜復元には3つの種類があります。 バックトラック(Aurora MySQLのみ) ポイントインタイムリカバリ スナップショット この3つをバックアップの要件に基づいて選んでいきます。 上から順にデータを保持しておく時間が短く、その分復元までの時間が早いです。 一旦、全体図を載せます。 Auroraの仕組み 各用語 バックアップの説明の前に簡単にAuroraの基本用語について理解していきます。 クラスタボリューム データベースの中身。 データを格納するところ。 DBインスタンス データベースにデータと登録するやつ。 データ読み書きをしてるやつ。 DBクラスタ クラスタボリュームとDBインス
【PostgreSQL 9.4 → 11】pg_upgradeでデータベースクラスタをバージョンアップ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは 楽楽明細開発課のsts-250rrです。 先日Postgres11の入った検証環境に、現在運用中の環境のデータを移行して検証したいという機会がありました。 何点か意外とあるんじゃないかなというポイントがありましたので、Try&Errorの内容をまとめておこうと思います。 ※本記事内でのコマンドはDockerコンテナで作業をイメージしたコマンドを実施しています。 やったこと Try&Error：データベースクラスタをバージョンアップする Try：pg_upgradeはどう使ってやればよいのか ERROR：存在しないPostgres9.4 Try：pg_upgradeで11にバージョンアップ ERROR：postgresユーザで実行しなければならない まとめ やったこと ポイント・イン・タイム・リカバリ (PITR)の方法でデータベースクラスタ(/var/lib/pgsql/dat
Amazon RDS ポイントインタイムリカバリを管理するための AWS CloudFormation カスタムリソースの構築 | Amazon Web Services
Amazon Web Services ブログ Amazon RDS ポイントインタイムリカバリを管理するための AWS CloudFormation カスタムリソースの構築 Amazon RDS は、クラウド内でのリレーショナルデータベースのセットアップ、運用、およびスケーリングを容易にし、ハードウェアのプロビジョニング、データベースの設定、パッチ適用、およびバックアップなどの時間がかかる管理タスクを自動化しながら、コスト効率に優れ、サイズ変更が可能な容量を提供するため、煩わしい作業を AWS にまかせて、ビジネスロジックとアプリケーション機能に集中することが可能になります。 AWS 責任共有モデルでは、データを保護し、災害に備えて適切なバックアップと復旧を確実にすることがユーザーの責任になります。バックアップは、所定の時点におけるデータセットのスナップショットです。最後の完全なバックア
知っておくと便利なAmplifyの設定
はじめに Amplify CLIでバックエンドを作っている際に便利だった設定について並べたものになります。 Amplify CLIのバージョンは7.6.8になります。 尚、バージョンに強く依存する機能なので、古いバージョンでは動かなかったり、未来のバージョンでは動かなかったり、というのがあると思います。 極力公式ドキュメントへのリンクを入れておくので、確認いただきながらご利用いただければと思います。 DynamoDBのPointInTimeRecoveryを有効にする PointInTimeRecoveryはDynamoDBの継続的バックアップとロールバックができる機能です。 保存量に応じた有償の機能なので、enableにする際にはその点は注意してください。 PITRを有効にしているとDynamoDBテーブルのS3エクスポートもできるようになるので、データ分析等に利用する場合にも便利な機能
Archived Reliability Pillar AWS Well-Architected Framework This paper has been archived. The latest version is now available at: https://docs.aws.amazon.com/wellarchitected/latest/reliability-pillar/welcome.html Archived Reliability Pillar AWS Well-Architected Framework Reliability Pillar: AWS Well-Architected Framework Copyright © 2020 Amazon Web Services, Inc. and/or its affiliates. All rights res
[アップデート] より低コストにDR対策できるかも！？DynamoDB がテーブルバックアップの別リージョンへのリストアをサポートしました！ | DevelopersIO
先日のアップデートで、DynamoDB のテーブルバックアップを他のリージョンにリストアできるようになりました！ You can now restore Amazon DynamoDB table backups as new tables in other AWS Regions 何が嬉しいのか 従来、DynamoDB における DR および BCP 対策としてはグローバルテーブルを使うことで、マルチリージョン、マルチマスターのデータベースを構築することが可能でした。アクティブ/アクティブのような構成を希望される場合はグローバルテーブルで良いのですが、数時間のダウンタイムが許容でき、障害時のみ別リージョンを使えれば良い、というような要件においては少々贅沢な構成となっていました。(グローバルテーブルの場合、レプリカ数分の Write キャパシティユニット料金＋データ転送料金が必要となります
![[アップデート] より低コストにDR対策できるかも！？DynamoDB がテーブルバックアップの別リージョンへのリストアをサポートしました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
Amazon Web Services ブログ 週刊AWS – 2021/2/8週 みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 エンジニアのための施設AWS Loft Tokyoは現在休館中ですが、Loftで実施していた対面式の技術相談コーナーであるAsk an Expertが、現在はオンラインで参加いただけるようになっています。そして、今週初の試みとしては2/19(金)にDB、分析、コンテナのエキスパートが終日相談に応じるSpecial Expert Dayを実施する事になりました。私は13時、14時、15時台に当番しておりますので、データレイクやDWH on クラウドで相談したいことがありましたら、ぜひこちらの案内に従ってご参加ください。（なお利用にはAWS Loft Appが必要です。まだ登録されていない場合、利用登録には約5営業
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLのアーキテクチャー概要｜PostgreSQLインサイド
AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
とあるテーブルの中身を一括更新した話から学ぶPITR - Qiita
Cloud Spanner の誤解を打ち破る | Google Cloud 公式ブログ
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
AWS再入門ブログリレー DynamoDB編 | DevelopersIO
NewSQLを使えば新しいデータの置き方も可能になる 分散配置検証で分かったTiDBインスタンスの挙動
Professional Cloud Architect試験対策マニュアル - G-gen Tech Blog
Postgres is eating the database world
AWS Backup で自動復元テストおよび検証が使用可能に | Amazon Web Services
Announcing self-hosted Deno KV, continuous backups, and replicas
InnoDB redo logを解読している話 - tom__bo’s Blog
［改訂3版］内部構造から学ぶPostgreSQL ―設計・運用計画の鉄則
AWS Backup で Amazon Aurora 継続的バックアップの復元テストのサポートを開始
Happy 10th Birthday, DynamoDB! 🎉🎂🎁 | Amazon Web Services
Amazon Aurora バックアップってややこしい - Qiita
Reliability Pillar AWS Well-Architected Framework
週刊AWS – 2021/2/8週 | Amazon Web Services