RDSスナップショットを、テスト用にマスクする、CodeBuildとdbtestdataで - Qiita
本番RDSスナップショットをそのままテスト用に使うわけにいかない。個人情報とか業務上の機密とか。マスクします。みなさんどうやってるんですかね。 全体像 こんな流れで作ります。 create RDS Instance Data masking RDS create snapshot RDS instance shutdown この記事では 2. のところを扱います。ほかは手作業。そのうちawscliとCodeBuildで自動化する。 マスク設定ファイルをつくるのに必要な情報を用意する information_schema.tables, columnsを漁る テーブルそのものの要否をふりわける 必要なテーブルについて、マスクすべきカラムを選別する カラムごとに、どんなデータパターンでマスクするか決める マスク設定ファイルをつくる マスクツールは dbtestdata を使います。dbtest
【AWS】 RDS Parameter groupsのdiffを取る
Aurora MySQL 5.6が2023年2月にEOLを迎える事に伴い、5.7へのアップグレードが必要になりました。 Parameter groupsも5.7用に新しく作ることになりますが、5.6->5.7でデフォルト値は変更があるのでしょうか？ Webコンソールで比較するのは無理があるので、AWS CLIを使って差分を洗い出してみました。 Parameter groups describe-db-parameters で取得できます。 リージョンやパラメータ名はご自身の環境に合わせてください。 $ aws rds describe-db-parameters --region ap-northeast-1 --db-parameter-group-name db-param-56 | jq '.[][] | [.ParameterName,.ParameterValue] | @csv
そのRDS Proxyホントに必要？立ち止まって一度考えよう | DevelopersIO
CX事業本部@大阪の岩田です。 一般的にアンチパターンとされているLambdaとRDS(もしくはもう少し対象範囲を広げてRDB)の組み合わせですが、VPC Lambdaの改善やRDS Proxyの登場によって採用しても問題ないケースが増えました。ここ数年でLambda × RDSというアーキテクチャが選定されることも増えたように感じています。その一方で、RDS Proxyのメリット・デメリットをよく精査せずに、Lamba × RDSだから...という理由だけでRDS Proxyを導入し、あまりRDS Proxyのメリットを享受できないような構成も目にする機会が増えました。 このブログではRDS Proxyのメリットが薄くなる構成の具体例を紹介しつつ、RDS Proxy導入の手助けができればと思います。RDS Proxyというサービスの概要やメリット・デメリットについては既に色々な記事が出て
Aurora のパラメータグループで max_connections の値が計算値と合わない - kakakakakku blog
最近 Aurora の検証をしているので，今後は Aurora 関連の記事を書く機会が増えそう． 前提 RDS (Aurora MySQL) インスタンスタイプ : db.t2.medium DBInstanceClassMemory とは RDS のパラメータグループでは，特定の変数と演算子を使った動的な値設定ができる．今回は変数 DBInstanceClassMemory に関して調べたことと，計算が合わずに困ったことを書いておこうと思う． DBInstanceClassMemory は，名前だけを見るとインスタンスタイプごとに搭載されたメモリサイズのように思えるけど，実際には違っていて，RDS プロセスに割り当てられたメモリサイズのことを意味する．よって，搭載されたメモリサイズよりは確実に小さい値となる．その点はドキュメントにも書いてある． DBInstanceClassMemory
ユーザーが IAM 認証情報で Amazon RDS に接続できるようにする
IAM 認証情報を使用して Amazon RDS MySQL DB インスタンスに対する認証をユーザーに許可するにはどうすればよいですか? MySQL を実行している Amazon Relational Database Service (Amazon RDS) DB インスタンスに接続したいと考えています。ネイティブ認証方法を使用する代わりに、AWS Identity and Access Management (IAM) 認証情報を使用したいです。どうすればできますか? ユーザーは、IAM ユーザーまたはロール認証情報と認証トークンを使用して Amazon RDS DB インスタンスまたはクラスターに接続できます。IAM データベース認証は、次の理由により、ネイティブ認証方法よりも安全です。 IAM データベース認証トークンは、AWS アクセスキーを使用して生成されます。データベースの
初めてのPerformance Insights入門 | Amazon Web Services
Amazon Web Services ブログ 初めてのPerformance Insights入門 テクニカルソリューションアーキテクトの笹川です。 本記事ではRDS MySQL使用時のPerformance Insightsの使い方についてご紹介させて頂きます。 Performance Insightsを聞いたことがあるけれど何ができるのか分からない、実際にどのように活用すれば良いのかイメージができないという方もいらっしゃるのではないでしょうか。今回は初めてのPerformance Insights入門と題してサンプルのクエリを実行しながらPerformance Insightsの使い方をご紹介していきます。 Performance InsightsとPerformance Schema Performance InsightsではDBの負荷状況がMySQLにログインすることなくAWS
AWS RDS for MySQL5.5 => 5.6 アップグレード手順 (CLI) (2017年検証) - Qiita
AWSから5.5の古いバージョンアップデートするよー。って通知がきたので 手動アップグレードをすることに。 ググッてみたけども、RDSって枯れてるからか、古い情報しかないんですよね。 そこでメモがてらに手順を記載します。 やること 本番稼働しているRDS MySQL 5.5.40b を MySQL 5.6.29にアップグレードする (注意!!)ダウンタイムが数分発生します エンドポイントはそのままでアプリケーション側等の変更は行わない 環境 MacOSX ElCapitan (HostOS) 10.11.6 事前準備に必要なもの AWS CLI 入っていない人は何も考えずに pip install awscli と打とう。 参考にしたサイト AWS Documentation DB インスタンスのデータベースエンジンバージョンのアップグレード 手順全体はコレと一緒です。 AWS Docum
RDS Performance Insights を使って DB の負荷を監視する - stmn tech blog
こんにちは、スタメンでバックエンドのエンジニアをしている河井です。 私の所属するバックエンドチームでは、普段からサービスのパフォーマンス監視とチューニングを継続的に行っています。 今回は、データベース負荷のモニタリングに使っている Performance Insights というツールの活用方法をまとめてみます。 Peformance Insights についてPerformance Insights（パフォーマンスインサイト）とは、Amazon RDS で提供されている機能で、DB の負荷のモニタリングが簡単にできます。 ざっくりとまとめると、 指標がシンプルなので DB の負荷状況を直感的に把握できる SQL クエリが表示されるため問題箇所の特定がしやすい リアルタイム更新なので即座に負荷内容を分析できる といったメリットがあります。 有効化についてはこちらを参照ください。 ダッシュボ
Amazon Auroraを真に理解するための性能検証 | 外道父の匠
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
RDSのクエリ調査 - Qiita
RDSのクエリ調査を実施する際にすべきこと。 （１）RDSの設定 general_log：1 ・・・全てのクエリをログに残す slow_query_log：1 ・・・スロークエリ（時間のかかっているクエリをログに残す） long_query_time：1 ・・・スロークエリの時間（秒） （２）設定確認 show global variables like 'general_log'; show global variables like 'slow_query_log'; show global variables like 'long_query_time'; （３）全クエリの確認 select * from mysql.general_log; （４）スロークエリの確認 select * from mysql.slow_log; Register as a new user and u
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
