Mackerel で RDS を監視するときによく使われるメトリック - Mackerel ブログ #mackerelio
はてなで Mackerel を開発している id:wtatsuru です。 この記事は Mackerel Advent Calendar 2022 の25日目の記事です。前日は id:tukaelu の Mackerelのカスタムダッシュボードにアラートの一覧を表示する でした。こういうちょっとしたハックで解決する手法、私は大好きです。 本記事では、Mackerel を使って Amazon RDS を監視する際にどのメトリックが使われているのか、その背景と共に紹介しています。 AWSインテグレーションと Amazon RDS の紹介 よく使われるメトリックたち CPU利用率 メモリ利用量 ストレージの空き状況 データベースへの接続数 レプリカの遅延 クエリの処理時間 デッドロックの発生 まとめ AWSインテグレーションと Amazon RDS の紹介 AWSインテグレーションを用いると、A
AWS Secrets ManagerのローテーションでLambda関数の管理が必要なくなりました - ヤマムギ
Amazon RDS と AWS Secrets Manager の統合を発表というアップデートで「パスワードのローテーションを管理するカスタム Lambda 関数を設定するなどの複雑な認証情報管理作業から解放」とありましたので確認してみました。 RDSインスタンス作成 マネジメントコンソールでデータベースエンジンを切り替えて確認していると、どのデータベースエンジンでも「Manage master credentials in AWS Secrets Manager – new」のチェックボックスが表示されていましたので、対応しているようです。 ユーザーガイドはこちらです。 * Password management with Amazon RDS and AWS Secrets Manager * Password management with Amazon Aurora and AW
【5分で簡単！】Amazon EventBridge SchedulerでRDSの自動定期停止を実装してみた | DevelopersIO
あ、またRDS停止し忘れた…。 こんにちは！AWS事業本部のおつまみです。 皆さん、検証用に立てたRDSを停止し忘れた経験はありますか？私は何度もあります。 RDSは料金が比較的高いため、停止し忘れると辛いですよね。 ユーザーガイドにも記載されている通りRDSは一度停止しても、7日後に自動的に起動されてしまいます。 DB インスタンスは最大 7 日間停止できます。7 日後に DB インスタンスを手動で起動しなかった場合、DB インスタンスは自動的に起動されます。これにより、必要なメンテナンスの更新が遅延することはありません。 これまではLambdaとEventBridgeルールを組み合わせて、停止処理を実装する必要がありました。 実装方法はこちらのAWS公式サイトより紹介されています。 しかし、先日リリースされたAWSの新機能「Amazon EventBridge Scheduler」を使
Amazon RDS for MySQL のハードウェアメンテナンスの際に、ダウンタイムやフェールオーバーが発生するか | DevelopersIO
困っていた内容 Amazon RDS for MySQL をマルチ AZ 配置で利用しています。AWS からハードウェアメンテナンスのメール通知が届きました。ダウンタイムやフェールオーバーが発生するかを教えてください。 どう対応すればいいの? ハードウェアメンテナンス対象の DB インスタンスがプライマリホストかセカンダリホストのどちらか、もしくは両方かでダウンタイムやフェイルオーバーが発生するかが異なります。 まずは、AWS から通知されたメールに、影響を受けるアベイラビリティーゾーン (Region DB Instance Identifier Affected Availability Zone(s)) が記載されているので、ご確認ください。 メールの一部を抜粋します。 Region DB Instance Identifier Affected Availability Zone(
[小ネタ]RDSイベント イベントサブスクリプションとEventBridgeの違い | DevelopersIO
Amazon RDSイベントを検知する方法が、2種類あるので違いを調べてみました。結論としては、カテゴリレベルの通知か、イベントIDレベルの通知で異なります。 違いはどんなところ そもそもイベントサブスクリプションの違いは何でしょう？起点がRDSイベントであることは一緒です。 RDSイベントサブスクリプション RDSイベントサブスクリプションでは、RDSイベントをAmazon SNSをターゲットに通知します。 SNSが受け取ったRDSイベントは独自のイベントドキュメントにラップされます。 { "Records": [ { "EventVersion": "1.0", "EventSubscriptionArn": "arn:aws:sns:us-east-2:123456789012:rds-lambda:21be56ed-a058-49f5-8c98-aedd2564c486", "Ev
![[小ネタ]RDSイベント イベントサブスクリプションとEventBridgeの違い | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3b6eedbd02faf420a06aa05ca78d478cfa7b4cca/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-rds.png)
Configルールを使ってパブリックアクセスが有効になっているRDSのDBインスタンスを自動修復する | DevelopersIO
はじめに AWS Configはリソース構成を記録・管理するサービスで、Config ルールでは管理しているリソースの評価ができます。その条件に違反しているリソースは非準拠としてフラグをつけられます。 Config ルールにはこの違反した非準拠のリソースに対して「修復」のアクションを定義でき、想定したリソースの状態へと自動修復する機能があります。 今回は パブリックアクセス可能なRDSインスタンスを自動で修復する(パブリックアクセスを無効にする) Configルールを作成してみました。 CloudFormationテンプレート StackSetsでマルチリージョン・マルチアカウントに展開できるよう、CloudFormationテンプレートで作成しました。 作成するリソース IAMロール 自動修復実行用 Configルール 修復アクション SSMドキュメント AWS提供のドキュメントではなく
RDSのリザーブドインスタンスに気をつけよう
背景 会社で動かしているAWSインスタンスのRIが6/25に期限が切れるとお知らせがありましたので、5月ごろからEC2インスタンスやRDSの棚卸し作業を行なっていました。 その時にRDSのリザーブドインスタンス(RI)に関する注意点、もとい私がやらかした失敗談です。 EC2のRIとは微妙に仕様が異なっていて罠にハマりましたので戒めの意味を込めてここに記します。 EC2リザーブドインスタンスとSavings Plansについて 表題から主旨が外れますが、せっかくなのでEC2インスタンスのコスト削減について説明します。 昨年会社ではEC2インスタンスはすべてRIを使って年間のランニングコスト削減に努めていました。 ところが弊社では、EC2インスタンスタイプを頻繁に変えて、作っては壊してを繰り返しておりインスタンスタイプが固定されるリザーブドインスタンスではあまりコスト削減効果が見込めませんでし
RDS インスタンスを 7 日以上停止する
簡単な説明 デフォルトでは、Amazon RDS データベースインスタンスを一度に最大 7日間停止できます。7 日後、インスタンスはメンテナンスの更新を見逃さないように再起動します。 インスタンスを 7 日以上停止する場合は、Step Functions を使用してメンテナンス期間を逃さずにワークフローを自動化できます。 **注:**別の解決策については、「ステップ機能を使用して Amazon RDS インスタンスを 7 日以上停止する方法を教えてください」を参照してください。 解決策 IAM 権限の設定 AWS ID およびアクセス管理 (IAM) ポリシーを作成して、Lambda がインスタンスを起動および停止し、インスタンスの情報を取得できるようにします。 1. [IAM コンソール] を開きます。 2. ナビゲーションペインで、[ポリシー] を選択します。 3.
【CloudWatch】RDSのストレージ使用率を監視してみる - サーバーワークスエンジニアブログ
最近はダイエットにも熱が入り、順調に体重が減っているCI部の柿﨑です。 AWS監視について、CloudWatchを使って監視設定を行う機会がございましたので備忘録的に書きます。 今回とくに困ったのがRDSのストレージ使用率の監視となります。 CloudWatchの仕様 代替策 やってみる RDSの拡張モニタリングを有効にする ロググループを確認する ログを確認する メトリクスフィルターを設定する CloudWatch Alarmを設定する 動作チェック おまけ CloudWatchの仕様 RDSのストレージ監視を行う場合は、以下のメトリクスを使用するのが一般的かと思われます。 FreeStorageSpace Amazon RDS のメトリクス このメトリクスは単位がバイトとなっている点に注意が必要です。 ストレージ容量に対して80%以上の使用率を検知させる場合は、以下のような設定になって
【小ネタ】暗号化していない RDS DBの作成を拒否するポリシー | DevelopersIO
ストレージ暗号化が未設定な DB(RDS DBインスタンス、Auroraクラスター)の作成を拒否するポリシーを作成してみます。AWS環境の予防的ガードレールとして、AWS Organizations のサービスコントロールポリシー(SCP)等で活用できると思います。 暗号化していない RDS DBの作成を拒否するポリシー 以下ポリシーを作成しました。 { "Version": "2012-10-17", "Statement": [ { "Sid": "DenyCreatingNonEncryptedDBCluster", "Effect": "Deny", "Action": [ "rds:CreateDBCluster" ], "Resource": "*", "Condition": { "Null": { "rds:StorageEncrypted": false }, "Bool
スイッチロール先のアカウントにあるRDSにローカルPCから接続 | DevelopersIO
事前準備、確認 IAMユーザー、スイッチロールの設定 アカウントBのロールにセッションマネージャー接続が可能な権限があることを確認します。 今回は以下の権限を追加しました。 AmazonSSMFullAccess MFAが有効化されているユーザーを使用する場合、ローカルPCのAWS CLI configには以下のようにスイッチロール先の設定を記載します。 profile名はaccountBで設定しています。 [profile accountB] role_arn = arn:aws:iam::<AWSアカウントBのアカウント番号>:role/accountBrole source_profile = accountA mfa_serial = arn:aws:iam::<AWSアカウントAのアカウント番号>:mfa/accountAuser EC2（踏み台サーバ） アカウントBにあるEC2
定期実行（バッチ）処理で利用する RDS DB インスタンスの自動スナップショットがバックアップ保持期間を超えても残り続けるときの対処方法 | DevelopersIO
困っていた内容 夜間帯だけ起動し、日中は停止する RDS DB インスタンスを使っています。 自動バックアップ設定を有効（7日）としていますが、自動スナップショットが 7 日以上経過しても残り続けます。 なぜバックアップの保持期間を過ぎてもスナップショットが消えないのでしょうか？ どう対応すればいいの？ 自動で作成されるスナップショットは RDS DB インスタンスが停止している時間（ステータスが stopped 状態のとき）、バックアップ保持期間の計算が行われません。このため、現実の経過時間で 7 日経過以降も自動スナップショットが残り続けます。 自動バックアップ保持期間の一例を記載します。 RDS DB インスタンス自動バックアップの保持期間例 シナリオ 01:00 - 04:00: 毎日 3 時間起動（土日祝日も 3 時間起動する想定） 設定 自動バックアップ保持期間: 7 日 自動
RDS のリザーブドインスタンス（RI）に関するよくある質問 - サーバーワークスエンジニアブログ
CI部 佐竹です。 本日は RDS の Reserved DB インスタンスについてのよくある質問とその回答について記載します。 はじめに RDS の RI に関する質問 質問1. RDS の RI の購入予約は可能ですか？ 質問2. 購入済の RI の期限延長は可能ですか？ 質問3. RI 購入後のキャンセルは可能ですか？ 質問4. RI 購入後の設定変更は可能ですか？ 質問5. RDS の RI ではキャパシティー予約は提供されますか？ 質問6. Reservation ID とは何ですか？ 質問7. RDS の RI にタグは付与できますか？ 質問8. RDS の購入推奨の台数が多く表示されますが何故ですか？ 正規化係数 質問9. 有効期限切れを通知することは可能ですか？ 質問10. Organization 配下において、余った RDS の RI は他の AWS アカウントに適用さ
RDS / ElastiCache のメンテナンスウィンドウを 1 週間を超えて延期したいときの対処方法 | DevelopersIO
困っていた内容 RDS で予定されたメンテナンスイベントを先延ばしにしたいです。 現在は 2021-06-26（土）で、メンテナンスの期限は 2021-07-26（月）09:00 JST です。 RDS のコンソール、AWS CLI などで確認したところ保留中のメンテナンスがあります。 メンテナンスウィンドウは水曜日の 03:00 - 03:30（JST）に設定されています。 これを 2021-07-05（月）の週に実施したい場合、どのように対応すればいいでしょうか？ どう対応すればいいの？ 以下の順番にメンテナンスウィンドウを変更してください。 2021-06-28 月曜日 にメンテナンスウィンドウを 日曜日 03:00 - 03:30 へ変更 2021-07-02 金曜日 にメンテナンスウィンドウを 木曜日 03:00 - 03:30 へ変更 2021-07-05 の週で月・火・水曜日
RDS for PostgreSQL で拡張機能を使用しているか確認するには | DevelopersIO
困っていた内容 RDS for PostgreSQL でメジャーバージョンのアップグレードを計画しているため、拡張機能を使用しているか確認したいです。 確認方法を教えてください。 どう対応すればいいの? RDS for PostgreSQL で現在インストールされている拡張機能を一覧表示するには 該当の DB インスタンスへ接続し、以下のコマンドを実行します。 SELECT * FROM pg_extension; 以下の2点を比較し、拡張機能を使用しているかご確認ください ご利用中の PostgreSQL バージョンのデフォルトの拡張機能 対象 DB インスタンスで利用している拡張機能 参考情報 以下は RDS for PostgreSQL を起動し、デフォルトの拡張機能のままコマンドを実行した結果の例です。 ※2021年6月15日現在 の情報となります PostgreSQL 9.6.2
DMS で AWS RDS へ継続的に移行してみた | DevelopersIO
こんにちは、森田です。 今回の記事では、DMSを試すべく自身が契約しているVPSのRDBをAWSのRDSへ移行を行います。 やりたいこと 別環境のVPSのRDBをAWSのRDSに継続的に移行させます。 また、VPSのRDBはWordPressのデータが入っていますので、RDSへ移行後EC2よりアクセスし、再現できているかの確認まで行います。 Database Migration Service（DMS）とは AWS Database Migration Service を使用すると、データベースを短期間で安全に AWS に移行できます。移行中でもソースデータベースは完全に利用可能な状態に保たれ、データベースを利用するアプリケーションのダウンタイムを最小限に抑えられます。AWS Database Migration Service は、広く普及しているほとんどの商用データベースとオープンソー
RDS for PostgreSQLのロケールをCにする | DevelopersIO
はじめに こんにちは、望月です。 RDS for PostgreSQLへの移行を行い、ひさしぶりにPostgreSQLを触ることになりました。 マネージドサービス特有の留意ポイントがあったため、今後RDS for PostgreSQLへの移行を考えてる人の役に立てばと思い、共有致します。 PostgreSQLのロケール設定 PostgreSQLを使う上で、ロケールを無効にする、 --no-locale するといったことをあるかと思います。 これはロケールを C で設定するという意味であり、この設定は文字列のソート順序に影響があります。 ロケールについては、下記サイトに詳しいことが書かれているので参考にしてください。 ロケール(国際化と地域化) このロケール設定ですが、昔(8.3以前)はinitdbコマンド実行時にのみロケールの指定ができるということで、 最初に initdb --no-lo
PostgreSQLをWindows環境からLinux環境に移行する際に注意したい照合順序の問題 | DevelopersIO
CX事業本部@大阪の岩田です。 ライセンスコストの削減等を目的にPostgreSQL on Windows Serverの環境からEC2やRDSの環境に移行するようなユースケースではPostgreSQLのlc_xxx系のパラメータに注意が必要です。 日本語環境のWindowsに「次へ」、「次へ」で標準インストールしたPostgreSQLはlc_xxx系のパラメータがJapanese_Japan.932でデータベースクラスタが構築されます。このJapanese_Japan.932というパラメータはWindows上にPostgreSQLをインストールした場合しか指定できないため、Linux環境ではlc_xxx系のパラメータに何を設定するべきか検討する必要があります。 このブログではlc_collateの指定によるソート順の違いと、ICUサポートを利用した場合のソート順についてご紹介します。 環
IAM認証によるRDS接続を試してみた | DevelopersIO
IAM認証用ユーザの作成 RDSインスタンスが作成出来たら、次の作業を行います。 マスターユーザでRDSに接続 IAM認証用のユーザ作成 まず、RDSに接続できるEC2にアクセスします。対象のEC2のAWS CLIをアップデートしておきます。 $ sudo pip install -U awscli $ aws --version aws-cli/1.11.81 Python/2.7.12 Linux/4.4.41-36.55.amzn1.x86_64 botocore/1.5.44 RDS for MySQLに接続します。 $ mysql -h iamtest.xxxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com -u mymaster -p Enter password: Welcome to the MySQL monitor. Commands
Amazon RDS for MySQLでMySQLエンジンバージョンを5.5から5.7へアップグレードする方法 | Amazon Web Services
Amazon Web Services ブログ Amazon RDS for MySQLでMySQLエンジンバージョンを5.5から5.7へアップグレードする方法 Amazon Web Servicesでは、フルマネージド型のリレーショナルデータベースサービスとして、Amazon Relational Database Service （Amazon RDS） および Amazon Aurora を提供しています。Amazon RDS for MySQLを利用することで、AWSクラウド上でMySQLを容易にデプロイし、運用管理を行うことができるようになります。 Amazon RDSでは、定期的にメジャーまたはマイナーエンジンバージョンの廃止を行います。メジャーバージョンについては、コミュニティ版の対象バージョンがEOLを迎え、ソフトウェアの修正やセキュリティアップデートが行われなくなった場合
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
