Terraform で AWS に DB を構築するとき manage_master_user_password を使っていますか？ - 電通総研 テックブログ
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 Terraform で Amazon RDS インスタンス/クラスターを作る時に、password または master_password 属性に指定したマスターユーザーのパスワードが tfstate ファイルに平文で残ってしまう問題がありました。 （参考） https://speakerdeck.com/harukasakihara/sekiyuanaterraformfalseshi-ifang-ji-mi-qing-bao-wokodonihan-mezuhuan-jing-gou-zhu-surunihadousitaraiifalse しかしこれも過去の話。Terraform AWS Provider v4.61.0 からこの問題を解消する方法が提供されているので、それについ
rdsadmin とは何か？Aurora の監査ログに大量出力される rdsadmin ユーザーについてと、rdsadmin に関するアクティビティログを除外する方法 | DevelopersIO
コーヒーが好きな emi です。 Aurora MySQL 互換クラスターの監査ログを確認したところ、rdsadmin というユーザーの監査ログが大量出力されていました。自身がマスターユーザーで操作したログにたどり着くのに苦労したため、rdsadmin が何者なのか調査しました。 ついでに特定ユーザーの監査ログを除外する設定も発見したので、rdsadmin の監査ログを除外してみました。 監査ログが「rdsadmin」のログで埋め尽くされる 以下のような構成で Amazon Aurora MySQL 互換クラスターの監査ログを CloudWatch Logs にエクスポートしています。 項目 詳細 Aurora MySQL 互換クラスターの監査ログを CloudWatch Logs にエクスポートする方法については以下ブログを参照ください。 CloudWatch Logs にエクスポートし
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
AWS RDSのトリガー作成が本番環境のみ失敗する罠を見つけた - SO Technologies 開発者ブログ
こんにちは、ライクル事業部 エンジニアの菊池@kichionです 去年(2021年)からフロントエンド環境の立ち上げを行い、現在はバックエンドに戻ってきて技術負債の解消などを中心にシステム改善を行っています 現在システムのリプレイスなどでデータ設計から見直すこともあり、イベントデータをRDB(MySQL)のトリガーで生成しようと取り組んでいたところで罠のようなAWS RDSの仕様に引っかかってしまったのでその内容を紹介します 前提 AWS RDS(MySQL) バックアップ 事件 調査 原因 解決 検証 まとめ 前提 AWS RDS(MySQL) AWSで使えるRDBサービスです ライクルではデータベースエンジンでMySQL（Auroraではない）を利用しています 記事を書いている時点ではver 5.7.33を利用しています バックアップ AWS RDSではいくつかバックアップ方式がありま
AWS RDSでもDBAはparameterチューニングする - Qiita
弊社で某テック・リーダーの遺産として「PostgreSQL 運用管理トレーニング」が1月に実施されたのはまだ記憶に新しいところ。 あのときのリーダーの言葉、憶えているうちに書き留めておこう。 「Managed Service で RDB を使う時代になっても、この研修で扱う知識はDBAもApplication Engineerも持っておくべきだと信じて、企画し実現しました」 （この記憶はほんとうか？ 意訳や美化が入っているかもしれない） 事例の1つを共有しましょう。 担当プロダクトの背景事情 担当プロダクトで使っているPostgreSQLをメジャーアップするには、現況を把握して変更影響を洗い出す作業から始めます。 現況把握のひとつとして、postgresql.conf（AWS RDSだとparameter group） の状況調査をしました。 重点ポイント PostgreSQLデフォールト
RDS for MySQLで変更すべきパラメータチューニング - なからなLife
呼ばれたきがしたので soudai.hatenablog.com なお、InnoDB限定のお話ですよ。MyISAMを（システムテーブル以外で）使ったことない若輩者なので。 ちょっと余裕がないこともあり、思いつく最小限のことだけ書きます。追加で思いついたら後ほど＆温かいフォロー（というマサカリ？）歓迎。 checkpointに影響がある値 innodb_log_file_size Redoログのファイルサイズです。 生MySQLのデフォルトは「50331648 Byte（48MB）」、RDSのデフォルトは「134217728 Byte（128MB）」。大きなバッチ処理がなければ間に合うかも知れないですが、広げたほうがよいでしょう。 適切な値の範囲は、1M バイトから 1/バッファープールの N 番目のサイズまでです。ここで、N はグループ内のログファイルの数です。 https://dev.m
CloudWatch Logs Insights を使って MySQL の performance_schema を分析する | はったりエンジニアの備忘録
CloudWatch Logs Insights を使って MySQL の performance_schema を分析する freee のプロダクトは RDBMS に MySQL を使っています。これまでもさまざまな方法でパフォーマンス改善を行ってきましたが、新たに CloudWatch Logs Insights を使って MySQL の performance_schema を分析する仕組みを作りました。 具体的には CloudWatch Dashboard を使って問題のありそうなクエリを見える化しました。次のスクリーンショットは一例ですが、このリストは CloudWatch Logs Insights にクエリを投げた結果です。 当初は DWH 用の Redshift に取り込んで Redash で分析するつもりでしたが、CloudWatch Logs Insights を使うこ
AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita
概要 AWS Database Migration Service 略称DMSを使って、水平分割されたDBインスタンスを縮退しようと計画していましたが、検証中に不具合らしきものを見つけたので中断しました。この記事はDMSを検証中に引っかかったトラブルや対策について書いていたメモをまとめたものです。今回の記事中で説明する内容は実環境からぼかしている箇所がありますがご容赦ください。 ※ この文章での「メンテナンス」という単語は、ゲームシステムのメンテナンスを指しており、AWS側のメンテナンスとは異なります。 動機 通常DBは基本的にはスペックが不足したらスケールアップを行い対応します。弊社では加えてより大規模な負荷でも耐えられるよう水平分割してスケールアウトも併用する構成になっております。規模の拡大時には問題無いのですが、必要とされる負荷が下がった場合や、サービスの使われ方が変わって別のサブシ
RDSリードレプリカの負荷分散・冗長構成をRoute 53のヘルスチェックとCloudWatch Alarmで実現する | DevelopersIO
プライベートホストゾーンが作成されます。 また、プライベートホストゾーンを割り当てたVPCでは、DNSサポートを更新する必要があります。こちら（VPC での DNS の使用）を参考に、設定しておいてください。 手順4「リードレプリカに対するCNAMEレコードを作成し、ヘルスチェックを割り当てる」 作成したプライベートホストゾーンで、「Create Record Set」をクリックし、レコードを作成します。まずは、リードレプリカ1号機に対して設定します。 Name アプリケーションサーバからリードレプリカにアクセスする時に利用するCNAMEを指定します ここでは、readを指定します。これにより、read.db.localで、リードレプリカにアクセスできます Type Cnameを設定 Alias：Noを選択 切替を迅速にするためTTLを10に指定 Valueには、リードレプリカのエンドポイ
ProxySQLをつかったRDSの切り替え - so what
ProxySQLとは ProxySQLはMySQL用のL7のプロキシサーバで、プロキシサーバのレイヤでR/W Splittingできたり、クエリの書き換えをできたり、負荷分散などができたりする便利ミドルウェアです。 www.proxysql.com Dropboxの中の人が書いているみたいで、Perconaの推しミドルウェアみたいです。（開発にも関わっているのかな？） あとQiitaにもいくつか記事が上がってます。 https://qiita.com/search?q=ProxySQL 設定の管理が結構独特で、MySQLっぽく振る舞うsqliteで管理されていて、動的にバックエンドのサーバを書き換えたりすることができます。設定まわりの概念的なものは『ProxySQL触ってみた - Qiita』がわかりやすいかも。 動的なバックエンドの切り替え 管理用インターフェースに対して、以下のようなク
DMSを使って非暗号化RDS MySQLから暗号化Auroraに無停止で移行する - yoshidashingo
セクションナイン の 吉田真吾（@yoshidashingo）です。 DB無停止移行は人類の夢 利用する特徴 手順 移行元データベース(MySQL) 中間データベース(Aurora Read Replica) 移行先データベース(暗号化済みAurora) DMS ソース／ターゲットデータベースに接続する タスクを作成して実行する 継続レプリされているか確認する アプリ切替 移行元にデータを書き込む まとめ 参考 DB無停止移行は人類の夢 暗号化していないRDS MySQLから暗号化済みのAuroraに移行したいけど、スナップショットの復元でもAurora Read Replicaのマスター昇格でも一発ではリソース暗号化ができませんが、そんなときに便利なのがDatabase Migration Service(DMS)です。 DMSを使えばどちらかがリソース暗号化されたデータベースであっても
Amazon RDSを参考にしたとりまチューニング
Amazon RDSを参考にしたとりまチューニング 1. Update 2010/7/21 Amazon RDSを参考にした とりまチューニング 2016/08/19 関西地区PostgreSQL勉強会 株式会社ロックオン 三原俊介 1 2. Update 2010/7/21 自己紹介 2 3. 2012.04 株式会社ロックオン入社 インフラユニット 現在 マーケティングPF 開発部 主にインフラ全般、開発環境の改善、 ロックオフの管理人などなどやってます 三原 俊介– Shunsuke Mihara 自己紹介3 4. 始める前のアンケート4 質問: みなさんDBのチューニング経験はありますか 1. PostgreSQLを使ったことがある方 2. PostgreSQLのチューニングをしたことがある方 3. MySQLを使ったことがある方 4. MySQLのチューニングをしたことがある方
構成管理を意識したRDSのDBパラメータグループの更新作法 | DevelopersIO
こんにちは、虎塚です。 今回は、RDSの設定値を変更する際に、構成管理の観点から考えて採用している方法を紹介します。 RDSの設定値変更時の管理対象 データベースの設定値を管理するにあたって、次のような要求が考えられます。 変更の実施前の状態と実施後の結果を管理したい 実施した変更内容を管理したい 変更前後の内容の差分から変更を推測するのではなく、「どのような変更をおこなったか」を特定したい RDSの設定値は、DB パラメータグループの更新によって変更します。そのため、上の要求を満たすためには、次の要素を管理対象にするとよいでしょう。 1を満たすために必要なもの（変更の前後で保存） DBパラメータグループの値 DBに実際に設定されている値 2を満たすために必要なもの DBパラメータグループ更新時のコマンド 管理上必要なメタな情報 変更実施日時、変更実施者名、変更要求とのトレーサビリティを確
AWS再入門 Amazon RDS編 | DevelopersIO
上記の中のRDBMS全てに加えて、クラウド時代に合わせて再設計したAurora、MySQLのフォークであるMariaDBが使用できます。 MySQL：最もシェアがあるOSSのRDBMS。 Oracle：高いシェアがある商用RDBMS。 SQL Server：高いシェアがある商用RDBMS。Windowsとの親和性が高い。 PostgreSQL：機能が豊富なOSSのRDBMS。 Aurora：AWSがクラウド時代に再設計したRDBMS。MySQL 5.6互換でMySQLの5倍高速と言われています。 MariaDB：MySQLからフォークしたRDBMS。MySQL互換。 性能向上が簡単に実施可能 Amazon RDSでは、様々なスペックのインスタンスを使用できます。最大40個のvCPUのインスタンスや244GBのメモリのインスタンスがあります。性能が不足してきたら、インスタンスのサイズを変更す
RDS for MySQLのスロークエリーログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 Elasticseachに取り込むネタが続いています。 前回のELBのアクセスログをAWS LambdaでElasticsearchに取り込むに続いて、今回はRDS for MySQLのスロークエリログをElasticsearchに取り込む実装をご紹介します。 概要 MySQL Serverはスロークエリーログにより指定した秒数を超えるクエリを記録することができます。スロークエリログはパフォーマンス劣化の解析、クエリの適切性、DBのマシンパワーの適切性のチェックに役立ちます。RDS for MySQLも例外ではありません。パラメータグループを設定することにより、スロークエリログを有効にすることができます。それに加えてRDS for MySQLの場合、AWSのAPIによりデータベースに接続せずともスロークエリログを取得することができます。 スロークエリログフォーマット
Nice to meet you Aurora!!
Amazon Aurora 東京ローンチイベント 10/Nov/2015 発表資料 - RDS for MySQL から Aurora への移行に関する共有 事前に読んでおくべき資料 - Amazon re:Invent (DAT405) Amazon Aurora Deep Dive http://www.slideshare.net/AmazonWebServices/dat405-amazon-aurora-deep-dive - AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon-aurora - RDS for AuroraとRDS for MySQL5.6のPar
RDS for PostgreSQLのログ設定まとめ | DevelopersIO
こんにちは、虎塚です。 前回は、RDSでのDBアクセスログの管理方法をご紹介しました。今回はもう少し踏み込んで、RDS for PostgreSQLを対象に具体的なログ関連の設定項目についてまとめました。 DBログの取得/運用についての設計をするにあたり、大切なのは「ログの利用目的」です。一方、どんなことを決めてDBの設定に落とす必要があるかを、設定項目からボトムアップで見てみるのも、DBMSを理解する上ではよいかと思います。 DBログ設定の項目を検討する前の前提知識 RDSでは、DBの設定項目をパラメータグループで設定します。ひとつひとつの項目を確認する前に、知っておいたほうがよいことを紹介します。 engine-default値の意味 パタメータグループには、engine-defaultと表示されている設定項目があります。 値が「engine-default」になっている設定項目には、
AWS RDS デフォルトDBパラメータグループ運用止めませんか？ - vague memory
デフォルト設定で構築してあったAmazon RDSMySQLの運用でちょっと困った事があったので。 SlowQueryを取りたいんだけど？ MySQL運用あるあるです。 デフォルトOFFなので必要に迫られてONにするケースは多々あります。 どうぞどうぞ slow_query_log または log-slow-queries スロークエリログの有効/無効 slow_query_log_file スロークエリログファイル名 long_query_time スロークエリログに出力する閾値(デフォルト10秒) この辺りの 動的パラメーター を設定すれば良いのです。 もちろん 動的パラメーター なのでデータベースを停止することなく変更可能です。 では、適用しましょう まず、RDSなので権限が無いためSET GLOBALコマンドでの変更は行えません。 ERROR 1227 (42000): Acces
運用してわかった Amazon RDS のパフォーマンスを上げる 3 つのコツ
本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fate/Grand Orderにおける、ディライトワークス流 AWS 導入&活用術
