AIエージェントを使ってRDSに関するCloudWatchの費用を50％削減した✨
株式会社tacomsのSREのMorixです！ 今回はtacomsのCloudWatchの費用を50％削減した話をしたいと思います。 新しい仕組みの導入をAIエージェントを使って実現したので、仕組みの詳細やAIエージェントのためのプロンプトなどをご紹介できればと思います！ コスト削減効果！！ tacomsのAWSコストの悩み tacomsはAWSを使用しており、データベースはAWS RDS(Aurora MySQL)を使用しています。 セキュリティや障害・パフォーマンス分析の観点からAuditログの出力を有効化していました。 AuditログはCloudWatch Logsへ出力されますが、それがまぁ高い！ さまざまなAWSのサービスを使用していますが、CloudWatchの費用はその中でもトップレベルに高かったです。 その中でもRDSのログがCloudWatchの費用に占める割合は相当なも
Aurora PostreSQLのログをCloudWatch Logsを経由せずに直接S3バケットにPUTしてみた | DevelopersIO
CloudWatch Logsを経由せずに直接S3バケットにログをPUTしたい こんにちは、のんピ(@non____97)です。 皆さんはAurora PostgreSQLのログをCloudWatch Logsを経由せずに直接S3バケットにログをPUTしたいと思ったことはあります? 私はあります。 CloudWatch LogsにDBのログを流すとそれなりに料金がかかります。特にlog_statementであればall、mod、pgaudit.logであればall、read、writeにすると大量のログが流れがちです。 Aurora PostgreSQL DB クラスターのクエリログ記録をオンにする - Amazon Aurora pgAudit 拡張機能のセットアップ - Amazon Aurora そのため、S3バケットにログを出力したいところでしょう。 S3バケットにログを出力する方
RDS for Oracle のメモリ管理方法の注意点と確認方法 - サーバーワークスエンジニアブログ
こんにちは、一年間の研修が終わり、ついに働いています末廣です。 そんな業務の中で RDS for Oracle のメモリ管理について、RDS ならではの制約や注意点があったので、ブログにまとめます。 本題に入る前に、本記事に登場する Oracle のメモリ管理に関する用語を簡単に説明します。 Oracle 関連用語について SGA（System Global Area） PGA（Program Global Area） 自動メモリ管理 HugePages 概要 関連パラメータ 値や条件式の見方 自動メモリ管理のパラメータ（206・207） SGA と PGA パラメータ（308・371） HugePages の条件 メモリ量による条件の表 HugePages がデフォルトで有効にならないインスタンスクラス 上記インスタンスクラス以外の場合 インスタンスクラスの例 db.m4.4xlarge
PostgreSQLエンジンでのAuroraとRDSのベンチマーク - so what
PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"
Benchmarking read/write speed on Amazon Aurora, classic RDS and local disk
I was curious to compare the read/write speed of the different storage options for a PostgreSQL database on AWS, so I made this benchmark in which I tested Amazon Aurora PostgreSQL, the classic PostgreSQL on Amazon RDS, and a manually-installed PostgreSQL on a EC2 machine with a local SSD disk. The different optionsClassic RDS: If you want to store a PostgreSQL database on AWS, the most obvious an
LambdaからRDS/RDBを利用する際に意識したいポイント5選 | DevelopersIO
こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、
AWS RDSでもDBAはparameterチューニングする - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 弊社で某テック・リーダーの遺産として「PostgreSQL 運用管理トレーニング」が1月に実施されたのはまだ記憶に新しいところ。 あのときのリーダーの言葉、憶えているうちに書き留めておこう。 「Managed Service で RDB を使う時代になっても、この研修で扱う知識はDBAもApplication Engineerも持っておくべきだと信じて、企画し実現しました」 （この記憶はほんとうか？ 意訳や美化が入っているかもしれない） 事例の1つを共有しましょう。 担当プロダクトの背景事情 担当プロダクトで使っているPostgreSQ
RDSにSSHポートフォワーディングを利用して接続してみた | DevelopersIO
はじめに PCからAmazon RDSにbastionのSSHポートフォワーディングを利用して接続してみました。 構成を説明します。 Frontendサブネットにbastion（踏み台インスタンス）を配置します。 Frontendはルートテーブルにインターネットゲートウェイへのエントリがあるパブリックサブネットです。 DatastoreサブネットにMySQLのRDSインスタンスを配置します。 Datastoreはインターネットに接続できないプライベートサブネットです。 本構成にはセキュリティ面のメリットがあります。 RDSに接続するためには、RDSのユーザーとパスワードに加えて、bastionの秘密鍵が必要です。 また、不要な時はbastionを停止しRDSへの接続を制限出来ます。 ポートフォワーディングの有効化 bastionでポートフォワーディングを有効化します。 /etc/ssh/s
AWS Glue の基本的な使い方 | 工作HardwareHub
AWS Glue を利用すると Apache Spark をサーバーレスに実行できます。基本的な使い方を把握する目的で、S3 と RDS からデータを Redshift に ETL (Extract, Transform, and Load) してみます。2017/12/22 に東京リージョンでも利用できるようになりました。また、本ページでは Python を利用しますが、新たに Scala サポートされています。 AWS Glue ETL 概略図 AWS Glue を ETL サービスとして利用する場合のシステム概略図は以下のようになります。 Data Source から Data Target に対して ETL します。本ページでは Data Source は S3 と RDS であり、Data Target は Redshift となります。 ETL は Job として実行されます。
AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 AWS Database Migration Service 略称DMSを使って、水平分割されたDBインスタンスを縮退しようと計画していましたが、検証中に不具合らしきものを見つけたので中断しました。この記事はDMSを検証中に引っかかったトラブルや対策について書いていたメモをまとめたものです。今回の記事中で説明する内容は実環境からぼかしている箇所がありますがご容赦ください。 ※ この文章での「メンテナンス」という単語は、ゲームシステムのメンテナンスを指しており、AWS側のメンテナンスとは異なります。 動機 通常DBは基本的にはスペッ
[RDS Oracle]REDOログファイルのサイズ変更方法 | DevelopersIO
はじめに こんにちは、yokatsukiです。 今回もAmazon RDS for Oracle(以下RDS Oracle)の話です。例によって、お客様からの相談から始まります… アラートログファイルに気になるメッセージが… 運用中のRDS Oracleに関する相談を受けました。 「アラートログに以下のメッセージが毎日大量に出力されているのですが、これは普通なのでしょうか？」 Thread 1 cannot allocate new log, sequence 17097 Checkpoint not complete Current log# 4 seq# 17096 mem# 0: /rdsdbdata/db/XXSYSTEM_A/onlinelog/o1_mf_4_ckjwwbfz_.log Thread 1 advanced to log sequence 17097 (LGWR
![[RDS Oracle]REDOログファイルのサイズ変更方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/15b1b38c0d027aa8e0bdb38c9418116955076108/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Ficon-rds-oracle-db.png)
Amazon RDS for Oracle入門(1) | システム・アプリ開発 - クロスパワークラウドブログ
はじめまして、マツナミと申します。 普段はOracle Databaseの導入を主軸として、ITインフラの設計・構築などの仕事をしています。 そんなわけで、データベース周りのことについてこのブログに書いていきたいと思います。 今回はAmazon RDS for Oracleについて、オンプレ環境のOracleとの違いをテーマとします。 対象読者は、オンプレでOracleDBの運用などをやっていてRDSへの移行を検討しているDBAです。 もうすでにRDSバリバリ使ってます！という方に有益な情報はたぶんありません。あしからず。 なお、以下のSQL結果などは11.2.0.4 Standard Editionをベースとしています。 パラメータやユーザ情報などは12cでは異なりますのでご了承ください。 RDS for Orcleを使ったときの制限 RDS for Oracleはマネージドサービスのた
Amazon RDS for MySQLの空き容量の確認と対策 - Qiita
はじめに RDSのRIの期限が近づいてきて、今年も去年と同じでいいかなと、ふとRDSを確認したところ、RDSの空き容量がかなり減っていたことが発覚。(←社内用サーバだから普段放置だったけど、何気に空き容量3%切ったアラームもRDSダッシュボード上に出ていた。) RDSの空き容量の確認方法と空き容量を増やすための対策（主にフラグメンテーションの解消法）について、自分用メモ。 前提条件 RDS MySQL 5.6 InnoDB （長期運用によりdata_freeの容量が増える。） 社内用サーバ （重要度：低。シングル構成。データ容量は数百GB。複数DBが同居。データの挿入は分単位、削除は時単位でやってるようなサーバ。） 流れ 現状確認 : 状況・原因の把握とスケジュール決め。 暫定対応 : 不要なDBやテーブルがあれば手っ取り早かったが今回はなかったし、まだ期限に余裕もあったので、何もせず。
Amazon RDS for MySQLとAmazon AuroraとGoogle Cloud SQL（2nd Generation）のレプリケーションの違い - Qiita
はじめに Amazon Auroraのことばかり言っていますが、 GCPでも2016/08/23にGoogle Cloud SQLのSecond Generation がGAとなり、ようやくGCPでもマネージドなMySQLが使い物になるようになってきたのではないでしょうか？ Googleの記事（前出）やAWSのマネジメントコンソールを見ていると、お互い相手を意識していることがありありと分かったりするのですが、Amazon RDS for MySQL（以下RDS(MySQL)とします）とAmazon Aurora（同Aurora）の間だけではなく、Google Cloud SQL（Second Generation）（同GCS） もレプリケーションで使える構成がかなり違います。 もちろん、RDS(MySQL)とGCPは旧来のMySQLをクラウドに乗せているのに対し、Auroraは分散共有スト
HAProxyを利用してRDSのリードレプリカを振り分けてみる | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、づやです。 AWS（Amazon Web Services）を利用した際に、RDSを利用することが多いかと思います。リードレプリカも簡単に作成できると思うのですが、アプリケーション側からどのリードレプリカに振り分けるかというのがなかなか大変なのではないでしょうか。そんなときの選択肢の 1 つとして、HAProxyを利用するのがよいかもしれません。 設定してみたので、今回はそちらを紹介します。 HAProxyとは TCP 通信（L4）や HTTP 通信（L7）の負荷分散、プロキシとして利用可能な歴史あるソフトウェアです。豊富な負荷分散方式や ACL 設定が可能など機能面も充実しております。かなりハイパフォーマンスなソフトなので、L4 モードなら同時数百万セッション / 秒とかも捌けるらしいです。 >> HAProxy 公式ページ HAProxyの導入方法 まずはインストールです。
lambdaでVPC内のRDSにアクセスする - Qiita
はじめに AWS LambdaがVPCに対応したので、プライベートネットワーク上のRDSにアクセスできるようになりました。 Pythonでやってみましたので、手順をメモしておきます。 Python LambdaからRDSへの接続はMySQL-pythonを利用します。 外部ライブラリを利用する場合は、スクリプトとライブラリを合わせてzip圧縮し、アップロードする必要があります。 今回はEC2(Amazon Linux AMI 2016.03.0)で準備したときの手順です。 準備 テスト用RDSを用意します。 ここと同じ手順で、RDS(MySQL)の起動とテーブルの作成を行います。 作業ディレクトリを作成
RDSでロックなしのALTER TABLE(pt-online-schema-change使用) - Qiita
データ件数が大量に(レコード数100万以上とか)ある場合、ALTER TABLE時にテーブルの書き込みロックが無視できないレベル(時間)で発生します。 テーブルの書き込みロックについて MySQL5.5以前: ALTER TABLE時に発生 MySQL5.6以降: ALTER TABLEでカラムのデータ型変更、全文検索用インデックスの追加、プライマリキーの削除、文字コードの変換/指定 を行った時に発生 参考: http://takatoshiono.hatenablog.com/entry/2015/03/11/013316 pt-online-schema-changeを使用することで、テーブルロックなしでのALTER TABLEができます。 pt-online-schema-changeのインストール方法(Mac homebrew) $ brew install percona-too
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
AWS Blackbelt 2015シリーズ RDS
1. 1 Amazon Relational Database Service (Amazon RDS) 2015年5月27日（2015年11月26日更新） AWS Black Belt Tech Webinar 2015 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 下佐粉 昭 4. 4 モバイルサービス Mobile Analytics, Cognito, SNS お客様のアプリケーション コンテンツ配信 CloudFront ネットワーク VPC, Route 53, Direct Connect 認証とログ IAM, Cloud Trail, Cloud HSM, Config モニタリング Cloud Watch, Trusted Advisor デプロイと自動化 Elastic Beanstalk, Cloud Formation, OpsWorks
MySQLのバイナリーログからデータ更新過程を確認したい
CMSなどで同じ記事が何度も更新されたとして、DBにある最終形は別にして、記事が更新された過程を知りたいといことがまれにある。この過程をバイナリーログ(binlog)から復元する方法を RDS MySQL 固有の動きを中心にメモ。 環境は データベースは RDS 版 MySQL(5.6) クライアントは EC2 上の Amazon Linux バイナリーログの用途 バイナリーログはテーブルへの更新を連続的に記録するもので レプリケーション 差分バックアップ/リストア などで利用することが可能。 binlog の中を覗いてみる 次にメインの binlog を覗いてみる。 binlog を確認 MySQL に接続して show binary logs コマンドで確認する。 mysql> show binary logs; +----------------------------+------
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
