AWSのDMSやブルー/グリーンデプロイを使ってMySQL8.0へ移行した話 - BASEプロダクトチームブログ
はじめに Data Strategyチーム（以下、DSチーム）でDWHやBIツールの運用をしている@shota.imazekiと不正検知やAWS基盤運用をしている@tawamuraです。 Aurora MySQL v2（MySQL5.7互換）が2024/10/31に標準サポート終了となるため、DSチームでは2024年6月にAurora MySQL v3（MySQL8.0互換）へのアップグレードを実施しました。 その際に得られた課題や知見について紹介していきます。主にAWS DMSやAmazon RDS ブルー/グリーンデプロイを用いたアップグレード方法の話になります。 DSチームのインフラ構成 DSチームはBASEの機械学習基盤を構築・運用しており、APIなどを介してプロダクト側へ機械学習モデルの推論結果などを返しています。学習・推論のために使うプロダクト側のデータはDMSを用いて、DS環
Readable standby instances in Amazon RDS Multi-AZ deployments: A new high availability option | Amazon Web Services
AWS Database Blog Readable standby instances in Amazon RDS Multi-AZ deployments: A new high availability option Amazon RDS Multi-AZ deployments are ideal for production database workloads. When you have Multi-AZ deployment, Amazon Relational Database Service (Amazon RDS) provisions one primary and one standby DB instance with synchronous physical replication of Amazon Elastic Block Store (Amazon E
RDS for PostgreSQLのログ設定まとめ | DevelopersIO
こんにちは、虎塚です。 前回は、RDSでのDBアクセスログの管理方法をご紹介しました。今回はもう少し踏み込んで、RDS for PostgreSQLを対象に具体的なログ関連の設定項目についてまとめました。 DBログの取得/運用についての設計をするにあたり、大切なのは「ログの利用目的」です。一方、どんなことを決めてDBの設定に落とす必要があるかを、設定項目からボトムアップで見てみるのも、DBMSを理解する上ではよいかと思います。 DBログ設定の項目を検討する前の前提知識 RDSでは、DBの設定項目をパラメータグループで設定します。ひとつひとつの項目を確認する前に、知っておいたほうがよいことを紹介します。 engine-default値の意味 パタメータグループには、engine-defaultと表示されている設定項目があります。 値が「engine-default」になっている設定項目には、
Amazon RDS PostgreSQL レプリケーションのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon RDS PostgreSQL レプリケーションのベストプラクティス Amazon RDS for PostgreSQL では、読み込み負荷を取り除き、災害復旧 (DR) リソースを作成するために、ソース PostgreSQL インスタンスのレプリカを簡単に設定することができます。リードレプリカは、ソースと同じリージョン、または異なるリージョン内に設定できます。 RDS PostgreSQL リードレプリカインスタンスを使用すると、読み込みワークロードをレプリカインスタンスにオフロードすると同時に、書き込みアクティビティのためにソースインスタンスのコンピューティングリソースも確保します。ただし、レプリケーション遅延を避けるには、リードレプリカを正しく設定し、適切なパラメータ値を設定する必要があります。 概要 この記事では、リードレ
RDS (Aurora) のカスタムエンドポイントの設定変更は通信断がある - Qiita
編集アクションによる変更の進行中は、カスタムエンドポイントへの接続やカスタムエンドポイントの使用はできません。エンドポイントのステータスが [使用可能] に戻り、再度接続できるようになるまでに数分かかることがあります。 「使用できません」とは？ 「再度接続できるようになる」までの間どういう状況なの？ 設定変更したいときどうしよう？ という興味で試してみた。 ※AWS側の仕様変更などで将来的に確認結果は変わる可能性はあるので現状 (2019/2/22現在)の参考までに。 確認方法 Auroraクラスタに対してDNS Lookupの状況の変化＋mysqlコマンドでの接続可否がどう変化するのかを見ていく。 ※以下のような雑な確認用スクリプトにて...。 #!/bin/bash BEGIN=1 END=1800 LOG=$1 for i in `seq ${BEGIN} ${END}` do ec
RDSのPromote Read Replicaを試してみた - サーバーワークスエンジニアブログ
こんにちは！AWSチーム@福岡のザビオです！ 最近福岡はすごく冷えますが、僕はラーメンを食べて体を温めて仕事しています。 だいぶ、お腹の方もスケールしていますが、体調管理にはお気をつけてください！ 早速本題ですが、RDSのRead Replicaの昇格機能について実験してみましたので、記載します。 実験１. ・マスターDBからRead Replicaを作成する ・Read ReplicaのPromote Read Replicaを実行する ・実行中のPromote Read Replicaにinsert文を発行する ・反映される？ 実験2. ・昇格後のRead ReplicaをMulti-AZにする ・Multi-AZ中のRDSインスタンスにinsertする ・反映される？ 環境. ・zabbio2がMaster DB ・zabbio3がRead Replicaでございます。 ・datab
AWS RDS デフォルトDBパラメータグループ運用止めませんか？ - vague memory
デフォルト設定で構築してあったAmazon RDSMySQLの運用でちょっと困った事があったので。 SlowQueryを取りたいんだけど？ MySQL運用あるあるです。 デフォルトOFFなので必要に迫られてONにするケースは多々あります。 どうぞどうぞ slow_query_log または log-slow-queries スロークエリログの有効/無効 slow_query_log_file スロークエリログファイル名 long_query_time スロークエリログに出力する閾値(デフォルト10秒) この辺りの 動的パラメーター を設定すれば良いのです。 もちろん 動的パラメーター なのでデータベースを停止することなく変更可能です。 では、適用しましょう まず、RDSなので権限が無いためSET GLOBALコマンドでの変更は行えません。 ERROR 1227 (42000): Acces
The mystery of the hanging S3 downloads
A coworker was experiencing a strange problem with their Internet connection at home. Large downloads from most sites worked fine. The exception was that downloads from a Amazon S3 would get up to a good speed (500Mbps), stall completely for a few seconds, restart for a while, stall again, and eventually hang completely. The problem seemed to be specific to S3, downloads from generic AWS VMs were
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New — Deliver Interactive Real-Time Live Streams with Amazon IVS Live streaming is becoming an increasingly popular way to connect customers with their
Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成する - Qiita
Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成するMySQLRDSmariadbAmazonRDS ワンライナーでMySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成 sshシェルとか取れない環境などで、参考にコンフィグレーションファイルが欲しいとか思うことがあるわけです。 どういうわけか、つまりはAmazon RDSとかいうわけですが・・・。 まぁ、mysqlを結構使う人にとっては当たり前なのかもしれませんね。 mysql -u root -p -h 127.0.0.1 -A -NBe 'SHOW VARIABLES' | sed 's,\t,^=,' | column -ts^ | tr "\n" '@' | eval $(echo "sed '" "s,@\("{a..z}"\),\n\n\1,;" "'")
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめてのAmazon RDS for PostgreSQL