AWS RDS/AuroraのDDL運用を最適化する | 外道父の匠
AWS re:Invent 2022 にて RDS の Blue/Green が発表されたことを受けて、この辺の具体的な運用をどのように改善できるのか考えていきます。 たいした内容ではないですが、丁寧に最適化して慣れれば、それなりに強い効果を発揮できそうな感じはあります。 ALTER TABLE の辛み まず復習からですが、RDS に Blue/Green が実装されるほど辛い運用はなんだったかというと、重い ALTER TABLE にあります。 ALTER には色々あるのでアレですが大雑把に言うと、容量や行数が大きいテーブルに対して実行すると、数時間単位～の処理時間がかかることが多く、しかもパッと見で進捗を把握できないという問題を抱えていました。それに対して色んな対策を取っていたと思います。例えば…… Handler_write SHOW GLOBAL STATUS LIKE ‘Hand
RDS Blue/Green Deployments を使ってシュッと utf8mb4 にマイグレーションした話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL 2（MySQL 5.7 互換）を使っています（以下 Aurora MySQL と略します）。 ある日、社内の Slack で「𠮷」などの文字列が登録できないのではないかという話が出ました。これを聞いて「あー」と思った方も多いでしょう。 MySQL で有名な UTF-8 の 4 バイト文字問題で、歴史的な理由から MySQL 5.7 以前では utf8 の文字セットは utf8mb4 ではなく utf8mb3 を指しています。 dev.mysql.com カミナシのアプリケーションは 4 バイトの文字列が入力された場合はシステムエラーを返す実装になっていますが、エラーの内容をユーザーにわかりやすく伝えることは難しいためユーザー体験としても良くない
AWSのRDSでブルー／グリーンデプロイ - 株式会社ブースターテクノロジー
AWSからRDSのバージョンアップをしろという通知が来た。 MySQL5.7 のサポートが終わるから8系にしてね、更新しない場合は自動的に更新しちゃうよと。 今回はブルー／グリーンデプロイ方式でバージョンアップを行った。 （１）手順１ 対象のDBを選択し、「ブルー／グリーンデプロイの作成 – 新規」から後は普通にやればOK。 ブルー ⇒ 既存のMySQL 5.7.38 グリーン ⇒ 新しいMySQL 8.0.34 が出来上がる。グリーンの方は read only として作られた。 所要時間30分程度。 （２）手順２ ステージング環境のWebアプリのDB接続先をグリーンの方に向けて動作確認 （３）手順３ OKなら「切り替え」を行うことで、グリーンがブルーになる。 アプリケーション側は何もする必要なし。 所要時間5分程度。 （４）手順４ 本番環境で動作確認。 ※※ 注意！！ ※※ ついでにRD
AWS Amazon RDSのバージョンアップにBlue/Greenデプロイ機能を使ってみた - Qiita
内容 RDS AuroraのMySQLのバージョンをAurora2(MySQL5.7) ⇒ Aurora3(MySQL8.0)にアップデートする際、先日のre:Invent 2022で発表された「RDSのBlue/Greenデプロイ」という新しい機能を使用してみました。 今回その手順と、詰まったポイントをまとめていきたいと思います。 添付画像の網掛けが多い点はご容赦ください。 目次 Blue/Greenデプロイの概要 手順 スナップショットを取得 Blue/Greenデプロイの作成 GreenのDBに変更を加える 変更を加えたgreenのdbをテスト GreenをBlueに切り替え 完了 後始末 トラブルシューティング Blue/Greenデプロイの概要 Blue/Greenデプロイとは 現在運用中の環境をBlueとして、レプリケーションしたステージング環境（Green環境）を用意します。
Amazon RDS Blue/Green Deployments を色々と検証してみた！
こんにちは！ スターフェスティバルでインフラエンジニアをやっております @koonagiです。 早いことにもう1月も終わりますね。 1月のうちにブログを書こうと思っていたら、あっという間に終盤になってしまっていて急いでこの記事を書いていますｗ さて、先月のre:Inventでリリースされた Amazon RDS Blue/Green Deployments について、最近検証したのでそのことについて書いていこうと思います。 Aurora v1(MySQL 5.6)が2月末でサポート終了となるため、Aurora v2(MySQL 5.7)へのバージョンアップの際にAmazon RDS Blue/Green Deploymentsを活用しようと考えており、事前準備として検証を進めました。 Amazon RDS Blue/Green Deploymentsとは 公式からの引用です。 ブルー/グリ
RDS for MySQL DB エンジンのアップグレード - Amazon Relational Database Service
新しいバージョンのデータベースエンジンが Amazon RDS でサポートされている場合は、DB インスタンスをその新しいバージョンにアップグレードできます。MySQL データベースのアップグレードには、メジャーバージョンのアップグレードとマイナーバージョンのアップグレードの 2 種類があります。 メジャーバージョンのアップグレード メジャーバージョンのアップグレードには、既存のアプリケーションとの下位互換性のないデータベースの変更が含まれる場合があります。そのため、DB インスタンスのメジャーバージョンアップグレードは手動で実行する必要があります。メジャーバージョンアップグレードをスタートするには、DB インスタンスを変更します。メジャーバージョンのアップグレードを行う前に、「RDS for MySQL のメジャーバージョンのアップグレード」の手順を実行することをお勧めします。 マルチ
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
本番環境でダウンタイムを最小限にするためRDSをMulti-AZ構成にした後スケールアップを行う - Qiita
こんにちわ！OCEAN'Sの大庭です。 今回は、本番環境でRDSのスケールアップを行いましたのでその手順とログを紹介していきます 概要 まず、RDSがSingle-AZ構成のままスケールアップを行うと、 インスタンス停止 インスタンスタイプの変更（スケールアップ） インスタンス起動 となってしまい、DBサイズにもよるがサービスダウンタイムが10分弱はかかってしまいます。 そのため、今回は以下の方法でスケールアップを行います RDSをMulti-AZ構成に変更 RDSのスケールアップ プライマリにフェイルバック RDSをMulti−AZに変更 まず、RDSをMulti−AZ構成に変更する。 Multi-AZ構成への変更はダウンタイムが発生しませんが、 シングル AZ からマルチ AZ への変換時のダウンタイムを回避できますが、マルチ AZ への最初の変換時にパフォーマンスに大きな影響が出るこ
CactiでAmazon RDS for MySQLの性能監視 | 稲葉サーバーデザイン
※監視結果データはEC2インスタンスの/usr/share/cacti/rra/ に保存されます。すでに作成済みのRRDファイルは上記のように保存期間を変更しても反映されないため、別途rrdtoolコマンドでRRDファイルを修正する必要があります。このため、監視対象を追加する前に保存期間を延ばしておくとよいでしょう。 Cacti監視を開始 Cactiのcronエントリーのコメントアウトを外し、監視を開始します。 # vi /etc/cron.d/cacti -- */5 * * * * cacti /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1 -- これで、5分に一度監視データの取得を実行します。 グラフ表示の確認 WebブラウザでCacti Webページを表示します。 http://<EC2のホスト名またはIPアドレス
安全な Amazon RDS のアップデート | feedforce Engineers' blog
こんにちは。増田です。Amazon で PS4 Pro の料金が定価に戻っていたので、日曜日にうっかりポチッとしてしまいました。今日も元気です。 先月、RDS for MySQL を 5.5.40 から 5.5.53 にアップデートしました。今月で MySQL 5.5.40 のサポートが切れ、強制アップデートされるためです。 私が対応するのは今回で 3 回目になりますが、今までは Staging 環境で検証した後、深夜作業で Apply Immediately もしくは Reboot していました。 今回は MySQL のメジャーアップデートではないため、問題が起きる可能性は少ないのですが、仮に問題があった場合にロールバック出来ません。 そのため、出来るだけ安全側に倒してアップデートしてみました。この記事を書くことで、属人化を廃することを期待していたり、もっと良いやり方があれば知りたいとい
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
AWS LambdaでPHPを動かしてRDS(MySQL)へ接続する - Qiita
以前は、LambdaからRDSへ接続するには、RDSをパブリックアクセス可能に設定し、LambdaのIPアドレスを通すようなセキュリティグループの設定も必要でした。 しかし、LambdaからVPCアクセスが可能となった今、スマートかつセキュアに接続をすることができます。 LAMP環境を作る AWS LambdaのVPC対応によって、LAMP環境の構築が容易になりました。 LAMP環境とは、LAmbda, MySQL, PHP で構成されるアプリケーションの実行環境のことです。 (Python?知らない子ですね) AWS Lambdaで動かすPHP AWS LambdaにはPHPが入っていません。 なので、PHPを動かすためには、Node.jsなどのAWS Lambdaでサポートされている言語経由で、自分で用意したPHPの実行ファイルを起動する必要があります。 AWS LambdaでPHPを
LambdaからセキュアにRDSに接続する
こんにちは、中の人です。 今回は、AWS Lambda Advent Calendar 2014に投稿した内容を紹介します。 昨日のAWS Lambda Advent Calendar 2014は玉川さんの非常に心温まる「ばあちゃんにひ孫の写真をAPIで印刷＆郵送する」という記事でした。 今日は11日目としてLambdaからセキュアにRDSに接続してみたいと思います。 ○Lambda⇒RDSへ接続するときの課題点 ・node.jsにMySQLパッケージを追加が必要 ・LambdaがIPアドレス固定でないので、RDSのセキュリティグループをフル開放する必要がある といった点がポイントとなります。 前者は「AWS LambdaでRDS（MySQL）に接続してみた」で詳しく解説されておりますので、後者に対する対策を考えてみました。 ○LambdaのIPアドレス用プログラムの設置 Webサーバに以
【新機能】Amazon AuroraにS3からの直接データロード機能が追加。 | DevelopersIO
こんにちは、せーのです。今日はAuroraの新機能であるデータロード機能をご紹介したいと思います。 AuroraがINSERT SQLいらずに 今回Auroraに追加された機能、それはS3から直接Auroraのテーブルにデータをロードすることが出来る機能です！Auroraにてデータをテーブルに入れる時は作業用のEC2やLambdaに対してS3からデータを持ってきてSQLでINSERT文を書かなくてはいけなかったわけですが、今回のこの新機能によりINSERT SQLを書かなくても直接データをテーブルに入れることが出来るようになりました。元々AuroraのベースはmySqlになりますので、mySqlで使うLOAD DATA / LOAD XMLコマンドが直接S3と結びついたわけですね。 S3にはイベントドリブン機能もありますのでうまく組み合わせればS3にアップロードしたデータが自動的にAuro
[新機能]Amazon Auroraで日本時間が使用可能になりました！ | DevelopersIO
設定してみる DBパラメータグループを作成する defaultのDBパラメータグループは項目を編集できないため、パラメータグループを別途作成します。 グループの種類 パラメータグループ名 Auroraを起動する 作成したパラメータグループを設定してAuroraを起動します。 タイムゾーンを変更する Manegement ConsoleからRDS画面のParameter Groupsを選択して、作成したDB Cluster Parameter Groupaurora-clu-time-paramを選択します。Edit Parametersボタンから編集画面に遷移してtime_zoneパラメータをAsia/Tokyoに変更してSave Changesボタンで保存します。 time_zoneを変更している最中の挙動を確認してみます。 1秒ごとにAuroraへログインしてselect now()で
CentOS7 + Apache2.4 + MySQL5.7 + PHP7 で作る最新LAMP環境 on さくらVPS - Qiita
いわゆるLAMP環境を最新の環境で構築した時の備忘録です。 経緯 長くWebサービスを運営していたりすると、CentOS5系をいつまでも使っていたり、Apache2.2系であったり、まだPHP5.3だったり、よくて5.6だったり、、とすべてが最新になっていないことが多々あると思います。運営されているサービスである以上、ユーザーファーストであることが求められるので保守的になってしまうからです。 ということで、個人でさくらVPSを契約して最新環境を構築してみました。 今のトレンドだと、もう一歩先に行っていて、AWSの上にNginx + PHP7(PHP-FPM)、DBは MariaDBであるのかなとも思いますが「これまでのLAMP環境」と比べたかったので、それぞれ最新にして動かしてみたいということを目的としています。 AWSではなく、さくらVPSにしたのも、インストール作業時に悩みながら構築を
Amazon RDS な MySQL で 不要 process を kill する - Garbage in, gospel out
MySQL で Too many connections が発生しました。 processlist を確認したところ、Command が Sleep なプロセスが多く発生しており、 結果最大接続数の上限に達してしまうことで発生していたのでした。 Sleep なプロセスが接続を持ったまま残っていることは問題なので、これを削除することとします。 まずは processlist を表示します。 show full processlist を実行するか、select * from information_schema.PROCESSLIST を実行します。 COMMAND が 'Sleep' で、TIME が 1000 以上のものを抽出するには下記のようにします。 mysql> select * from information_schema.PROCESSLIST where USER='use
[サーバー] AmazonLinuxにMySQL5.7をインストールする - YoheiM .NET
こんにちは、@yoheiMuneです。 本日はAmazonLinuxやCentOSにMySQL5.7をインストールする方法をブログに残したいと思います。 目次 yumレポジトリの追加とインストール 今回はyum経由でMySQLをインストールします。最初から入っているyumのレポジトリは少し古いので、MySQL5.7のレポジトリを追加します。 yum -y install http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm なおこの記事以降で、さらに新しいMySQLが出ているかもしれませんので、最新のrpmはこちらより確認してください。 レポジトリの追加ができたら、インストール可能な内容を確認します。 $ yum repolist enabled | grep "mysql.*-community.*" my
![[サーバー] AmazonLinuxにMySQL5.7をインストールする - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/89e9f8aaef5ab7afb922a3d49d1d740151769c27/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F404.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS RDS MySQL で create function できるようにする - Qiita
