RDS Blue/Green Deployments を使ってシュッと utf8mb4 にマイグレーションした話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL 2（MySQL 5.7 互換）を使っています（以下 Aurora MySQL と略します）。 ある日、社内の Slack で「𠮷」などの文字列が登録できないのではないかという話が出ました。これを聞いて「あー」と思った方も多いでしょう。 MySQL で有名な UTF-8 の 4 バイト文字問題で、歴史的な理由から MySQL 5.7 以前では utf8 の文字セットは utf8mb4 ではなく utf8mb3 を指しています。 dev.mysql.com カミナシのアプリケーションは 4 バイトの文字列が入力された場合はシステムエラーを返す実装になっていますが、エラーの内容をユーザーにわかりやすく伝えることは難しいためユーザー体験としても良くない
AWSのRDSでブルー／グリーンデプロイ - 株式会社ブースターテクノロジー
AWSからRDSのバージョンアップをしろという通知が来た。 MySQL5.7 のサポートが終わるから8系にしてね、更新しない場合は自動的に更新しちゃうよと。 今回はブルー／グリーンデプロイ方式でバージョンアップを行った。 （１）手順１ 対象のDBを選択し、「ブルー／グリーンデプロイの作成 – 新規」から後は普通にやればOK。 ブルー ⇒ 既存のMySQL 5.7.38 グリーン ⇒ 新しいMySQL 8.0.34 が出来上がる。グリーンの方は read only として作られた。 所要時間30分程度。 （２）手順２ ステージング環境のWebアプリのDB接続先をグリーンの方に向けて動作確認 （３）手順３ OKなら「切り替え」を行うことで、グリーンがブルーになる。 アプリケーション側は何もする必要なし。 所要時間5分程度。 （４）手順４ 本番環境で動作確認。 ※※ 注意！！ ※※ ついでにRD
AWS Amazon RDSのバージョンアップにBlue/Greenデプロイ機能を使ってみた - Qiita
内容 RDS AuroraのMySQLのバージョンをAurora2(MySQL5.7) ⇒ Aurora3(MySQL8.0)にアップデートする際、先日のre:Invent 2022で発表された「RDSのBlue/Greenデプロイ」という新しい機能を使用してみました。 今回その手順と、詰まったポイントをまとめていきたいと思います。 添付画像の網掛けが多い点はご容赦ください。 目次 Blue/Greenデプロイの概要 手順 スナップショットを取得 Blue/Greenデプロイの作成 GreenのDBに変更を加える 変更を加えたgreenのdbをテスト GreenをBlueに切り替え 完了 後始末 トラブルシューティング Blue/Greenデプロイの概要 Blue/Greenデプロイとは 現在運用中の環境をBlueとして、レプリケーションしたステージング環境（Green環境）を用意します。
Amazon RDS Blue/Green Deployments を色々と検証してみた！
こんにちは！ スターフェスティバルでインフラエンジニアをやっております @koonagiです。 早いことにもう1月も終わりますね。 1月のうちにブログを書こうと思っていたら、あっという間に終盤になってしまっていて急いでこの記事を書いていますｗ さて、先月のre:Inventでリリースされた Amazon RDS Blue/Green Deployments について、最近検証したのでそのことについて書いていこうと思います。 Aurora v1(MySQL 5.6)が2月末でサポート終了となるため、Aurora v2(MySQL 5.7)へのバージョンアップの際にAmazon RDS Blue/Green Deploymentsを活用しようと考えており、事前準備として検証を進めました。 Amazon RDS Blue/Green Deploymentsとは 公式からの引用です。 ブルー/グリ
MySQL DB エンジンのアップグレード - Amazon Relational Database Service
新しいバージョンのデータベースエンジンが Amazon RDS でサポートされている場合は、DB インスタンスをその新しいバージョンにアップグレードできます。MySQL データベースのアップグレードには、メジャーバージョンのアップグレードとマイナーバージョンのアップグレードの 2 種類があります。 メジャーバージョンのアップグレード メジャーバージョンのアップグレードには、既存のアプリケーションとの下位互換性のないデータベースの変更が含まれる場合があります。そのため、DB インスタンスのメジャーバージョンアップグレードは手動で実行する必要があります。メジャーバージョンアップグレードをスタートするには、DB インスタンスを変更します。メジャーバージョンのアップグレードを行う前に、「MySQL のメジャーバージョンのアップグレード」の手順を実行することをお勧めします。 マルチ AZ DB イン
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました #reinvent | DevelopersIO
「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前……… へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必
本番環境でダウンタイムを最小限にするためRDSをMulti-AZ構成にした後スケールアップを行う - Qiita
こんにちわ！OCEAN'Sの大庭です。 今回は、本番環境でRDSのスケールアップを行いましたのでその手順とログを紹介していきます 概要 まず、RDSがSingle-AZ構成のままスケールアップを行うと、 インスタンス停止 インスタンスタイプの変更（スケールアップ） インスタンス起動 となってしまい、DBサイズにもよるがサービスダウンタイムが10分弱はかかってしまいます。 そのため、今回は以下の方法でスケールアップを行います RDSをMulti-AZ構成に変更 RDSのスケールアップ プライマリにフェイルバック RDSをMulti−AZに変更 まず、RDSをMulti−AZ構成に変更する。 Multi-AZ構成への変更はダウンタイムが発生しませんが、 シングル AZ からマルチ AZ への変換時のダウンタイムを回避できますが、マルチ AZ への最初の変換時にパフォーマンスに大きな影響が出るこ
CactiでAmazon RDS for MySQLの性能監視 | 稲葉サーバーデザイン
※監視結果データはEC2インスタンスの/usr/share/cacti/rra/ に保存されます。すでに作成済みのRRDファイルは上記のように保存期間を変更しても反映されないため、別途rrdtoolコマンドでRRDファイルを修正する必要があります。このため、監視対象を追加する前に保存期間を延ばしておくとよいでしょう。 Cacti監視を開始 Cactiのcronエントリーのコメントアウトを外し、監視を開始します。 # vi /etc/cron.d/cacti -- */5 * * * * cacti /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1 -- これで、5分に一度監視データの取得を実行します。 グラフ表示の確認 WebブラウザでCacti Webページを表示します。 http://<EC2のホスト名またはIPアドレス
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
RedisとElastiCacheを分かりやすくまとめてみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今までなぁなぁにしてきたRedisをいまさらながらに勉強してまとめました。 Redisって聞いたことあるけど中身はよく知らないとか、プロジェクトでなんとなく使っているけど実はよく分かっていないなどの人向けのページです。 NoSQL Redisの前にまずはNoSQLから。 背景 ビッグデータの登場により、従来のRDBだけでは充分な処理ができなくなってきたことがNoSQL登場の背景にある。 ビッグデータの定義は色々ありますが、ここでは3V(Volume/Velocity/Variety)を満たすものをビッグデータと呼びます。 Vo
Amazon RDS な MySQL で 不要 process を kill する - Garbage in, gospel out
MySQL で Too many connections が発生しました。 processlist を確認したところ、Command が Sleep なプロセスが多く発生しており、 結果最大接続数の上限に達してしまうことで発生していたのでした。 Sleep なプロセスが接続を持ったまま残っていることは問題なので、これを削除することとします。 まずは processlist を表示します。 show full processlist を実行するか、select * from information_schema.PROCESSLIST を実行します。 COMMAND が 'Sleep' で、TIME が 1000 以上のものを抽出するには下記のようにします。 mysql> select * from information_schema.PROCESSLIST where USER='use
laravel/lumen キュー操作 の仕組み - Qiita
Laravel/Lumenにはキューを処理するための仕組みが入っていて、 タスクの非同期処理などを簡単に実行出来るようになっている。 Usage キューの設定を行う。 タスククラスを作成する タスククラスのオブジェクトをキューのバスにぶち込む キューのリスナーを回す。 詳しくは https://laravel.com/docs/5.2/queues キューの設定 config/queue.php にキュー設定を入れます。 複数のストレージタイプに対応しているものの、どのストレージタイプを使うかはグローバルの模様。 DB の場合、 'database' => [ 'driver' => 'database', 'table' => 'jobs', 'queue' => 'default', 'expire' => 60, ], 'sqs' => [ 'driver' => 'sqs', 'k
[新機能]Amazon RDSでOSの詳細情報を取得できるようになりました！ | DevelopersIO
設定を有効にすると、RDSのコンソールからグラフを見ることができます。 モニタリングを表示 で 拡張モニタリング を選択すると様々なグラフが表示されます。 各種メトリクスは、CloudWatch Logsに出力されています。 RDSOSMetrics というロググループに出力されます。 ログストリームは、DBインスタンスごとに作成されているようです。 実際の情報は、このようになります。 { "engine": "Aurora", "instanceID": "myaurora", "instanceResourceID": "db-CRLZUAHQFQD3KQO62IBMEFVBDY", "timestamp": "2015-12-19T00:06:41Z", "version": 1, "uptime": "3 days, 21:48:51", "numVCPUs": 2, "cpuUt
![[新機能]Amazon RDSでOSの詳細情報を取得できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c3ba401311c59d61029fd394159ea54ce784937/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_RDS.png)
Route 53のPrivate DNS対応を試してみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 DNSサービスであるRoute 53がVPC内のPrivate DNSをサポートしたので試してみました。 Route 53の設定 Route 53でHosted Zoneを作成します。今まで見慣れないTypeとVPC Idが出てきます。TypeでPublic DNSかPrivate DNSを選択します。 ドメイン名を"maroon1st.local"としてドメインを作成して、Typeを"Private Hosted Zone for Amazon VPC"に設定して、対象のVPCを関連付けます。 作成したHosted Zoneでレコードを作成します。ここではRDSのエンドポイントにCNAMEを設定しました。 この後、既存のDNSキャッシュが消えるまで待ちます。(DNSは「浸透」しませんよ) digコマンドで確認すると、以下の様に表示され
RDSのOSアップグレードのメンテナンス通知について - Qiita
通知の内容 インスタンス用 OS アップグレードが保留中です。 これらのアップグレードを利用するには、DB インスタンスを選択し、 [Instance Actions] メニューを開いて [Upgrade Now, Upgrade at Next Window] をクリックします。 何も行わない場合、オプションアップグレードは利用可能のままとなり、 必須アップグレードは AWS が指定する将来の日付にインスタンスに適用されます。 メンテナンス列でアップグレードタイプを確認することもできます。 注意: OS アップグレード中はインスタンスがオフラインになります。 困ること OSのアップグレード中はオフラインになる事 アップグレードしないと指定日に強制アップグレードが走る事 AWSサポートに今問い合わせたよ Q1：無停止でOSアップグレードする方法ないですか？ Q2：マルチAZでは無停止でアッ
RDSのデータをmysqldumpしてS3に保存する - (ﾟ∀ﾟ)o彡 sasata299's blog
2014年01月07日13:52 AWS Ruby RDSのデータをmysqldumpしてS3に保存する 弊社ではデータを AWS の RDS を使って管理しています。バックアップは自動で取ってくれるんですが、RDS では残せるバックアップのスナップショット数が決まっているのでもう少し過去のバックアップも取りたい。気軽にバックアップを S3 に保存することは出来ないものか。 追記：14:12 RDS のスナップショットを手動で取ったりすれば良いんですけど、アカウントが悪用されたりして全部消えちゃったら怖いなぁと。そういう背景もあって念のため S3 上にも置いておきたいなぁと思った次第です(＊ﾟ∀ﾟ) 追記：14:17 バックアップのスナップショット数増やすことも可能みたいですね。 @sasata299 あとAmazonに申請すればRDSのスナップショットの上限値を増やせるらしいので参考にど
Amazon RDS編～ログ管理について～
こんにちは！ JQです。 前回までのレシピでは『Amazon VPCを使ってWEBサーバを構築しよう！パート①、パート② 』と称して、VPC上でのWEBサーバ構築についてご紹介していたかと思います。 今回は『Amazon RDSのログに関するお話』をしたいと思いますが、その前に『Amazon RDS』に関する情報をご紹介します！ 先日、WEBコンソールから今まで確認出来なかったRDSのmysql_errorのログが確認出来る様になりました。 RDSもさらに便利になっていきますね！ さて、それでは本題であるAmazon RDSのログに関してお話していきます。 まずは、RDSのerror.logの設定方法をしていきます。 1.RDSの画面に移動して、ログを見たいRDSを選択します。 2.画面下部のタブに「Logs」という項目があるので、そちらをクリックします。 3.error/mysql-er
構成管理を意識したRDSのDBパラメータグループの更新作法 | DevelopersIO
こんにちは、虎塚です。 今回は、RDSの設定値を変更する際に、構成管理の観点から考えて採用している方法を紹介します。 RDSの設定値変更時の管理対象 データベースの設定値を管理するにあたって、次のような要求が考えられます。 変更の実施前の状態と実施後の結果を管理したい 実施した変更内容を管理したい 変更前後の内容の差分から変更を推測するのではなく、「どのような変更をおこなったか」を特定したい RDSの設定値は、DB パラメータグループの更新によって変更します。そのため、上の要求を満たすためには、次の要素を管理対象にするとよいでしょう。 1を満たすために必要なもの（変更の前後で保存） DBパラメータグループの値 DBに実際に設定されている値 2を満たすために必要なもの DBパラメータグループ更新時のコマンド 管理上必要なメタな情報 変更実施日時、変更実施者名、変更要求とのトレーサビリティを確
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
