RDS Proxyを用いたオンラインスイッチオーバーによるMySQLのアップグレードについて - freee Developers Hub
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services
AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y
Auroraクラスタのレプリケーションクラスタを作成 | 外道父の匠
とあるAuroraクラスタの、完全なデータコピーかつ最新データも元クラスタからレプリケーションで反映し続けるクラスタって作れるのかなーと調べてみると、公式のユーザーガイドにも一般情報にも見つからないしで、裏技臭がしたので書き留めておきます。 実はわりと常識レベルだったりしたらゴメンナサイって感じですが・・・おそらく仕様変更など入らず、ずっと使い続けられるテクニックだと推測できる内容であります。それでは、Auroraクラスタの完全コピーを作りたくなった理由も含めて、まとめていきたいと思います。 Auroraの基本的なレプリケーション Auroraの復習ですが、Writer(=Master) と Reader(≒Slave) は共通のディスクを利用することで、極小さな遅延（10-20ms）でのデータ共通化を実現しています。なので、Writer/Reader間は従来のbinlogを用いたMySQ
DBのint枯渇を目の前にした僕らは - Qiita
MySQLのint型は符号付きで -2147483647〜2147483647 の範囲をサポートし、レコードを記録する際にこの範囲を超えて記録しようとするともちろんエラーとなります。 これは、長い運用の末にデータが膨大になり、ついにintのサポート範囲が枯渇寸前となった話です。 方針 DBはAWS Auroraを使用しており、アプリケーションはRailsで構築されています。RailsのMigrationはデフォルトでidカラムをAUTO INCREMENTのint型で作成します1。サービスの特徴としては他のサービスと比較すると高トラフィックに晒されるもので、DBに大量のログを記録する必要がありテーブルによっては1ヶ月で1億レコード以上記録されるものもあります。対処方法を検討し始めた時にはidは既に18億を超えており、やるべきことは対象のテーブルのidカラム、及びそのidを関連として保持して
AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita
概要 AWS Database Migration Service 略称DMSを使って、水平分割されたDBインスタンスを縮退しようと計画していましたが、検証中に不具合らしきものを見つけたので中断しました。この記事はDMSを検証中に引っかかったトラブルや対策について書いていたメモをまとめたものです。今回の記事中で説明する内容は実環境からぼかしている箇所がありますがご容赦ください。 ※ この文章での「メンテナンス」という単語は、ゲームシステムのメンテナンスを指しており、AWS側のメンテナンスとは異なります。 動機 通常DBは基本的にはスペックが不足したらスケールアップを行い対応します。弊社では加えてより大規模な負荷でも耐えられるよう水平分割してスケールアウトも併用する構成になっております。規模の拡大時には問題無いのですが、必要とされる負荷が下がった場合や、サービスの使われ方が変わって別のサブシ
Amazon Auroraで組み合わせ自由なエンドポイントが設定可能になりました ｜ DevelopersIO
大栗です。 Amazon Auroraのエンドポイントにはクラスタエンドポイント、リーダーエンドポイント、インスタンスエンドポイントの3種類がありましたが、組み合わせを変更できるカスタムエンドポイントが利用可能になったのでレポートします。 Announcement: Amazon Aurora Simplifies Workload Management with Custom Endpoints Using Custom Endpoints カスタムエンドポイント 概要 Auroraは同じインスタンスでもフェイルオーバーなどでロールが変化するため、ロールごとにアクセスするためのエンドポイントがありました。 クラスターエンドポイント: ロールがWriterのインスタンスへアクセスするエンドポイント 読み込みエンドポイント: ロールがReaderのインスタンスへアクセスするエンドポイント イ
New – Parallel Query for Amazon Aurora | AWS News Blog
AWS News Blog New – Parallel Query for Amazon Aurora Amazon Aurora is a relational database that was designed to take full advantage of the abundance of networking, processing, and storage resources available in the cloud. While maintaining compatibility with MySQL and PostgreSQL on the user-visible side, Aurora makes use of a modern, purpose-built distributed storage system under the covers. Your
Aurora Serverless MySQL の一般利用が開始 | Amazon Web Services
Amazon Web Services ブログ Aurora Serverless MySQL の一般利用が開始 クラウド向けに考案、構築され、MySQL や PostgreSQL と互換性のあるカスタムビルドのデータベース、Amazon Aurora については、すでにご存知の方も多かと思われます。また、インスタンスのことを考慮することなくアプリケーションおよびサービスを構築、実行できるサーバーレスをご存知の方も多いかと思われます。この 2 つのサービスは、成長を続ける AWS テクノロジーの一端を担うサービスであり、私たちはこのサービスに積極的に取り組んでいます。昨年の AWS re:Invent では、Aurora Serverless と呼ばれる Aurora の新機能のプレビューが発表されました。本日、Aurora MySQL 向け Aurora Serverless の一般利用
【アップデート】Amazon Auroraでスロークエリや一般ログがCloudWatch Logsへ出力可能に | DevelopersIO
大栗です。 先程Amazon Auroraのスロークエリログ、一般ログ、エラーログをCloudWatch Logsへ出力可能になりました。内容についてレポートします。 Announcement: Amazon Aurora Publishes General, Slow Query and Error Logs to Amazon CloudWatch CloudWatch Logsへのログファイル出力 MySQL互換Auroraでは、以下のログを出力しています。 監査ログ エラーログ 一般ログ スロークエリログ この中で監査ログは先行してCloudWatch Logsへ出力可能になっていました。またMySQLやMariaDBでは上記ログをCloudWatch Logsへ出力可能になっていたため、Auroraでも待望されていた機能でした。 RDSのMySQL/MariaDBでログをClou
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
Amazon AuroraのMySQL 5.7互換が正式リリースされました | DevelopersIO
◯| |南米 (サンパウロ)|◯||| ### 新機能 MySQL 5.7互換であるため、MySQL 5.7としての新機能が追加されています。代表的なものは以下のとおりです。 - JSONサポート - 空間インデックス（Amazon Auroraは独自に空間インデックスを実装しています） - 生成カラム（generated column） JSONサポートは嬉しい方が多いのではないでしょうか。多用するとリレーショナルモデルから逸脱するので適度な使用が良いと思います。 生成カラムは別のカラムの内容を基に計算した結果を取得できるカラムです。データの取り出しに柔軟性（コード -> 値の変換がアプリ側で不要など）が生まれます。 13.1.18.8 CREATE TABLE and Generated Columns 既存Auroraからの移行 Aurora MySQL 1.14、1.15、1.16
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap） - Qiita
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap）MySQLAWSAurora 2018/01/13追記： 「AWSが再度パッチを当てたみたい」という情報があったので、3度目のベンチマークを行ったところ、db.r4.largeおよびdb.r4.xlargeについて、2017/10/末頃とほぼ同じ速度に戻ったことを確認しました。 「AWS、またパッチ当てたってよ」と聞いたので3度目のAurora（MySQL互換）R4テスト（mysqlslap） （以下、古い情報なので現在とは状況が異なります。） 以前、R4インスタンスが使えるようになったときにmysqlslapで性能テストをしたので、今回、同じ条件で再度R4インスタンスだけmysqlslapしてみました。 Amazon AuroraでR4インスタ
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
Amazon Aurora now supports Auto Scaling for Aurora Replicas
Starting today, you can use Aurora Auto Scaling to automatically add or remove Aurora Replicas in response to changes in performance metrics specified by you. Aurora Replicas share the same underlying volume as the primary instance and are well suited for read scaling. With Aurora Auto Scaling, you can specify a desired value for predefined metrics of your Aurora Replicas such as average CPU utili
RailsとAmazon Aurora利用時のフェイルオーバー問題を解決 - matsukaz's blog
tl;dr RailsのコネクションプールとAmazon Auroraのフェイルオーバーの仕組みは相性が悪く、フェイルオーバー時に致命的な問題が発生する 解決方法の1つは、コネクションプールを使わないこと ただし、都度接続だと接続コストがかかる New Relicなどを使ってる場合は、自分の実装以外で使ってるコネクションまで都度接続になってしまう 別スレッドでDB操作を行っている場合、処理中であってもそのスレッドのコネクションまで切断されてしまう（Railsのコネクション破棄がプロセス単位のため） コネクションプールを活かしたままこの問題を解決できたので、その方法をご紹介します。ちなみにRails 4.2の話。 RailsとAmazon Aurora利用時のフェイルオーバー問題とは 詳しくはこちら qiita.com 問題が発生する状況をまとめると以下の通りです。 Amazon Auror
オーロラは雲の上 — RDBのScalabilityとAvailability | DevelopersIO
Amazonは、なぜ、Aurora（オーロラ）という名前をつけたのだろう？ 僕は、どこかで見かけた、「それは、オーロラは雲（Cloud）の上にあるからさ」という一節が、とても気に入っている。 まさに、Auroraの最大の特徴は、Amazonのクラウド・サービスの上に構築されたデータベースであるというところにある。小論では、クラウド上（「雲の上」）のデータベースであるAuroraが、どのようにクラウドの機能を利用しているのかを、そのScalabilityとAvailabilityに焦点を合わせて紹介しようと思う。 AuroraのScalabilityとAvailability まず最初に、Auroraの主要なScalabilityとAvailabilityを確認しておこう。 Push-button Compute Scaling：コンソール画面で数クリックするだけで、CPU数・メモリーサイズ
[PDF] Amazon Aurora with PostgreSQL Compatibility を評価して(SRA OSS, Inc. 日本支社 取締役支社長 石井達夫)
Amazon Aurora with PostgreSQL Compatibility を評価して SRA OSS, Inc. 日本支社 取締役支社長 石井 達夫 2 Copyright(c) 2017 SRA OSS, Inc. Japan SRA OSS, Inc.のご紹介 ● 1999年よりPostgreSQLサポートを中心にOSS ビジネスを開始、2005年に現在の形に至る ● 主なビジネス ● PostgreSQL, ZabbixなどのOSSのサポー ト、コンサルティング、導入構築 ● PowerGresファミリーの開発、販売 ● PostgreSQL用の各種トレーニング実施 ● 商用ＤＢからのマイグレーションコンサル ● OSS貢献 ● PostgreSQL、Pgpool-IIの開発 3 Copyright(c) 2017 SRA OSS, Inc. Japan Postgre
AWS Solution Days 2017「第2回 Aurora 事例祭り」で発表をしてきた - kakakakakku blog
今日は「AWS Solution Days 2017 ~ AWS DB Day ~」に参加をして「第2回 Aurora 事例祭り」で発表もしてきた．すぐに資料公開をして良いとのことだったので，参加レポートをまとめる． AWS Solution Days 2017 ～AWS DB Day～（2017 年 7 月 5 日開催） | AWS 第2回 Aurora 事例祭り 今回は「Makuake の急成長を支える Aurora 移行事例」というタイトルで発表をした．特に MySQL 5.5 on EC2 から Aurora に移行したフェージングと，その効果を中心に話した．他の発表であったような，オンプレからの移行ほど複雑度は高くはないけど，全体感をギュッと凝縮した，良い発表ができたのではないかなと個人的には思っている． 今日の会場風景はこんな感じだった！運営側からの依頼もあり，今回は珍しく発表
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
aurorafalseqi-sawozhen-rifan-ru?slide=14
