タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
［速報］Google、Amazon Auroraに対抗する高性能DB「AlloyDB for PostgreSQL」発表。通常のPostgreSQLよりOLTPが4倍高速、OLAPが100倍高速と
Google Cloudは開催中のイベント「Google I/O 2022」で、PostgreSQLフル互換の高性能な新データベースサービス「AlloyDB for PostgreSQL」のプレビューリリースを発表しました。 Google Cloudは以前からPostgreSQLのマネージドサービス「Cloud SQL for PostgreSQL」を提供しています。今回発表された「AlloyDB for PostgreSQL」は、Googleのクラウドインフラや機械学習の技術を積極的に投入し、より高性能かつミッションクリティカル向けのデータベースサービスとして構築したものです。 AWSと比較するならば、一般用途向けのデータベースサービスである「Amazon RDS」に対抗するのがGoogle Cloudの「Cloud SQL」であり、データベースをクラウドネイティブなアーキテクチャとして
こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
MySQL/Aurora/TiDBロック入門 – 第１回トランザクション分離レベル｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL/Aurora/TiDBロック入門 – 第１回トランザクション分離レベル MySQL InnoDB および AWS Aurora や PingCAP TiDB におけるロックの仕組みやトランザクションの動作を全１１回のシリーズで解説します！ 最初はベースとして重要な MySQL 8.0 InnoDB 前提でユーザー視点でのロックの仕組みを学び、後半第１０回以降では MySQL 互換 DB として人気の高い AWS Aurora や PingCAP TiDB と MySQL InnoDB との違いについて学びます。 １回目の今回はロック機構と切っても切り離せないトランザクションとその分離レベルについて、実際に挙動を確かめながら解説します。ライブ感のある説明も理解に役立ちますので、解説動画も付けてみました。合わせてご覧ください！ ★ 第１回 トランザクション分離レベル ★ 第２回 ロ
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
Aurora MySQL のバックアップは本当にそれでいいのだろうか？ | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに
こんにちは、技術部SRグループの菅原です。 最近、Ninja650からNinja1000に乗り換えました。パワーがあるせいで３速発進・４速発進が平気でできてしまい、シフトワークがどんどん下手になっています。精進したいものです。 この記事では、Amazon RDS/Auroraをクローンするシステムを作った話を書きます。 Amazon RDS/Auroraをクローンするシステム サービス開発を行っていると、調査や検証でプロダクション環境で使われているデータベースが必要になることがあります。開発環境やステージング環境にもデータベースは存在するのですが、プロダクション環境のデータでしか再現しないバグの調査や、プロダクション環境のデータ量でのスキーマ変更の負荷の検証など、開発環境やステージング環境のデータベースではできない作業も多いです。しかし、オペレーションミスや個人情報へのアクセスを考えると、
Amazon Aurora MySQLでテーブル再構築を伴う操作をするとテーブルが見えなくなるっぽい - GMOインターネットグループ グループ研究開発本部
2023.01.11 Amazon Aurora MySQLでテーブル再構築を伴う操作をするとテーブルが見えなくなるっぽい Amazon Aurora MySQLでテーブルの再構築を伴う操作を行うと，Readerインスタンスで瞬間的に対象のテーブルが見えなくなる場合があるので，オペレーションの実行タイミングに気をけましょう，というお話です。再構築を伴う操作には，一部のALTER TABLEやOPTIMIZE TABLEが含まれます。 こんにちは，S.T.です。Amazon Aurora MySQLで少し気になる現象を見かけたので紹介します。この現象を知っていれば回避できるので，クリティカルな影響があるということではないですが，将来直ってくれると嬉しいですね。 1.Amazon Aurora MySQLとは Amazon Aurora MySQLはAWSで利用できるマネージドのRDBです。コ
by Expanscape 近年では軽量かつ高性能なノートPCの普及によって外出先や移動中でもPC作業がしやすくなっていますが、オフィスや自宅でマルチディスプレイを使っている人にとっては、1つの画面しかないノートPCでの作業はやりにくいもの。そこでイギリスのExpanscapeという企業が、4Kディスプレイを4枚搭載した驚異の7画面ノートPC「Aurora 7」を発表しました。 Expanscape | The story of the Aurora 7 https://expanscape.com/the-aurora-7-prototype/the-story-of-the-aurora-7/ This Obscene 7-Screen Laptop Only Has 1-Hour Battery Life https://gizmodo.com/its-no-surprise-thi
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur
Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan
Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan
AWSがMySQLのODBCドライバを開発、オープンソースで公開。純正ドライバ互換、Amazon Auroraでの高速なフェイルオーバー、AWSのシークレットやIAMのサポートなど
AWSがMySQLのODBCドライバを開発、オープンソースで公開。純正ドライバ互換、Amazon Auroraでの高速なフェイルオーバー、AWSのシークレットやIAMのサポートなど AWS ODBC Driver for MySQLは、MySQLコミュニティが配布している純正のMySQL用ODBCドライバと置き換えて使える互換性を備えつつ、AWSでMySQLを利用する際により優れた機能と性能を実現できるように実装されています。 具体的には、Amazon Auroraにおけるフェイルオーバー時の再接続の高速化です。AWS ODBC Driver for MySQLはクラスタのトポロジーと各 データベースインスタンスがプライマリなのかレプリカなのかの役割のキャッシュを保持することで、接続先のデータベースインスタンスに障害が発生し、別のデータベースインスタンスへのフェイルオーバーが発生したときに
Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不具合と判明し、2.10.2へバージョンアップで解消 Auroraのローカルストレージは自動拡張されないので、残容量の監視をしましょう 事象発生と解決までを時系列で記載。 2021年10月、Auroraに対してクエリが実行出来なくなる 社内メンバーよりBIツールからAurora MySQLに対してのクエリがエラーになるとのことで、クエリに limit 100 を付けると実行出来、 limit 1000だと Error w
こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の好みや課題解決に応えられるよう、幅広い食のコンテンツを提供するプラットフォームを目指しています。 ブランドリニューアルの詳細に関しては、こちらを御覧ください。 www.kurashiru.com この
「Amazon Aurora Serverless V2」正式版に。瞬時にスケールして数十万トランザクションに対応、データベース容量も自動管理
「Amazon Aurora Serverless V2」正式版に。瞬時にスケールして数十万トランザクションに対応、データベース容量も自動管理 Amazon Web Services（AWS）は、クラウド上でデータベースのマネージドサービスとして提供している「Amazon Aurora Serverless」の新バージョン「Amazon Aurora Serverless V2」の正式版としてのリリースを発表しました。 Instant scale ↔️ instant cost efficiency. Amazon Aurora Serverless v2 scales in a fraction of a second while eliminating database capacity management, so you only pay for what you use & sa
大規模サービスのデータベースエンジンを MySQLからAurora MySQLへの移行 〜リードレプリカ, DNSを利用した最小ダウンタイム移行方法〜 - メドピア開発者ブログ
バックエンドエンジニアの徳富(@yannKazu1)です。先日、メドピアのメインサービスであるmedpeer.jpで使われているデータベースエンジンを、MySQLからAurora MySQLへと移行しました。今回はその移行のプロセスについて詳しくお話しします。 移行したデータベースの簡単なインフラ構成 移行方針 今回移行するデータベースは複数のアプリケーションから参照されており、ダウンタイムによるユーザー影響が大きいため、移行方針の検討の段階で重視したのは、ダウンタイムの最小化でした。これを達成するために、DNSのCNAMEレコードと、Auroraのリードレプリカを活用し、移行させることにしました。 DNSのCNAMEレコードの使用 データベースエンドポイントをアプリケーションに直接記述する代わりに、DNSのCNAMEレコードを利用して間接的に参照するようにしました。これにより、データベー
Amazon RDSからAuroraへ Mackerelのデータベース移行で何が改善したか - Hatena Developer Blog
こんにちは、MackerelチームでSREをしている id:heleeen です。 2023年3月に実施したMackerelのメンテナンスでは、データベースをAmazon RDSからAmazon Auroraに移行しました。この記事ではAuroraを選択した背景や、移行で考慮したことについてお伝えします。 データベースのアップグレードを機に検討 Auroraへ移行することによるメリット パフォーマンスの改善 マイナーバージョンアップのダウンタイムが短く サイジングを適切にできリソース活用も効率的に リードレプリカの運用負荷も改善 Auroraのリードレプリカを利用した移行 RDSにAuroraのリードレプリカを作成する リードレプリカの昇格と切り替え 本番のAurora移行に向けて準備したこと 検証環境で移行して課題を確認 本番メンテナンス時のバックアッププランを用意 Mackerelのメ
「宇宙へ1日2便」も可能なロケット飛行機Mk-II Aurora、初のロケット推進飛行試験に成功 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 ニュージーランドの航空宇宙ベンチャーDawn Aerospaceが、ゆくゆくは地上と宇宙間で1日2便の運行を目指すロケット飛行機「Mk-II Aurora」の初めてのロケット推進飛行試験を完了しました。 Mk-II Auroraは3月29日から31日にかけ1日1回ずつ、計3回のロケット推進飛行を行いました。一連の試験飛行では、最高速度196mph（315km/h）の飛行速度を達成し、高度6000フィート（1830m）にまで上昇しました。これは、2021年にテスト用のジェットエンジンを搭載したMk-II Auroraで達成したときと大差ない記録ですが、Dawn Aerospaceのチームは今回の試験飛行は「主要
New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services
AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y
Aurora Serverless v2を本番導入した話 〜検討や導入時のポイント・得られた効果について〜 - ZOZO TECH BLOG
はじめに こんにちは。SRE部ECプラットフォーム基盤SREブロックの石田です。 本記事では、Aurora Serverless v2を本番導入するにあたってどのような検討をし、どのように導入していったか、また導入後に得られた効果について紹介します。 はじめに Aurora Serverless とは 背景 比較検討 比較内容 方針の決定 アーキテクチャ 導入 1. Aurora Serverless v2を手動で構築 2. AWS CloudFormationでProvisioned型Aurora MySQLバージョン3を再構築 3. AWS CloudFormationでAurora Serverless v2に移行 4. 負荷試験・障害試験 負荷試験 障害試験 導入により得られた効果 柔軟なスケーリング インフラコスト 最後に Aurora Serverless とは Aurora
日本時間 2023/9/1(金)の深夜、AWSより以下のアップデートが発表されました！ 土曜の朝からXで早速話題になっています。 ニュースリリース ブログ ※全体的にまだ日本語ドキュメントに反映されていない情報が多いので、リンク先にRDS Extended Supportに関する言及が見られない場合は言語設定をEnglishに切り替えて再確認することをお勧めします。 3行でまとめると？ AWSはAuroraおよびRDSのDBエンジンの所定サポート終了後、最大3年の延長サポートを有償提供する 対象のDBエンジンはMySQL 5.7 & PostgreSQL 11および、それ以降の主要バージョン 2023年12月から延長サポートへのオプトインが可能。実際の課金開始はバージョン依存。最速でも2024年3月1日以降となる クラウドにおける「DBバージョンアップ」の扱い AWSクラウドが提供するマネ
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
All of Graphite’s data lives on Amazon Aurora Postgres. Our database load is sizable — far larger than a typical startup of our size. This is because we sync bidirectionally with GitHub for everything a user does on Graphite, so Aurora plays a crucial role in helping us handle and scale massive amounts of data. If Uber were to sign up for Graphite tomorrow, we could handle the countless webhook ev
新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.06.16 技術記事 新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] by Keijun Kumagai #infrastructure #aurora #aws #database #technical-verification #game-infrastructure #infra-quality こんにちは！IT基盤部の k-jun です。IT基盤部にて大規模ゲームのインフラを見ているインフラエンジニアです。この記事では、2022/04/21 に GA となった AWS の新サービス Aurora Serverless v2 に対して行った技術検証とその調査結果をご紹介させて頂きます。 Aurora Serverless v2 とは Aurora Serverless v2 は Amazon Aurora のオンデマン
![新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/edc2033bd2be270f3538bbd3e3b9bd2d546575d4/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F06%2Faurora-serverless-v2%2Fcover.png)
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
一般公開された Amazon Aurora Serverless v2 を東京リージョンで試してみた | DevelopersIO
動作確認 初期ACU 作成直後のAmazon Aurora Serverless v2 のACU値を、CloudWatchのメトリック「ServerlessDatabaseCapacity」で確認しました。 インスタンスの作成直後のACUの値は32でした。 無負荷状態では、最小ACUの指定値(今回は8)まで段階的に低下していました。 INNODB_BUFFER_POOL_SIZE CLIを利用し、ACU値「8」で稼働中のDBの状態を確認しました。 $ DBHOST='aurora-ss-v2.cluster-xxxxxxx.ap-northeast-1.rds.amazonaws.com' $ echo 'SELECT @@GLOBAL.INNODB_BUFFER_POOL_SIZE/1024/1024' | mysql -h ${DBHOST} -P 3306 -u admin -p @
シンプルフォーム株式会社で SRE をしている守屋です。 本記事では Aurora MySQL の OOM(メモリ不足)エラーについて、原因となるクエリを特定するために役立つ Tips を弊社での実例を交えてご紹介します。 発端 突如 Slack に鳴り響く不吉な通知。 「パターン青！障害です！！」 どうやら本番環境の Aurora クラスターがフェイルオーバーしてアプリケーションが DB コネクションエラーを引き起こした模様です。幸いインスタンスは冗長化していて Aurora のフェイルオーバーは高速であるため、ユーザー目線では瞬断が発生した程度の比較的影響が小さめな障害に留まりました。しかし SRE としては捨ておけない状況です！早速原因の調査を始めました。 フェイルオーバーの原因 結論から言うとメモリ使用量がスパイクして OOM エラーが発生したことが原因でした。根拠としては Aur
最近はZX-25Rが気になっている菅原です。4気筒250ccといえば、以前バリオス2に乗っていたんですが、あれもよく回るよいバイクでした。足つきの良さが懐かしいです。 この記事では、クエリログを使ったAurora MySQLの負荷テストの話を書きます。 MySQLの負荷テスト サービスに使われているデータベースは、Webサーバと比べて自動的なスケールアップ・スケールアウトが簡単ではないためキャパシティプランニングは非常に重要です。サービスへのアクセス増による負荷増大の結果、急激に性能が低下するためなるべく事前にキャパシティを把握しておきたいところです。 クックパッドではサービスのデータベースとして主にAurora MySQLを利用しているのですが、キャパシティを把握するための負荷テストには以前から苦労してきました。 1. シナリオを書くのが大変 サービスで使われているデータベースの負荷テス
［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022
Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転送ツールであるETLがなくなることが同社のビジョンだと説明。 新サービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表しました。 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。 新サービス「Amaz
Auroraはcookieを使わない完全オープンソースなWeb解析ツールです。GAを始め多くのアクセス解析ツールが行う個人情報収集を行わず、アクセスした全員を匿名ユーザーとして扱う、というプライバシーフレンドリーな解析ツールです。 100％OSSとなっており、有償サービスなども用意しておらず、常にソースコードを開示しており、ユーザーへのプライバシーの配慮だけでなく開発者にも安心して使える解析ツールとなっています。 Next.js、Tailwind.css、Knex.jsで作られています。ライセンスはMITとの事。 個人的にもそろそろGA卒業したいなと思いつつも重い腰が上がらず。ブラウザやメールサービスなど出来るところから脱Googleを試みつつもなかなか難しいなという印象です。時間を作って試していきたいと思います。 Aurora
コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
Amazon Auroraの概要 Amazon Auroraは、RDSのデータベースエンジンの1つであり、クラウドの普及に伴って、Amazonがその内部アーキテクチャを再設計したデータベースです。 ここがポイント Auroraは、クラウド環境に最適化するよう、内部アーキテクチャをAWSが再設計したリレーショナルデータベース RDSと比べ、可用性やデータ同期・フェイルオーバーの高速化など性能が向上（性能は向上しているが、オンラインレスポンスが高速化するという意味ではない） 内部アーキテクチャがクラウドに最適化されているため、RDS より低コストで構成できる場合もある Auroraの概要とアーキテクチャ Auroraは、RDBの特性である一貫性を持ち、RDSが持つリードレプリカといったハイパフォーマンスのための特徴を維持しています。 AP型データベースと同様、Quorumに基づく結果整合性でデ
9/11に開催された、【Chatwork × みてね勉強会】EKS＆Aurora最新ノウハウでお話させていただいた、みてねSREの伊東の登壇資料です。
長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7日 に連なる一連のツイートに結構反応があったので、ブログにもまとめておきます。 RDS PostgreSQLの方がAurora PostgreSQLより速いぜ！って記事を見かけたけど、大量データを1クライアントで流し込む試験の結果だった。 複数クライアントからのOLTPワークロードでもRDSの方が速いパターンってあるのかな？TPC-Cで試してみよう！ インスタンスのサイズ（vCPU）と同時実行数によって、RDSの方が速いケース、
PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"
Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available | Amazon Web Services
AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL
S3 + API gateway + Lambda (+ Aurora) による Serverless 申請フォームの構築 - BASEプロダクトチームブログ
はじめに はじめまして、CSE (Corporate Solution Engineering1）の上野です。 今回は BASE Partners という事業で使用していた Google フォームを S3 + API gateway + Lambda (+ Aurora) を使用した Serverless 構成のフォームに移行するというプロジェクトについてお話します。 変更前の構成図と構築した構成図としては以下のようになります。 変更前 変更後 BASE Partners について BASE では新規のショップオーナー様を紹介・支援いただくオフィシャルパートナーを募集するパートナープログラムを運営しています。 それらの申請には初期的には Move fast に行うため、Google フォームと Google スプレッドシートが使用されていましたが、ありがたいことにパートナー様やご紹介いただ
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
![夢に向けて古民家をフルリノベ。EcoFlow家庭用蓄電池を導入し、家の全電力をまかないたい - 家電 Watch[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/65ca9ee7aaa04831880d4a219625283be58e438a/height=288;version=1;width=512/https%3A%2F%2Fkaden.watch.impress.co.jp%2Fimg%2Fkdw%2Flist%2F1633%2F833%2F00a.jpg)
Amazon RDS/Auroraをクローンするシステムを作った話 - クックパッド開発者ブログ
4Kディスプレイを4枚搭載した驚異の7画面ノートPC「Aurora 7」のプロトタイプが公開される
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠
Aurora MySQL 5.7とRailsで実現する全文検索機能 - dely Tech Blog
【塩漬けダメ絶対】AWSのAurora＆RDSがDBエンジンの延長サポートを有償提供！ - Qiita
How an AWS Aurora feature cut our DB costs by 90%
Intel、1兆パラメータの科学向けAI「Aurora genAI」を発表 | Ledge.ai
Aurora MySQLのメモリ不足の原因を特定する
クエリログを使ったAurora MySQLの負荷テスト - クックパッド開発者ブログ
cookieを使わない完全オープンソースなWeb解析ツール・「Aurora」 - かちびと.net
Amazon Auroraとは何かをわかりやすく図解、RDSとどう違う？
Aurora MySQL version 3でTempTable溢れの振り返り
RDSがAuroraより速い！？について調べてみた - なからなLife
PostgreSQLエンジンでのAuroraとRDSのベンチマーク - so what
rumiko.nm.bex.jp
news.yahoo.co.jp
anond.hatelabo.jp
koyazi.blog.jp
www.yomiuri.co.jp
togetter.com