AWSのDMSやブルー/グリーンデプロイを使ってMySQL8.0へ移行した話 - BASEプロダクトチームブログ
はじめに Data Strategyチーム（以下、DSチーム）でDWHやBIツールの運用をしている@shota.imazekiと不正検知やAWS基盤運用をしている@tawamuraです。 Aurora MySQL v2（MySQL5.7互換）が2024/10/31に標準サポート終了となるため、DSチームでは2024年6月にAurora MySQL v3（MySQL8.0互換）へのアップグレードを実施しました。 その際に得られた課題や知見について紹介していきます。主にAWS DMSやAmazon RDS ブルー/グリーンデプロイを用いたアップグレード方法の話になります。 DSチームのインフラ構成 DSチームはBASEの機械学習基盤を構築・運用しており、APIなどを介してプロダクト側へ機械学習モデルの推論結果などを返しています。学習・推論のために使うプロダクト側のデータはDMSを用いて、DS環
踏み台サーバーを利用したプライベートなWebサーバ接続をやってみた | DevelopersIO
はじめに こんにちは、かつまたです。 この記事では、AWSを使ってパブリックサブネット配置の踏み台サーバーとプライベートサブネット配置のWebサーバーを構築し、最終的にWebページを表示するまでの手順を2章に分けて、画像とともに説明していきます。具体的には以下の構造を構築しました。 1.踏み台サーバ編 1.1 VPC、サブネット作成 まず、VPCを作成します 1.AWSコンソールにログインし、「VPCを作成」をクリックします。 2.VPCの任意の名前（LT-katsumata-vpc）を入力し、IPv4 CIDRブロックを「10.0.0.0/16」に設定します。 3.「VPCを作成」をクリックします。 次にサブネットを作成します。 1.「サブネットを作成」をクリックします。 2.「VPC ID」に先ほど作成したVPCを選択します。 Public Subnet: 名前タグ: LT-katsu
AWS DataSyncでのS3大量オブジェクトバケット間コピーが「あらやだ！簡単！」だったので共有したい - MOTEX TECH BLOG
こんにちは。インフラチームの倉橋です。 先日、S3間での大量オブジェクトコピーを AWS DataSync を用いて実施しました。 それはそれは素晴らしい体験でしたので共有したく記事にしました。 なにがしたかったか S3バケット間コピー方法の決定 AWS DataSync とは AWS DataSync 料金 AWS DataSync を使用してバケット間コピーを実現 1. IAMロール作成 2. コピー元バケットのLocationを作成 3. コピー先バケットのLocationを作成 4. タスクを作成 5. タスク実行 AWS DataSyncを使ってみて なにがしたかったか S3に保存されている「約300GB」のオブジェクトを同一アカウント / 同一リージョン の別S3バケットにコピーしたい。 それだけです。 とはいえ「約300GB」です。舐めてかかっては痛い目に合うかもしれません。
AWS Step Functions で同時実行数制御を行う方法
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
AWS FireLensってなんだ？ - Qiita
What's？ AWS FireLensについて、知っておきたかったので軽く調べてみました、と。 AWS FireLensとは？ AWS FireLensとは、2019年9月に発表された、Amazon ECSで使用できるログルーターのことです。 Firelens の発表 – コンテナログの新たな管理方法 タスク定義の中に含めてサイドカーとして配置しつつ、他のコンテナからはログドライバーとして使用します。 カスタムログルーティング AWS FireLensからは、Amazon CloudWatch LogsまたはAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、そして別のFluentdやFluent Bitに転送することができます。 以下のタスク定義サンプルは、Firelens の発表 – コンテナログの新たな管理方法からの抜粋
AWS CodeBuildのPROVISIONINGフェーズが遅い問題
TL;DR Amazon Linux2ではなくUbuntuを使う instance typeをgeneral1.smallからgeneral1.largeに変えてみる Imageのversionを例えばAmazon Linux 4系から3系に下げる そもそも抜本的な解決にならないのでGitHub Actionsなど別のサービスに乗り換える 背景と問題 仕事でAWSを利用しており、Docker containerのビルドやデプロイにAWS CodeBuildを利用しています。 https://aws.amazon.com/jp/codebuild/ 最近ではGitHub Actionsが増えてきており、そちらの方が良い気もします。 極力AWSに統一しておいた方が見通しやメンテナンス性、Image転送のネットワークの近さなど色々と有利だと思いCodeBuildを採用したのですが、どうにもビルド
AWSでストリームデータを扱うためのメッセージングサービス - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスの概要と、ストリームデータを扱う際の選択基準を紹介します。 なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照ください。 投稿一覧: 1. AWSでストリームデータを扱うためのメッセージングサービス (本投稿) 2. AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 3. AWSのKinesis Data
Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
note の Aurora MySQL を v2 から v3 へアップグレードしました｜tic40
note ではメインデータベースとして Aurora MySQL を採用し、日々発生する膨大なトラフィックを処理しています。Aurora MySQL v2 (MySQL 5.7 互換) の標準サポートは2024/10/31 に終了するため、これを機に v3 (MySQL 8.0 互換) へのアップグレードを行いました。 アップグレードは無事に完了しましたが、いくつかの問題にも直面しました。これらを共有することで、これからアップグレードを検討している方へ参考になればと思います。 事前に検討した課題アップグレード後に致命的な問題が起きたらどうするかv3 へのアップグレード後に v2 へ切り戻すことは容易ではなく、スナップショットなどからの復元が必要になります。データをロールバックすることになるため、ユーザ影響が極めて大きく避けたい事態です。 そのため、基本的に切り戻しはできないという前提でアッ
Amazon Aurora MySQL5.7のサポート期限が迫ってきたのでMySQL8に移行した話
こんにちは、アルダグラムのSREエンジニアの okenak です 弊社のサービスのDBにAmazon Auroraを利用していますが、MySQL5.7の標準サポートが2024年10月31日までであるため、MySQL8の移行を実施しました。（サポート期限について） 今回は移行に伴い調査したことや対応手順、実際に起きた問題について紹介したいと思います。 Aurora MySQL8のアップグレード内容の調査 MySQL5.7からMySQL8の移行だったので、公式ガイドを見て機能差分の調査を行いました MySQL :: MySQL 8.0 リファレンスマニュアル :: 2.11 MySQL のアップグレード Amazon Aurora MySQL DB クラスターのメジャーバージョンのアップグレード - Amazon Aurora ドキュメントを一通り読んだところ気になったポイントは以下の部分でし
ecspressoでEBS付きECSタスクを実行する
ECSのEBS連携がサポートされ、EBSストレージを付与してECSタスクを実行できるようになった。 実際にecspressoからこのようなECSタスクを実行してみる。 準備 必要なリソースのセットアップ まず始めに必要なIAMロールをterraformで作成する。 単にECSを実行するために必要なECSタスク実行ロールと、EBSを作成するために必要なECSインフラストラクチャーロールが必要。 ## EBSを作成するために必要なIAMロール resource "aws_iam_role" "ecs_infrastructure" { name = "sample-ecs-infrastructure-role" assume_role_policy = data.aws_iam_policy_document.assume_ecs.json managed_policy_arns = [ "
Blue/Green デプロイを使用した、RDS MySQL/PostgreSQLのアップグレード
TL;DR RDS の メジャーバージョンアップグレード を行なった PostgreSQL 11.6 -> 15.5 MySQL 5.7.44 -> 8.0.36 PostgreSQL は AWS CDK を利用した、自前での手動切り替えをベースにした Blue/Green デプロイによるアップグレードを行なった MySQL は AWS コンソールから AWSが提供している機能である RDS Blue/Green Deployments による MySQL のアップグレードを行なった nginx の ngx_http_proxy_module を活用してサービスのダウンタイムを防止した はじめに 初めまして。株式会社ジーニーの GENIEE CHAT開発チームのマネージャーを担当しています。 今回は、データベースのメジャーアップグレードを行った際の手順やポイントなどを書いていこうと思います
AWS CDKでECS Fargate Bastionを一撃で作ってみた | DevelopersIO
EC2インスタンスの踏み台を用意したくない こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスの踏み台を用意したくないと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスター、OpenSearch Service ドメインなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台(Bastion)が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect そして、踏み台となるリソースとして採用される多くがEC2インスタンスだと考えます。EC2インスタンスの場合、OS周りの面倒をみる必要があります。OS内のパッケージのアップデートが面倒であれば「踏み台が
ワークフローオーケストレーション入門
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
AWS Aurora MySQL のメンテナンスの準備・実施・振り返りをチーム横断で行った話 - Repro Tech Blog
こんにちは、Sys-Infra Unit の小山です。今回は、AWS Aurora MySQL のメンテナンス準備・実施・振り返りまでを複数チーム横断で行った話を紹介します。 背景と課題 Repro では、AWS Aurora MySQL を利用してサービスを提供しています。Aurora MySQL は、MySQL 互換のリレーショナルデータベースサービスで、Aurora MySQL にも独自のバージョン番号が設定されています。バージョンにはサポート期間が設定されているため、利用しているバージョンのサポート期間が終了する前にはアップデートしておきたいものになります。 今回、Repro で利用している Aurora MySQL のバージョンがサポート終了日に近づいてきたため、バージョンアップデートをする必要がありました。Aurora MySQL のバージョンを上げるには、Aurora MyS
Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ | DevelopersIO
Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ Amazon RDS のMySQL 5.7やPostgreSQl 11が2024年2月末に標準サポートを終了するのに伴い、RDS延長サポート費用を支払って継続利用するか、メジャーアップグレードする選択が迫られています。 今回の標準サポートを終了を期に、メジャーアップグレードだけでなくRDSからAuroraへの移行、具体的には、RDS MySQL 5.7から Aurora MySQL 8.0への移行を支援する機会がありましたので、共有します。 PostgreSQLでも同様のことが成り立つかと思います。 なお、本記事では、RDSとAuroraの対比がわかりやすいように "Amazon RDS for MySQL 5.7"を"
はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog
この記事は、はてなエンジニア Advent Calendar 2023の2024年1月17日の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog id:hagihala です。先日、はてなブログの DB を RDS for MySQL 5.7 から 8.0 へアップグレードしたので、工夫した点などを共有します。 Aurora MySQL 3.x にしなかった理由 MySQL 5.7 -> 8.0 で対応した変更点 character set や collation のデフォルトが変更される explicit_defaults_for_timestamp がデフォルトで有効になる SQL mode の変更 デフォルトの認証プラグインが caching_sha2_password になり、 mysql_native_passw
Amazon ECSタスクを冪等に起動できるようになりました | DevelopersIO
旧聞ですが、2023/11/13からAmazon ECSが冪等なタスク起動をサポートし、副作用無しに再試行、複数回呼び出せるようになりました。 現時点では、以下のECS APIが冪等性をサポートしています。 CreateService CreateTaskSet RunTask 冪等性を実現する場合、主に次の2通りがあります。 複数回呼び出される前提で、アプリを冪等に実装 一度しか呼び出されない前提で、アプリをシンプルに実装 Amazon SQSを例に取ると、at least onceなスタンダードキューが前者で、exactly onceなFIFOが後者です。 今回のECSアップデートは後者です。ECSタスクの冪等起動対応により、ライブラリ･フレームワークの力を借りながら頑張って冪等に実装していたタスクを、シンプルに実装できるようになることが期待できます。 ポイント 重要なポイントを述べま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS CodePipelineを通すとsymlinkがテキストファイルになる件 - Qiita
