AWS DMSでMySQLからRedshiftへのマイグレーションを試してみる - Qiita
諸条件 ソースがMySQLの場合、Redshiftへの変換にSCTが利用できない DMSにはSCT(SchemaConversionTool)という、ローカルPCにインストールしてスキーマやストアドプロシージャ等を自動変換・診断してくれるツールがあります。このSCTはソースDBとターゲットDBの組み合わせごとに使用可否が決まっている点に注意が必要です。 以下のURLの通り、ソースがMySQLの場合、ターゲットにRedshiftを選択することができません。 https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Welcome.html そもそもターゲットがRedshiftの場合は、ソースの対応DBエンジンにOLTP系のものは少なく、多くがOLAP系です。 OLTP系：SQL Server, Oracle
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
位置情報系RubiestがMySQLを5.7から8.0にした話 - Qiita
静岡市でWeb開発しているkazuomatzです。 以前、こちらの記事で、Rails + MySQL で位置情報を扱う時に標準だったライブラリ activerecord-mysql2spatial-adapterについて書きました。 ライブラリの開発が止まってしまい、新しいRailsのバージョンに更新しようとすると対応されていないので、リポジトリをforkして、Rails6.0で何とか動かした話です。 今年、AWSのRDSのMySQL5.7系のサポートの終了がアナウンスされました。2024年2月以降、RDSでMySQL5.7を利用し続けるには、有償の延長サポートに入る必要があります。 というわけで今年は、MySQL5.7で稼働しているシステムをMySQL8に更新するお仕事が数件ありました（2023年12月現在、まだまだ絶賛実施中です）。 当然、MySQL5.7とMySQL8.0に移行するに
【Adjust AWS連携】AdjustのローデータをS3経由でRedshiftにエクスポートする - Qiita
スタートアップで働くRailsエンジニアです。 今回、Adjustローデータをユーザーの行動分析や広告効果の検証に活用しようということで、たまたまAdjust、S3、Redshiftを触る機会があったため作業メモとして残します。 Redshift、クエリの実行が早くて助かりますよね。Adjustローデータような大きなデータに対してクエリを実行して分析結果を得たいような場合、かなり良い選択肢ではないかと思います。 個人的にAdjust関連のドキュメントがとっつきにくかったため、アドテク分野そんなによくわからないけど急遽触ってみることになった、など私と同じ境遇の方の参考になれば幸いです。 やりたいこと Adjustローデータ ↓ csv形式で毎時自動アップロード S3 ↓ csvファイルのデータを1日1回コピー Redshift(サービス分析基盤) 前提 Redshift側は既存環境を利用(ク
デフォルトのRDSキーで暗号化されたスナップショットの共有 - Qiita
概要 RDSのスナップショットを共有する際、デフォルト以外のAWS KMSを利用した暗号化であれば、問題なく行える。 AWS 公式 - 暗号化された Amazon RDS DB スナップショットを別のアカウントと共有する方法 ただ、デフォルトの暗号化キーで暗号化されたスナップショットを共有(上図のShare)できない。 予想ですが、デフォルトの暗号キーを別アカウントに共有できないためだと思われる。 デフォルトの AWS KMS 暗号化キーを使用して、暗号化されたスナップショットを共有することはできません。 とAWS公式も無理だと言っていますが、以下の手順で共有が可能でした。 スナップショットを取得する。 KMSにてカスタマー管理型のキー(CMS)を作成する。 CMSを共有する。 スナップショットをCMSで暗号化してコピーする。 スナップショットのコピーを共有する。 共有したスナップショット
AWS DMSを使ってみた（ノウハウ） - Qiita
はじめに ちょっと前に仕事でAWS DMSを使ったので、その時のノウハウです。 DMSはDatabase Migration Serviceの略で、（基本的には）DBからDBへ移行するためのツールです。 AWS DMS 自分が実際に使ったのはOracle→Aurora MySQLの移行です。 ターゲットDBのテーブルは予め作っておく DMSは、ソースDBからデータを抜き取り、一度DMSのデータ型に変換して、 更にターゲットDBのデータ型に直してデータを入れていきます。 この過程で意図しないデータ型に変換されてしまうことがあるので、 ターゲットDBには予め意図した型のテーブル・カラムを作成しておいてから、データ移行を行ったほうが良いです。 データの変換テーブルは以下のページなどを参照。 AWS Database Migration Service のデータ型 OracleがソースDBの時のデ
Golang製DBマイグレーションツールgoose + MySQLを試してみた - Qiita
gooseとは Golang製のDBマイグレーションツール https://bitbucket.org/liamstask/goose/ なんでgoose？ プロジェクトのプログラムとは離した状態でマイグレーションを導入したかった。プロジェクトごとにマイグレーション手段が変わるのが嫌だったから。 SQLをそのまま書けるので学習コストが高くなさそう。 Golang製のツールを使ってみたかった。 導入まで 参考: http://enomotodev.github.io/post/use-goose/ goは導入済みとして $ goose goose is a database migration management system for Go projects. Usage: goose [options] <subcommand> [subcommand options] Options:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
