pt-online-schema-changeを用いたスキーマ変更 on Amazon Aurora MySQL - kubell Creator's Note
こんにちわ。id:cw-tomitaです。 この記事は、Chatwork Advent Calendar 2020 - Qiita の3日目の記事です。 早速ですが、皆さんはauto incrementなRDBのtableのidにはどのような型を利用されていますか？ Chatworkでは多くのテーブルでint型が指定されているのですが、９年前にサービスを開始した時には想像もつかないくらいに多くのお客様に使っていただけるサービスへと成長した結果、int型なauto incrementのidを利用しているテーブルで、レコード数がintの上限を迎えそうなテーブルが複数現れ、どかっとまとめてALTER TABLEを実施するという2020年を代表する一大イベント(?)がありました。 今回は、その時に利用したpt-online-schema-changeというツールを使ってのALTER TABLEの実
[MySQL] LOAD DATA LOCAL INFILE でCSVをインポート
CSV ファイルのデータを MySQL データベースにインポートする方法。 大量のデータを、高速に取り込むことができるという。 構文 [] に囲まれているのは省略可。 LOAD DATA LOCAL INFILE 'ファイル名' [REPLACE | IGNORE] INTO TABLE テーブル名 [FIELDS [TERMINATED BY '区切り文字'] [[OPTIONALLY] ENCLOSED BY '囲み文字'] [ESCAPED BY 'エスケープシーケンス' ] ] [LINES TERMINATED BY '行の改行文字'] [IGNORE 数値 LINES] [(@CSVの項目値を格納する変数, ...)] [SET DBのカラム名 = @CSV変数 または 任意の値, ...] REPLACE : 主キーやユニークキーが重複した場合、入力値で書き換えられる。（ D
![[MySQL] LOAD DATA LOCAL INFILE でCSVをインポート](https://cdn-ak-scissors.b.st-hatena.com/image/square/72bb966e3fde47e5ed7ad30c2867bc86ca340580/height=288;version=1;width=512/https%3A%2F%2Fagohack.com%2Fwp%2Fwp-content%2Fuploads%2F2019%2F12%2Flogo-mysql-176.png)
Amazon Aurora MySQLとS3間でデータをロード&アンロードする | DevelopersIO
Amazon Aurora MySQL は、データを S3 にアンロード(SELECT INTO OUTFILE S3) S3 からロード(LOAD DATA FROM S3) できます。 実際にやってみます。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server セットアップ 構成イメージ 手順概要 RDS が S3 にアクセスするための IAM ロールを作成 DB クラスターパラメーターグループのパラメーター(aws_default_s3_role)に IAM ロールの ARN を指定 Aurora クラスターを起動。IAM ロールをアタッチ mysql クライアントから SELECT INTO OUTFILE S3/LOAD DATA FROM S3 を実行 RDS 向け IAM ロールの作成 Aurora イン
MySQLエクスポート、インポートいろいろ - Qiita
概要 データ抽出で調べていたらいくつか方法があるけど一つにまとまっている記事がなかったのでまとめてみました。 また、OUTFILE/INFILE使用時に注意することも補足としてまとめました。 ※mysqlを使っています。 mysqldump DB外からDBやテーブルをオプション指定して出力する ・データバックアップとか移動に使うことが多い。 参照 mysqldumpまとめ mysqldumpオプション # dumpアウトプット例：db全体(db_nameを並べれば複数可能) $ mysqldump -h 127.0.0.1 -u user_name -p -P 3306 db_name > test.sql # dumpアウトプット例：特定table(table_nameを並べれば複数可能) $ mysqldump -h 127.0.0.1 -u user_name -p -P 3306
RailsとAmazon Aurora利用時のフェイルオーバー問題を解決 - matsukaz's blog
tl;dr RailsのコネクションプールとAmazon Auroraのフェイルオーバーの仕組みは相性が悪く、フェイルオーバー時に致命的な問題が発生する 解決方法の1つは、コネクションプールを使わないこと ただし、都度接続だと接続コストがかかる New Relicなどを使ってる場合は、自分の実装以外で使ってるコネクションまで都度接続になってしまう 別スレッドでDB操作を行っている場合、処理中であってもそのスレッドのコネクションまで切断されてしまう（Railsのコネクション破棄がプロセス単位のため） コネクションプールを活かしたままこの問題を解決できたので、その方法をご紹介します。ちなみにRails 4.2の話。 RailsとAmazon Aurora利用時のフェイルオーバー問題とは 詳しくはこちら qiita.com 問題が発生する状況をまとめると以下の通りです。 Amazon Auror
AuroraのフェイルオーバーとRailsのコネクションプールを共存させる方法 - Qiita
はじめに こんにちは、ここ最近AzureからAWSに主戦場を移したalfaです。 AWS なので早速地雷を踏みました。 具体的には、Auroraでフェイルオーバーが発生した際にDBへ書き込みが出来なくなってしまい、アプリが再起動されるまで正しく動かなくなってしまうといった症状です。 何が起こったのか AuroraのフェイルオーバーとActiveRecordのコネクションプールの仕組みは相性が悪かったという事ですが順を追って説明していきます。 クラスターに障害が発生した場合、クラスタエンドポイントのDNS(CNAME)を書き換えることで参照先を切り替える仕組みです。 クラスタエンドポイントをDBの接続先に設定したRubyアプリケーションがあったとき フェイルオーバーしてマスターが切り替わると... アプリケーションは再接続するだけで昇格したマスターを参照できます。 ウルトラハイパーメチャクチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数十億レコードのRDS MySQL5.6を1週間程でAurora MySQL5.7へ移行した時の話 | JAWS DAYS 2019