Software Design 2024年8月号 連載「レガシーシステム攻略のプロセス」第4回 ZOZOTOWNリプレイスにおけるマスタDBの移行 - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 ZOZOTOWNリプレイスプロジェクトで採用したマイクロサービス化のアプローチでは、安全かつ整合性のとれたデータ移行が必須となりました。第4回では、このマスタDBの移行について紹介します。 目次 はじめに 目次 はじめに マスタDB移行 マスタDB移行について 要件と課題 テーブル構成を再設計したうえでデータ移行を実施する ダウンタイムなしでデータ移行を実施する 方針 異なるDBおよびデータスキーマ間で移行を実施するためEmbulkを使用する ダブルライトをリリースし、データ移行中に発生するDBへの書き込みを両DBにアトミックに実施する データを一時DBに格納し、一時DBから移行先DBにデータを移行する BulkloadとBac
オンライン DDL を期待して ALTER 文を実行したら障害になりかけた話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシではマルチプロダクト化に向けて、認証・認可の切り出しを進めています。その対応を進める中で、既存テーブルへのカラム追加が必要になりました。 先日、そのリリースのために本番データベースにマイグレーションの ALTER 文を実行したところ、クエリが詰まって危うく障害になるところでした（幸いすぐにキャンセルして事なきを得ました）。 原因を調べたところ、オンライン DDL は複数の条件が関係することがわかりました。オンライン DDL に対する知識不足と事前検証の甘さゆえのミスでしたが、結果的には良い学びが得られました。 カミナシのバリューのひとつである「全開オープン」の気持ちで、事の顛末やそこから得た学びを公開します。 なお、今回の話は MySQL 5.7 互換の Amazon Aurora MySQL 2 で確
がんばらないDBaaSの作り方 - DWANGO（旧KADOKAWA Connected事業） | Engineering Blog
はじめに はじめまして、KCS部のmaruです。KCS部では、部長といくつかのサービスのオーナーをやっています。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、私がオーナーをしているサービスにはDataBase as a Service(以下DBaaS)があります。 主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 今回はKCSが提供しているDBaaSについて、いかに頑張らないで運用できるようにしているかについて投稿します。 規模で見るKCS DBaaS KCSが現在提供しているDBaaSは下記の3つです。 KCS RDB基盤 for MySQL バージョン：MySQL 5.7系 MySQL数(概算)：450 masterの総データ量(概算)：3TB KCS Cache基盤 for Redis*1 バージョン：Red
MySQLレプリケーションあれやこれや
2018/01/26 第2回 オープンソースデータベース比較セミナー https://osscons-database.connpass.com/event/74688/
あるSPソーシャルゲームのチューニングメモ - Qiita
WEBサーバが通常40台でGvGバトル時は60台に増やすというスケール設定になっている。 CPUもメモリも使用率高くないのにサーバ台数増やさないとレスポンスが悪くなる。 WEBサーバ：CPU10%ぐらい、メモリ10%ぐらい DBサーバ：CPU10~20%ぐらい、メモリ20%ぐらい これ以上サーバを増やしたくないし、できれば減らしたい。 調査で使うもの New Relic https://newrelic.com/ これをWEBサーバのどれか1台にインストールしておきます。 最初の30日は有料版の機能も使えるのでその期間で一気にボトルネックを探りました。 URLごとにどんなメソッドやSQLが何回実行されているかなど見れるのでチューニングが捗ります。 無料で使える機能だけでも割と使えます。 アラート閾値（初期値）が少し高めなのでチューニング中は低く設定しましょう。 そうしないと重い箇所を特定で
DB操作ツール Emacs DBI を作ってみた - 技術日記＠kiwanami
去年からほそぼそと作ってきた、EmacsからDBを操作できるツール Emacs DBI を紹介します。 Emacs DBI の簡単な紹介 このツールの目的は、クロスプラットフォームで便利なDB操作環境を実現することです。 pgAdmin や MySQL Query Browser のようなGUIの良さをCUIで実現してみようとしてみました。すなわち、ぼくのかんがえたさいきょうのDBツールです。ちなみに、このツールにとってEmacsはただの実行環境です。Emacs使わない人でも使うと便利だと思います。 データベース画面 e2wmで3ペインの画面 機能概要 以下のような機能があります。 EmacsとDB接続可能なPerlが動けばターミナルでも何処でも動く DB定義、テーブル定義がすぐ見れる auto-complete によるSQL補完 接続先DBにからキーワード、型名、テーブル名、カラム名など
サイトをできるだけ止めずにMySQLデータベースの再構築を行う方法 - 理想未来ってなんやねん
my.cnfでinnodb_file_per_tableを指定せずibdata1ファイルが膨れ上がった時など、後からレコードを削除してもファイルを縮小することができない為、ディスク使用量を減らすためにはデータベースの再構築を行う必要があります。 再構築はmysqldumpでバックアップしておいて、mysql_install_db で初期化した新しいデータベースに流し込むだけです。 全体のサイズが比較的小さい場合は短時間で済むのでメンテナンス時間も短くて済みますが、サイズが大きくなると再構築に時間がかかるようになり夜間メンテの時間だけでは終わらなくなってきます。 サイトを止めている時間を最小にして、サイトにできるだけ負荷を掛けずに再構築する方法を記載しておきます。 とは言えダンプするときと切り替える時で最低2回止める必要がありますので、夜中などアクセスの少ないタイミングで作業しましょう。 今
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
start [Pandora FMS Documentation]