タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
インターネットやAIを駆使しながら、領域に捉われずにさらなる挑戦を行うDeNAの取り組みを紹介する「DeNA TechCon 2023」。ここで成田氏が登壇。PocochaのDBをマイグレーションしたことについて話します。 新卒1年目が100億レコード超のDBマイグレーションをした話 成田篤基氏：発表を始めます。みなさんはじめまして。成田と申します。私は2021年にディー・エヌ・エーに新卒で入社して、現在入社から2年が経とうとしています。 私は新卒1年目で、大規模なデータベースマイグレーションを行う貴重な経験ができました。本日はそのマイグレーションプロジェクトについて、体験から得た学びをみなさんにお伝えします。題して「新卒1年目が100億レコード超のDBマイグレーションをした話」です。どうぞよろしくお願いいたします。 目次です。本日はこちらの目次に沿って発表を進めていきます。 まずは私たち
tblsとGitHub Actionsを使ってDBマイグレーションを含むPRには自動更新したER図を追加する - BASEプロダクトチームブログ
BASEアドベントカレンダー2021 10日目の記事です。 BASEアドベントカレンダー2021 10日目 BASE BANKでエンジニアをしている @budougumi0617 です。 マイグレーションファイルが含まれたPull Request（PR）が作られたとき、自動更新したER図をPRに追加するGitHub Actionsを作りました。 本記事では紹介するGitHub Actionsを利用すると次のようなメリットが得られます。 マイグレーションファイルをPRに出すだけでPRに更新されたER図が追加される 開発者は面倒なER図の更新作業から開放される レビューアはマイグレーションファイルを含んだPRをER図を見ながらレビューできるようになる プロジェクト関係者は常にメインブランチのマイグレーションファイルの状態と一致したER図を確認できる サンプルPR 自動生成したER図 TL;DR
はじめに この記事ではECS(Fargate)のCDパイプラインに、DBマイグレーション処理を組み込む一例を解説します。 ECS(Fargate)へのデプロイは、ecspressoを使用します。 また、題材はLaravel、CIツールとしてはGitHub Actionsを使いますが、他のフレームワークや、CIツールでも考え方は応用できるかと思います。 目次 はじめに 目次 前提 DBマイグレーションを含む一連のデプロイの流れ DBマイグレーションの前に行うこと ワークフロー例 --watch-containerオプション --overridesオプション GitHub Actions実行結果(抜粋) 前提 本記事で取り扱うECSタスクでは、以下2つのコンテナが起動します。 nginxコンテナ。ベースイメージはnginx:1.20-alpine。 phpコンテナ(Laravelが稼働するコン
golang-migrateとは？ Go言語で作成されたDBマイグレーションツールで、GO言語のライブラリとしてだけではなく、CLIからも利用できます。そのためJavaで開発されているprismatixというサービスでも利用することができます。 JavaのマイグレーションツールにFlywayやliquibaseといったものがあります。その中でこのツールの特徴は、マイグレーションを定義しているファイルをGitHubやAWS S3などから直接参照することができることです。(もちろんローカルのファイルシステムにも対応しています) また対応しているデータベースエンジンも多く、MySQLやPostgreSQL以外にもMongoDBなどにも対応しているなど、様々な場面で使うことができるツールだと思います。 環境構築 今回は手軽に試すためにdocker上で、golang-migrateとPostgreS
Ruby on RailsでDB マイグレーションする際にシステム障害を回避するための工夫 - LCL Engineers' Blog
Webエンジニアの森脇です。 LCLでは、DB設計変更で、DBマイグレーションをする際にシステム障害を回避するためのいくつか工夫をしています。今回は、その内容を簡単にご紹介いたします。 migration作成時の注意 ブランチ戦略 原則、migrationのブランチは独立させるようにしています。 migrationとコードのデプロイはタイミングを分けたほうが安全であり、さらに他のコード修正と混ぜると、切り戻し等がやりづらいくなるため 新規JOBなど既存コードに影響しない場合は、独立させなくても可 既存コードに影響を与えない migration実行後も既存コードで正常稼働するように、migrationを作成します。 以下にケース別の手順を紹介します。 テーブルの新規作成 テーブルの新規作成は特に意識することはありません。 ただし、既存テーブルへ外部キーを貼る場合は、後述の手順に従い注意が必要
さてさて、前々回の「入門！Expressのインストールと基本のまとめ」でも少し書いたのですが、Node.jsのフレームワーク「Express」を本格的に使ってみた実感として、Laravelのようなデータベース周りの機能がなく、ちょっと残念な気持ちになっていました。 ところが、やはり世界中には天才プログラマーたちが多数いるもので、Node.jsに以下３つの機能を一気に提供してくれるパッケージがあることを知りました。 マイグレーション ・・・ DBテーブルの管理 Seed ・・・ テストデータの管理 モデル ・・・ データベース操作（LaravelのEloquentのようなもの） その名も「Sequelize」です。 ※ YouTubeを見る限り、「すぃーくぅらいず」と読むようです。英語でSQLを「すぃーくぅ（る）」と読むことに掛けてるのかと思います。 しかもこのパッケージには、Laravel
はじめに Railsはとても便利なwebアプリケーションフレームワークです。 gitも非常に便利なソースコード管理ツールです。 この2つのツールがあれば、初心者でも効率良くwebアプリケーションを開発できます。 ただし、学習用の小さなアプリケーションを一人で開発しているときはブランチはひとつかふたつで十分ですが、業務などで大きなアプリケーションを複数人で開発する場合は、複数のブランチで並行して開発が進める必要が出てきます。 こういうケースではデータベースマイグレーションを正しく理解し、正しく扱わないと、開発環境やソースコードが混沌としてきます。 Rails初心者の多くはこうした知識を持たないまま、チーム開発に参加しがちです。 この記事では「学習用の小さなRailsアプリケーション」を卒業し、「チームで開発する大きなRailsアプリケーション」に足を踏み入れる前に知っておくべき、データベース
新卒1年目が100億レコード超のDBマイグレーションをした話【DeNA TechCon 2023】
youtube：https://youtu.be/SuMRj6K620o 概要： ライブコミュニケーションアプリ Pococha は、今年1月にサービス開始から6周年を迎えました。 サービスの成長に伴い、データベースの規模も昔とは比較にならないくらい大きくなり、今回マイグレーションを行った Pococha 最大のテーブルは100億レコード以上の規模となっていました。 パフォーマンス観点での課題が顕在化し、データベースの再設計が必要な局面を迎えています。 特に課題のひとつに、テーブルが大規模になるにつれて、インデックス設計やパーティション化が適切に行えていないと、テーブルに対する検索速度が大幅に劣化することがあります。 また、テーブルをマイグレーションするにあたって、ユーザー体験を損なうことがないよう可能な限りダウンタイムを発生させずに行うことが理想的です。 そこで、本セッションでは Poc
こんにちは。広告技術部の yamaYu です。 広告サービスのバックエンド〜インフラを中心に触っています。 最近は専らパルデアの大地を駆け回る日々です。 今回の記事ですが、Kubernetes 上で管理している Rails 製システムの DB マイグレーションの扱いについて書きました。 下の記事の続編になっているため、こちらも参考にしていただけると幸いです。 tech.gunosy.io tech.gunosy.io Kubernetes 上でいいかんじに DB マイグレーションしたい Sync Phases, Waves, Resource Hooks Resource Hooks を用いた DB マイグレーション まとめ Kubernetes 上でいいかんじに DB マイグレーションしたい 前回までの記事で、Rails 製の管理画面が現状抱える CI/CD の課題の整理と GitOps
GitHub Actionsを使ったRDSへのDBマイグレーションについて、これまで手探りで実装していましたが、社内のエンジニア（ratmieさん）から情報をもらって改善してみたので、いくつかのポイントをメモとして残しておきます。 前提として、インフラはECSで構築、アプリケーションはTypeScriptでTypeORMを使用しています。 背景 RDSをVPC内のプライベートサブネット内に構築した場合、インターネット経由でのアクセスはできません。そのため、CI/CDの中でマイグレーションを行いたい場合、VPC内でマイグレーションコマンドを実行する、何かしらの手段が必要となります。 これまで以下を試してみていましたが、それぞれデメリットもあり、いまいちしっくりきていませんでした。 ECSのアプリ起動コマンドの中でマイグレーションを行う → ECSを複数台立ち上げるようにスケールすると、複数回
RailsアプリをCloud Runで動かすときにいくつか悩むことがありますが、そのひとつにDBマイグレーションをどうやって実行するかがあると思います。 この問題の解決策としてCloud Runジョブを使ったらうまくはまったのでご紹介します。 おことわり Cloud Run自体の説明やCloud Runへのデプロイ方法については省略しています。別途公式ドキュメントや解説記事を参照してください。 また、Cloud Runジョブは現在プレビューとして提供されているので、事前に利用規約などをご確認ください。 Cloud RunのDBマイグレーションどうする問題とは RailsアプリのDBマイグレーションはrails db:migrateコマンドの実行によって行います。 Cloud RunにデプロイしたRailsアプリでrails db:migrateを実行したいと思っても、Cloud Runサー
ASP.NET Core 3.0 Razor Pages 事始め(2) - スキャフォールディングとDBマイグレーション - Qiita
Help us understand the problem. What are the problem?
はじめに アライアンス統括部の佐々木です。先日初めてAivenを触りました。 データクラウドサービスのAivenを使ってみた 今日は、AivenでAWS上に構築したMySQL DBを別クラウドにマイグレーションしてみます。 Can I migrate my service to another cloud or region? やってみた 先日構築したMySQL DBです。[Cloud and VPC]欄を見るとAWSのTokyoリージョン上に構築されていることがわかります。[Micgrate Cloud]ボタンをクリックします。 [Migrate service to another cloud]画面が表示されます。選択可能なのはAWS、Google Cloud、Microsoft Azure、DigitalOcean、UpCloudです。今回はGoogle Cloudを選択します。リー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
100億レコード超のDBを“障害ゼロ”でマイグレーション 新卒1年目が考えた2つのアプローチと3つの工夫
ECS(Fargate)でDBマイグレーションを行う - やんばるテック
golang-migrateでDBマイグレーション | DevelopersIO
便利！Node.jsにDBマイグレーション、Seed、モデルを用意する「Sequelize」
【Rails初心者向け】ブランチを切り替える前に気を付けたいDBマイグレーションの注意事項 - Qiita
管理画面にGitOpsを導入しました 〜DBマイグレーション編〜 - Gunosy Tech Blog
GitHub Actionsを使ったRDSへのDBマイグレーションについて（ECS構成の場合）
Cloud RunのDBマイグレーションどうする問題にCloud Runジョブで対処する - Qiita
AivenでMySQL DBを別クラウドにマイグレーションしてみた | DevelopersIO
x.com
day-mitama777.hatenablog.jp
theeventscalendar.com
kofukutrading.com
togetter.com
reiko4.px.ebb.jp