エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
RDB依存からの卒業。ELTシステムをETLへ刷新して見えた現実と振り返りの話 - JMDC TECH BLOG
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RDB依存からの卒業。ELTシステムをETLへ刷新して見えた現実と振り返りの話 - JMDC TECH BLOG
こんにちは。株式会社JMDC データウェアハウス開発部の垂水です。 今年、JMDCではアドベントカレンダー... こんにちは。株式会社JMDC データウェアハウス開発部の垂水です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2025 2日目の記事です。 目次 1. はじめに 2. 刷新前後のシステム構成イメージ ■before ■after 3. 現行システムで抱えている課題と解決状況 4. ELTからETLに切り替わってどうだったか ■データ加工ロジックの基盤刷新(SQL -> pandas) 良かった点・工夫した点 ■データ保存先の刷新(RDB -> S3) コストとリソースのトレードオフ 5. おわりに 1. はじめに 現在、データベースの機能と処理性能に深く依存していたELTシステムを、アプリケーション側で処理を行うETLシステムへと刷新するプロジェクトを進めています。 本番リリースがいよいよ目前に迫ってき

