データ基盤構築の実践知が大集合！ 技術選定とアーキテクチャを急成長テック企業の事例から学ぶ

分析用データ基盤を移行！ 移行先を選定する際に考えたこと メルペイは社内分析用データ基盤において、Apache Airflowを用いたワークフローから、Argo Workflowsとdata build tool（以下、dbt）を活用したアーキテクチャへ移行した事例について解説した。 まず、Apache AirflowとArgo Workflowsの機能を比較した。Apache Airflowは、ワークフローをコードで定義できる点が大きな強みで、多様なタスクオペレーターをサポートしており、柔軟性が高い。ただし、スケジューリングやリソース管理に課題があった。 一方、Argo Workflowsは、Kubernetes上で並列ジョブを管理することに特化したオープンソースのワークフローエンジンであり、Kubernetesのリソース管理を活用することでスケジューリングやスケーリングが容易。メルペイ