バッチの整理をしてたらメールの基盤を作っていた話 - TANP Blog

こんにちは、プロダクト部・エンジニアの今井です。 TANP(タンプ)では、データの連携・加工・抽出や、ユーザーへのお知らせ配信など、多様な用途でバッチ処理を活用しています。特に、メール配信を目的とするバッチ処理が多く存在しており、これらの管理や運用に関連する多くの課題を抱えていました。本記事では、これらの課題を解決するための過程やどのように技術選定を行ったのかについて書こうと思います。 バッチ処理に関連する課題 バッチ処理はプロダクトが成長し続ける中で広く利用され、数も増えてしまいますが、その管理が不十分だと課題もモリモリ増えていくことになります。実際に私たちは以下のような課題に直面していました。 【コード管理できていない部分がある】 特にインフラの設定についてはコード管理できていない部分が多くありました。再現性低く、管理の手間やインフラリソース全体の設定の見通しが低い状態になっていました