AWS Glueのコストを30%削減した話

はじめに この話でAWSのユーザーコミュニティであるJAWS-UG山梨支部でLT登壇してきました。 サクッと見たい方をこちらを〜 本ブログは上記をほんのちょっとだけ細かくしたものです。 背景 JINSでは数ヶ月前にETLシステムのリプレイスを実施しました。 きっかけは既存ツールのEOLで、そのツールに対して色々と課題もあったので、バージョンアップはせずにこのタイミングで別ツールに切り替えようという判断になりました。 いくつかのツールを検討しましたが、 AWSのワークロードも多いのでAWS使いはそれなりに多い 非エンジニアも一緒にノーコードでETLをというよりは、エンジニア側がメインでコードベースでやりたい 等々からAWS Glueを採用しました。 対象システム リプレイス後のAWS Glueを利用したシステムのざっくりの構成図は以下のとおりです。 ソースとなる構成としてはAuroraがいた