「Self-hosted GitHub Actions runners in AWS CodeBuild」を使ったバッチ実行基盤 - エス・エム・エス エンジニア テックブログ

お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型でしょう。 もう少し複雑になってくるとAWS CodeBuildとEventBridgeを組み合わせてサーバレスに定期実行したり、更に複雑な例ではApache AirflowやArgo Workflo

[Kesin]

まさにこういうAWSのVPC内でジョブを動かしたい用途で便利そう。ちなみにGitHub Hosted RunnerがIP固定できないと書かれていますが、Larger RunnerならばIPレンジ固定できるはずです / 追記ありがとうございます :+1:

[for-my-internet-demo]

バッチ処理で使うのかー。step functionsとaws batchは疎結合すぎで運用こなれるまでがちょい勉強長いからなー