Digdag & ECS ワークフローエンジンでバッチ処理
前回S3へのPUTイベントをトリガーとしてLambda関数による機械学習モデルの構築と推論サービスの更新を自動化しました。あとは自動化のパイプラインの中で、仮想通貨のデータを取得してS3へ配置する作業を定期的に行いたいです。APIからデータを取得して、csv形式でS3へ保存するだけなのでシェルスクリプトとAWS CLIでも簡単に処理できますが、本稿ではワークフローエンジンであるDigdagをAWS ECS上で試してみました（EC2でなくFargateです）。ネタとしては若干古いですが個人的な備忘録として残しておきます。なお公式リポジトリにはStep Functionsで機械学習のモデル構築からデプロイまでオーケストレーションしている例があるのでそちらのほうが今っぽいと思われます。 機械学習における環境構築から開発・運用や推論を幅広くカバーするAWSのマネージドサービスであるAmazon S
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambda Layersの作り方