タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

qiitaとaws-data-pipelineに関するnabinnoのブックマーク (2)

  • AWS LambdaをCronっぽく周期実行させる - Qiita

    はじめに AWS LambdaはEvent Drivenに設計されており、Cron Jobの様なSchedule Drivenで起動する事は想定されていません。LambdaをScheduleで起動する方法は、こんな方法も有るみたいですが、ここではAWSのData Pipelineの機能を使って、LambdaをSchedule Drivenで周期実行する方法をチラ裏しておきます。 ただし、Data Pipelineの制約として、実行周期は15分以上にしか設定出来ないので注意してください、1分毎の実行などはできません。 全体の流れ 設定する項目の流れは、以下の様になっています。 Lambda functionの作成 Lambda functionのnode.js codeの作成 Lambdaの実行に必要なIAM Roleを作成(or 既存のIAM Roleを設定)する LambdaのEvent

    AWS LambdaをCronっぽく周期実行させる - Qiita
  • AWS Data Pipelineをスケジューラとして使う - Qiita

    AWS Data Pipeline。名前からするとETLやデータの移動のために使われるイメージが強いんだけど、実はCronぽいスケジューラとしても使えるので、ポイントをまとめておく。 方針は単純で、 Data Pipelineをシェルスクリプトを起動するためだけに利用するという感じ。 Data Pipeline、いろいろ覚えることがあって若干めんどくさいところもあるが 個別のサーバーに依存しないスケジューラを使える というのはそれなりに価値があるところだと思う。 処理の定義(アクティビティオブジェクト) Data PipelineのアクティビティにはShellCommandActivityというものがあって、これはOS上で単純にシェルスクリプトを実行してくれる。 Commandというパラメータに直接シェルスクリプトを渡してやればOK。もう少しちゃんと管理したいならScriptUrlというパ

    AWS Data Pipelineをスケジューラとして使う - Qiita
  • 1