はてなブックマーク

DataPipelineには、定義したActivity実行するかどうかを判断する前提条件機能（Precinditons）があるのですが、あまりそこに関するドキュメントが多くない気がしたので、ちょっと書いてみます。 前提条件機能についてはこちら。 今回利用したのが、S3KeyExistsとShellCommandPreconditionの2つになるので、そちらのご紹介です。 S3KeyExists 該当のファイルがs3に存在するかチェックします。 動作としては、指定のs3キーが作成されるまでチェックを行い続け、作成が確認できたらActivityを実行するという挙動になります。 設定の画面はこんな感じです。 S3KeyにチェックしたいS3のキー名を記述します。 毎日実行したいバッチだったりすると、S3のファイル名にも日時が入ってきそうです。 例えば、前日の日付がついたファイルの存在確認は下記の