[AWS Data Pipeline]Pipeline内でShellCommandActivityを逐次実行する | DevelopersIO

はじめに バッチ処理の開発をしていると、特定の時間のみシェルコマンドの実行を行いたいケースというの多々あるかと思います。Data Pipelineには「ShellCommandActivity」というシェルを実行するためのActivityが存在します。今回はこれを使用し、あるシェルコマンドの実行後に次のコマンドを実行するといった逐次実行を行ってみました。 具体的におこなったこと 以下の処理を逐次実行してみました。 任意のEC2を起動 EC2起動時にインストール済みのプログラムを実行する 一定時間、待機 起動したEC2をシャットダウンする 上記の2についてはEC2のcronの設定で起動時にプログラムを実行するようにしました。2以外についてはShellCommandActivityにて設定しました。 Data Pipelineの設定 Data Pipelineの設定は、一つのPipelineに