AWS Data Pipelineを利用したAWSジョブスケジューラ | DevelopersIO
こんばんは、城内です。 ついに先日AWS LambdaがTokyoリージョンに上陸しましたね。以下のまとめ記事、いいですね！ 【祝東京リージョン上陸】AWS Lambda関連のDev.IO記事まとめ そんな中、今回はData Pipelineネタです。なぜいまLambdaのTokyoリージョン上陸を喜びつつもData Pipelineなのかは、この記事をご覧頂ければきっと分かってもらえるかと思います(笑)。 はじめに 今回何をやるのかというと、Data Pipelineをジョブスケジューラ代わりに使ってみたいと思います。 実行する処理は、定期的に不要なEC2インスタンスを停止するジョブです。開発用インスタンスの止め忘れなど、皆さんもよくあることかと思います。 事前準備 まず、Data Pipelineのロジック部分となるスクリプトとそれを格納するS3バケット、通知用のSNSトピックを作成し
AWS CLIの処理をAWS Data Pipelineで自動化する | DevelopersIO
先日投稿した以下のAWS Data Pipeline関連エントリで、サービスを構成する諸要素のおおまかな内容が把握出来ました。当エントリ(以降)では実際に予め用意されているテンプレート等を使って実際の利用シーンを想定したパイプラインの作成について見て行きたいと思います。 定型データ移動処理のスケジュール自動化設定サービス『AWS DataPipeline』の構成要素をひと通り整理してみた ｜ Developers.IO まず初っ端1本目は『AWS CLIの処理をAWS Data Pipelineで実行する』というテーマから。 目次 AWS Data Pipeline 構成イメージ AWS Data Pipeline パイプラインの構築 パイプラインの作成: 名称の設定と利用ソースの選択 パイプラインの作成: パラメータ(AWS CLIコマンド)設定 パイプラインの作成: スケジュール設定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
