はじめに 皆さんStep Functions使ってますか？ 今回はStep Functionsがいかに簡単で可能性があるのか、を伝えるために入門記事を書いてみようと思います。 Step Functionsは基礎部分を理解すればある程度使いこなすことができるので、皆さんぜひ使ってみてください。 作るステートマシンの全体像 今回はサンプルとして複数のバケットを空にするようなステートマシンを作成します。 画面からバケットを空にするのはボタンを押すだけなので簡単ですが、自動化しようと思うとコードを書かないといけないので面倒です。 GUIを使ってステートマシンを作って、定期起動すれば自動化できるので、ノーコードで実現できるので便利ですよね？ね？？？ 下準備 まず、名前は何でもいいのでバケットを2つ作成してください。 また、それぞれのバケットに適当なファイルを保存してください。 今回は以下2つのバケッ
AWS Amplify Advent Calendar 2020 10日目の記事です！ Amplify CLIを使うとAPI GatewayのREST APIをサクッと作成できます。 ただ、API GatewayのREST APIは、Lambda統合のタイムアウトが最大29秒なので、データのダウンロードとか時間のかかる処理を行うとタイムアウトしてしまうことがあります。そこで、Step Functionsを使ってタイムアウトの問題を解決してみます。 ※つまり、以下で説明されているようなことを、Amplify CLIでやろうという感じです。とてもわかりやすくまとまっているので、まず読んでもらってから続きを見てもらえると良いかと思います。 【API Gatewayタイムアウト対策】Step Functionsを組み合わせて非同期処理にしてみる 概要 Amplify CLIでAPI Gateway
AWS - ECS Taskを使ったバッチ処理
ECS Taskを使ってバッチ処理するケースがあると思う。 構成のパターンは様々ありそうだが、必要となるAWSリソースであったり、監視・リトライの実現方法あたりを、整理しておこうと思う。 （Lambdaを使えばリトライ設定とかあるので簡単だが、処理時間が長いなどLambdaが使えないケースを想定している） 時間指定で、ECS Taskを起動したい EventBridgeでTargetに、ECS taskまたは、Step Functions state machineを指定すれば良い。 Targetの呼び出し自体に失敗したときのリトライはRuleに対して設定できるが、起動後の失敗に関してはStep Functionsで対応する必要がある。 なので、最初からStep Functions state machineを指定する形にしておくと良さそうな感じがする。 ECS Taskが失敗したら、リト
休日に自由に外出することもままならない昨今、おうち時間はたくさんあるけど何をすればいいのかわからない。 そんなときは、AWS のサービスの挙動を調べてみるのはいかがでしょうか。 新しい時代の新しい時間の使い方を提案するこのブログ、今回は AWS Step Functions の Map ステートの挙動を調べてみました。 AWS Step Functions の Map ステートとは ドキュメント には Map ステートについて、次のように書いてあります。 Map 状態 ("Type": "Map") を使用して、入力配列の要素ごとに一連のステップを実行できます。Parallel 状態は同じ入力を使用して複数のステップのブランチを実行しますが、 Map 状態は状態入力の配列の複数のエントリに対して同じステップを実行します。 どうやら Map さんに配列を渡すと、配列の要素それぞれに対して同じ
AWS Step Functionsのネストされたステートマシン実行は同期と非同期で必要な権限が異なる | DevelopersIO
こんにちは。サービスグループの武田です。 AWS Step Functionsのステートマシンでは、タスク状態から異なるステートマシンを呼び出すことができます。これを ステートマシンのネスト と呼んでいます。 さてネストされたステートマシンを呼び出す方法として同期と非同期のオプションがあります。実は同期呼び出しの場合、追加の権限が必要となるのですが、そのことを知らなかったためハマりました。まずはその手順を再現してみます。 ハマった手順 呼び出されるサブステートマシンと、それを呼び出すメインステートマシンを定義していきます。また呼び出し方法として非同期呼び出しするステートマシンを作成します。 サブステートマシンの定義 呼び出されることになるステートマシンを作成します。名前はSubStateMachineとし、ウィザードにしたがってIAMロールも新しく作成します。ステートマシンは10秒待つだけ
StepFunctionsのPassステートでできることを整理してみました。 既存のパラメータをすべて捨てて、Passステートで返す新たな値だけを使う Resultフィールドで新たな値を定義するだけです。シンプル。 ステートマシンの定義 { "StartAt": "PassTest", "States": { "PassTest": { "Type": "Pass", "Result": { "Fuga": "FugaValue" }, "End": true } } } 入力 { "Hoge": "HogeValue" } 出力 { "Fuga": "FugaValue" } 既存のパラメーターを残したまま、Passステートで新たな値を追加する ResultPathフィールドで新たな値の位置を指定すれば、他の場所には既存のパラメーターが残ります。 ステートマシンの定義 { "StartA
エンジニアの佐藤です。こんにちは。今回は「AWS Step Function のユニットテスト」を構想し、実装までに直面した課題と私が考えた解決方法についてお話ししたいと思います。 AWS Step Functionとは 公式ページに書かれてますが、 Step Functions は様々なサービスをつなげて「サーバーレス・ワークフロー」を編成する仕掛けです。 AWS には古来から様々なワークフロー支援サービスがありますが、その中では最も新しいものです。 ことの始まり 筆者はある日、とある業務システムをどうやって実装したものかと考えていました。AWSでやってくれという話でしたので、AWSの各種サービスを比較検討し、最終的にStep Functionsを選択しました。重視したポイントは以下のようなものです。 拡張性が高い。 高可用性設計。 ワークフローの進捗が視覚的に確認できる。 ワークフロー
AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合する
概要 時々エラーが発生したりメンテナンスで停止させる必要のある逐次処理に対して、運用負荷の低いリカバリ処理方法を提案する。 課題 動画処理のように処理時間が長くコストの大きな処理フローで、エラー復旧時の再処理のエンジニアオペレーションを簡易にしたい。 課題の背景事情 A処理→B処理→C処理 のような一連の処理フローがあり、数分から数時間と処理時間が長い。これを毎日数百件程度処理を行っている。 フローの特定のプロセスで外部のAPIを叩くのだが、その外部APIは時々エラーになる可能性があり、数時間メンテナンスに入ることがある。また、ベストエフォート運用で深夜休日になんらかの異常で停止した場合、翌営業日の復旧の可能性がある。 このシステムを運用するチームにシステムエンジニアは1名しかいない（つまり自分だ）。隣接システムの障害に24時間対応はしたくない。幸い、隣接システムが復旧するまで、このシステ
おはこんばんちは、AWS大好き芸人の@ken11です このネタをどこに投下しようか結構悩んだんですが、わりかしきちんとまとめたのでZennに掲載することにしました。 今日はStep Functionsの話を。 Step Functions 皆さんAWSのStep Functionsは使ってますか？ 僕はとてもお世話になっています Lambdaオーケストレーション的ななにかが欲しい時、SageMakerオーケストレーション的ななにかが欲しい時等々、非常に便利な存在ですよね。 ただ如何せん、Input/Outputの取り扱いがややこしい点がネックです。 初見殺しでは？と思えるような複雑性を兼ね備える存在なので、Inputを引き回したいのにうまくいかないとか、Outputをうまく構築したいのにやり方がわからんとか、そういった部分で心折れる方もいらっしゃるのではないでしょうか。 今日はそのStep
Implementing reactive progress tracking for AWS Step Functions | Amazon Web Services
AWS Compute Blog Implementing reactive progress tracking for AWS Step Functions This blog post is written by Alexey Paramonov, Solutions Architect, ISV and Maximilian Schellhorn, Solutions Architect ISV This blog post demonstrates a solution based on AWS Step Functions and Amazon API Gateway WebSockets to track execution progress of a long running workflow. The solution updates the frontend regula
AWS SAM now supports AWS Step Functions, enabling you to integrate workflow orchestration into your serverless applications quickly and easily. Through direct support in the AWS Serverless Application Model (AWS SAM), an open-source framework for building serverless applications, you can now deliver your serverless applications faster by defining your Step Functions state machine workflows alongsi
いわさです。 AWS Device Farmで自動テストを実施しますが、テストには数分〜数時間かかります。 テストが終わるまでモニターの前で張り付いたりリロードを繰り返すのはちょっとつらいなと感じました。 しかし、他の自動化サービスにはある、AmazonSNS連携などの機能がDevice Farmには用意されていません。 そこで、今回はいくつかのサービスを組み合わせて実現してみました。 構成と仕組み まず、Device Farmはテストを実行する際に、ScheduleRunを実行するため、CloudTrailのイベントレコードが発生します。 しかし、テストが完了したというイベントは発生しません。CloudTrailにもログにも出力されません。 ただし、AWS CLIにてDevice Farmのget-runコマンドを使うと、テストの実施状況を確認することが出来ます。 そこで今回はEvent
この記事について この記事は Opt Technologies Advent Calendar 2019 17日目の記事です。 担当プロダクトで利用したStep Functionsにて、失敗を通じて得た知見をまとめたものです。 自分について 中途入社して1年ちょっとのエンジニア。チームマネージャになって半年くらい。 入社してからクラウドインフラを学習し始め現在もチーム内で主に担当をしていますが、アプリケーションコードも状況に応じて実装する感じです。 昨年はこんな記事書きました。 やらかし背景 著者の担当プロダクトにて、外部APIから取得できるそこそこのサイズのデータをプロダクト側のDBに格納する処理があります。 ELT的なステップを踏んで処理することを検討しStep Functionsを採用しました。 Extractorが外部APIからデータファイル(csv)を取得しS3バケットに格納 L
Step Functions 分散マップ – 大規模な並列データ処理のためのサーバーレスソリューション | Amazon Web Services
Amazon Web Services ブログ Step Functions 分散マップ – 大規模な並列データ処理のためのサーバーレスソリューション AWS Step Functions の分散マップが利用可能になったことをお知らせします。このフローは、半構造化データのオンデマンド処理など、大規模な並列ワークロードのオーケストレーションのサポートを拡張します。 Step Function の Map ステートは、データセット内の複数のエントリについて同じ処理ステップを実行します。既存の Map ステートの並列イテレーションは、一度に 40 回に制限されています。この制限があることで、データ処理ワークロードをスケールして何千もの (またはそれを超える数の) 項目を並列処理することが困難になります。これまでよりも高度な並列処理を実現するには、既存の Map ステートコンポーネントに複雑な回避
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Step Functions入門 - Qiita
AmplifyでAPI Gateway + Step Functions - Qiita
AWS Step Functions の Map ステートの挙動を調べてみた。 | DevelopersIO
StepFunctionsのPassステートでできることあれこれ | DevelopersIO
AWS Step Function をユニットテストするには - フレクトのクラウドblog re:newal
AWS Step Functionsを用いた低信頼性処理の提案 - Qiita
AWS Step FunctionsのInput/Outputを紐解いてみる
AWS SAM adds support for AWS Step Functions
AWS Device Farmのテストが完了したことを通知する | DevelopersIO
Step Functions & Fargate バッチでやらかしたこと - Qiita