処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
re:Invent 2016 で Step Functions というサービスがローンチされました！ 幾つかのステップに分かれる処理を Lambda で構築するときに、処理のステート管理や処理間のコーディネートを行ってくれるサービスです。 これまでは、このような処理を組もうとすると「本来行いたい処理に関するコード」以外に「状態を管理するコード」を書く必要がありましたが、 Step Functions を用いることで、疎結合なメンテのしやすい Serverless バッチシステムを構築できるようになります。 個人的には今年の re:Invent で一番熱いリリースです！早速触ってみました！ （※2017/12 により具体的なサービスに使った記事を書いてみましたので、よろしければこちらもご覧ください。） AWS Lambda と Step Functions で作るサーバレスなアービトラージ検
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合がある AWS Lambda を実行する場合に非同期呼び出しとなるため、複数起動される場合がある これらが許容される場合は特に問題がありませんが、許容できない場合には AWS Step Functions を使うことで正確な時刻での配信が出来るスケジューラーを構築することが出来ます。 なお、以下の GitHub でソースコードは公開していますので興味がある方は是非触ってみてください。 Serverless Dynamic Scheduler
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する - 午睡二時四十分
動機とやったことの概要 AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する from mizugokoro スポットインスタンスで学習をして、無駄なくインスタンスを止めたい Step Functionsへの入力を変えるだけで様々な条件での学習を実行させたい 機械学習のコード自体にこのStep Functionsへの依存性は持たせなくて良い方針で作ったので、ディープラーニング以外のバッチ処理でも同じように使えるはず 詳細 Lambdaに付与する権限 たぶん以下くらいの権限がLambda実行時に必要。 AWSLambdaAMIExecutionRole AmazonS3FullAccess AmazonEC2SpotFleetRole AWSLambdaBasicExecutionRole AmazonSNSFullAccess EC2ReadOnly (
State machines orchestrate the work of AWS services, like Lambda functions. When one function ends, it triggers another function to begin. Although Max Duration is significantly different, Express workflow allows more scalability. Moreover, Express workflow pricing is constructed with more details since users will have to pay for the number of executions, including the duration and memory used for
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita
CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで複数のログに対してLambdaを実行 CloudWatch LogsのS3エクスポートタスクを実行 ロググループ名やバケット名をStep Functionsから渡すことによってLambdaを汎化できる CloudWatch LogsのS3エクスポートタスクをポーリングする 複数同時にS3へのエクスポートタスクを実行できないため おさらい 視覚的なワークフローを使用して、分散アプリケーションとマイクロサー
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた | DevelopersIO
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Functionsで動的並列処理がサポートされました！ 担当していた案件で、S3上にある直近24時間分ファイル群（各ファイル名に秒までの時刻が入っている）を、 1分毎にまとめて別のバケットに移すような処理があり、 これはまさにMapステートに最適な素材でしたので、Mapステートを使ったリファクタリングをしてみました！ この記事では、ServerlessFrameworkのStep Functionsプラグインを用いています。 （対応早くて助かる！！）
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
【API Gatewayタイムアウト対策】Step Functionsを組み合わせて非同期処理にしてみる | DevelopersIO
API Gatewayにはタイムアウトの制限があるため、Lambdaで長めの処理を行い、処理結果をレスポンスとして返す場合は非同期の構成にする必要があります。Step Functionsと組み合わせることで、比較的簡単に非同期にできたのでご紹介したいと思います。 どうも！大阪オフィスの西村祐二です。 下記図のような、webサイト上のボタンをクリックし、API Gatewayを経由しLambdaで処理を実行し、その処理結果をブラウザに表示するといった構成はよくあるパターンかと思います。 このような構成で躓くところとして、API Gatewayのタイムアウト制限があります。遭遇場面としてはLambdaで時間のかかる処理をしたときに遭遇することがあります。現状（2018/7/3時点）、API Gatewayは最大29秒でタイムアウトする制限となっています。つまり、29秒以内にレスポンスを返し、裏
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
[アップデート]Step Functionsの実行ステータスが変化したときにCloudWatchイベントが発行できるようになりました！ | DevelopersIO
Step Functionsステートマシンで実行ステータスが変化したときに、CloudWatchイベントが発行できるようになりました！！！ AWS Step Functions がワークフロー実行イベントのサポートを追加 これまで、ステートマシンの実行結果など、ステータスを得るには、APIを使用した常時ポーリングや、CloudWatchメトリクス、CloudTrailと連携した作り込みが必要でした。 今回のアップデートにより、ステートマシンのステータスが変化した時にCloudWatchイベントを通し、Lambda、SNS、Kinesisなどに連携できるようになったということです。 全国1000万人のStep Functionsファンにはたまらないアップデートかと思います！ 本エントリでは、特定ステートマシンの全ステータスを、SNSトピック（メール）に通知し、発行されたイベントを確認してみた
こんにちは。芳賀です。 入社してから３カ月間、オンプレ畑で育ったエンジニアがひたすらAWSと格闘して、初めてサーバレスなアプリケーションを作り、Step Functionsを覚えたので、ちょっとブログにしてみました。 AWS Step Functionsとは？ AWSのサーバレスサービスのLambdaを使った事はあるでしょうか？ サーバレスなLambdaですが、Lambda関数から別なLambda関数を呼ぶ場合にはプログラムコードで次に呼び出すLambda関数名を設定したり、何らかのアクションを間に挟む必要がありました。このため、ちょっとしたカスタマイズでもプログラムの改造が必要になりました。今回、ブログへ書いたAWS Step Functionsを利用すれば、その必要がなくなります。雑な言い方をすれば、個々のLambda関数を簡単につなぐためのAWSサービスになります。 Lambda関数
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
Automated deep learning training with AWS Step Functions and AWS Lambda.Read less
AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装（AWS CDK）を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前：2022-09-02 置換後：2022/09/02 この場合は置換対象の文字列-が特定数（今回は2つ）含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 lib/aws-cdk-app-stack.ts import
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 | DevelopersIO
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 本記事ではAWS上の分散トランザクションを構築する方法を紹介させて頂きたいと思います。あと、そのトランザクションの結果をストリーミングさせ、クライアントにデータが自動で連携される仕組みについても紹介させて頂きます。最後に、私が作ってみたサービスのフルコードのGithubレポジトリーを共有致します。 本記事は、オンラインで開催された「JAWS DAYS 2020」の登壇記事となります。 はじめに こんにちは、コンサル部のテウです。 去年の年末年始休暇中、マイクロサービスのいろんな実装パターンについて勉強をしましたところ、分散トランザクションのことにすごく興味が出来ました。そもそもトランザクションの意味だけが分かっていたレベルだったのですが、もっと詳し
[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO
Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい
コンサル部＠大阪オフィスのYui(@MayForBlue)です。 以前から気になっていた AWS Step Functions をゼロから勉強してみたので、内容をまとめました。 最近アップデートも多く、アツいサービスだと思います！ AWS Step Functions とは 分散アプリケーション、マイクロサービスのコンポーネントの疎結合化を可能にするAWSのマネージドサービス。 各コンポーネントが独立するため、アプリケーションのスケール及び変更を容易にすることができます。 一つの Step Functions の定義全体をステートマシンと呼び、これらはASL(Amazon States Language)と呼ばれる独自言語を用いて記述されます。 また、ASLを用いて定義されたワークフローはマネジメントコンソール上でビジュアライズされます。 AWS Step Functions とは ASL
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか | Amazon Web Services
Amazon Web Services ブログ DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか 本ブログは、DAZN の Russ Johnson と、AWS の Corneliu Croitoru、Chris Fane によって共同執筆されています。 このブログ記事では、グローバルなスポーツエンターテイメントプラットフォームである DAZN が、ライブスポーツストリーミングイベントを自動化するために、軽量でモジュラー式かつ拡張可能なオーケストレーターを構築するために、Amazon Web Services（AWS）の AWS Step Functions をどのように使用したのかをご説明します。DAZN はこのアーキテクチャにより、イベントの分類設定と耐障害性の要件に基づき、ジャスト
20190522 AWS Black Belt Online Seminar AWS Step Functions
This document provides information about an AWS webinar on AWS Step Functions hosted by Yuta Imamura from Amazon Web Services Japan. The agenda includes an overview of Step Functions, state machines, data input and output, describing states, checking execution status, and additional details. Step Functions allows orchestrating distributed applications and microservices using state machines defined
AWS Step Functions コールバックを利用した外部システム連携 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions コールバックを利用した外部システム連携 Shared Delivery Teams で Sr. Cloud App Architect を務める Zach Abrahamson による記事です。 AWS Step Functions を使用すると、複数の AWS サービスを調整してサーバーレスワークフローに落とし込めるため、アプリケーションの開発と更新を迅速に行うことができます。Step Functions を使用すると、AWS Lambda や Amazon ECS のようなサービスを機能豊富なアプリケーションに統合するワークフローを設計および実行できます。 ワークフローは一連のステップで構成され、あるステップの出力が次のステップの入力として動作します。Step Functions は各ステップを自動的
Step Functions LocalとLocalStackを利用してローカル開発環境を構築してみた | DevelopersIO
Step Functionsがローカル環境で実行できるようになりました！！Step Functions LocalのDockerイメージと、LocalStackのDockerイメージを起動させ、その上のLambda、DynamoDBに接続するワークフローを試してみたいと思います。 こんにちは、坂巻です。 Step Functionsがローカル環境で実行できるようになりました！！ AWS Step Functions ワークフローをローカルで開発してテストする Step Functionsファンとして早速試してみたいと思います！ Step Functions Localは、JARパッケージと、Dockerイメージが用意されていますが、今回はDockerイメージを利用したいと思います。また、併せてローカル環境にLocalStackを起動させ、その上のLambda、DynamoDBに接続するワー
[アップデート]Step Functionsで動的並列処理がサポートされました！ | DevelopersIO
Step Functionsにアップデートがあり、動的並列処理がサポートされました！これにより、前段のステート等で動的に生成した配列に対して、繰り返し処理、おまけに並列処理を行う事が可能になりました。早速試してみたいと思います。 Step Functionsにアップデートがあり、動的並列処理がサポートされました！ AWS Step Functions adds support for dynamic parallelism in workflows これにより、前段のステート等で動的に生成した配列に対して、繰り返し処理、おまけに並列処理を行う事が可能になりました。 早速試してみたいと思います。 やってみるための準備 ステートマシンから呼び出す、シンプルなLambda関数を作成します。 ここでは、CloudWatch Logsに存在するロググループを取得して、 取得したロググループそれぞれに
サーバーレスにおけるべき等性の実装 (バッチ処理と分散トランザクション編) ~サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第 4 回~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
このシリーズの 第２回 では、クライアントからバックエンドのサービスを利用する際に、なんらかの原因でエラーが発生した場合にクライアント側でリトライ処理が実行されると、リクエストが重複して送られる可能性があることを説明しました。クライアントからキューに対してメッセージを送信するようなサーバーレスのシステムにおいては、リトライ処理によって重複したメッセージが送信されてもメッセージの重複を排除する機能を利用することによってべき等性を実現する方法について解説を行いました。その中では、重複したメッセージをただ一度だけ処理する (Exactly Once) ことで、結果としてべき等性を実現するという具体的な実装方法と共に紹介しました。 第 3 回 では、キューからメッセージを取り出し、バックエンドのデータソースへ保存する処理においても、何らかのエラーによってリトライ処理が発生した場合に重複してデータの
はじめに 当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の5日目のエントリです。 昨日はかずえによる「Amazon DocumentDB」でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 本日5日目のテーマは『AWS Step Functions』です。 「ブラックベルト」および「FAQ」を元に、基本的な仕組みおよび使
AWS Step Functionsの入門にピッタリ？ AWS公式のセルフスタイル・ワークショップが公開されました！ | DevelopersIO
みなさん、こんにちは！ 福岡オフィスの青柳です。 GUIベースの操作で様々なワークフローを作成できるAWSのサービスが「AWS Step Functions」です。 今回、このStep Functionsの入門にピッタリなAWS公式の「ワークショップ」が公開されました。 The AWS Step Functions Workshop https://catalog.workshops.aws/stepfunctions/en-US/ AWSのイベント等で開催されるワークショップで使われることを想定したコンテンツのようですが、自分のAWSアカウント環境を使って「自習」することもできるようになっています。 私自身あまりStep Functionsを触ったことがなかったので、この機会に「ワークショップ」でStep Functionsに入門してみました。 ワークショップの構成 最初に「Introd
Step Functionsの入出力処理の制御パラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）を理解するために参照したドキュメント | DevelopersIO
Step Functionsの入出力処理の制御パラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）を理解するために参照したドキュメント Step Functionsの入出力処理の制御で利用可能なパラメータ（InputPath、 Parameters、ResultPathおよびOutputPath）の動きを理解するのに特に役に立ったAWS ドキュメントを紹介をしていきます。 こんにちは、CX事業本部の若槻です。 AWS Step Functionsの入出力処理の制御で利用可能なパラメータには以下のようなものがあります。 InputPath Parameters ResultPath OutputPath これらパラメータは使いこなせればとても便利ですが、直感では動きが分かりづらい部分があります。 そこで今回は、Step Functionsの
AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできる「Serverless Workflows Collection」を触ってみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 先日にAWS Blogで、AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできるServerless Workflows Collectionというサービスが紹介されていました。 Serverless Workflows | Serverless Land 今回は、Serverless Workflows Collectionを実際に触ってみました。 やってみた Serverless Workflows Collectionのメインページはこんな感じ。2022/07現在は17個のテンプレートがShareされています。 フィルターを使って見たいテンプレートを絞り込むことができます。 [Submit a workflow]からテンプレートの共有を行えます。 RepositoryのIssue作成画面が立ち上がるの
AWS CDKワークショップに入門して、Step Functionsステートマシンを実装してみた | DevelopersIO
こんにちは、平野です。 巷で話題のCDK（AWS Cloud Development Kit）、試してみたいなーと思ったので試しました（自己完結）。 題材として、最近ちょっと触っているStep FunctionsでLambda関数を実行するところまでを行いました。 言語はまあまあ使い慣れているPythonで行っています。 まず手始めに、下記のワークショップを実践しました。 https://cdkworkshop.com/30-python.html CDK気になるけど何からすればいいの？という人は、 とりあえずこれの通りにやるのが一番早いかと思います。 もちろんやってみた記事もありますので、こちらの記事もご参照ください！ （こちらはTypeScriptです） 【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 この記事では、上記ワークショ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでバッチ処理を実装する際の選択肢とサービス比較
AWS Step Functions で作る Serverless バッチシステム - Qiita
AWS Step Functions: What Can They Be Used For? | Dashbird
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
Step Functionsを使って初めてループや分岐をやってみた！ ｜ DevelopersIO
AWS Step Functions をゼロからざっくり理解する | DevelopersIO
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
AWS再入門ブログリレー AWS Step Functions 編 | DevelopersIO