処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
Visual Studio Code上で AWS Step Functions のワークフローをより簡単に構築 | Amazon Web Services
Amazon Web Services ブログ Visual Studio Code上で AWS Step Functions のワークフローをより簡単に構築 この記事は2025 年 3 月 7 日に公開された「 Introducing an enhanced local IDE experience for AWS Step Functions 」を翻訳したものとなります。 本記事は、シニアソリューションアーキテクトの Ben Freiberg が執筆しました。 AWS Step Functions は、ステートマシンの構築をより簡単にするために、ローカル IDE 機能がより強化されました。これにより、Workflow Studio が AWS Toolkit 拡張機能を通じて Visual Studio Code (VS Code) で利用できるようになりました。 開発者は AWS コ
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
AWS コミュニティ通信 AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する 2022-04-04 | Author : 堀家 隆宏 (AWS Serverless HERO) AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合がある AWS Lambda を実行する場合に非同期呼び出しとなるため、複数起動される場合がある これらが許容される場合は特に問題がありませんが、許容できない場合には AWS Step Functions を使うことで正確な時
「これでLambdaが不要に？！Step FunctionsのJSONata対応について」というタイトルでCM re:Growth 2024 OSAKAに登壇しました #regrowth_osaka | DevelopersIO
リテールアプリ共創部@大阪の岩田です。 2024/12/11 に開催された AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」にて、「これでLambdaが不要に？！Step FunctionsのJSONata対応について」というタイトルで登壇しました。 内容的には以下アップデートの紹介になります。 自分の周りだと変数対応についての喜びの声は良く耳にするものの、JSONata対応についてはあまり認知されていないように感じていました。しかし、このJSONata対応は非常に魅力的なアップデートです。多くの人のJSONataの可能性について知ってもらいたいと思ってこのテーマを選定しました。 登壇資料 登壇資料はこちらです。 個人的なお気に入りはfunctionの代わりにλ記号を使う記法です。AWS Lambdaのユーザーからすると思わずニヤけてしまい
[アップデート] AWS Step Functions で変数が使えるようになりました | DevelopersIO
いわさです。 Step Functions を使っている全員がこれまで感じていたと思いますが、ステート間の値の引き渡し面倒でしたよね。頑張って出力に入れて...とか。 昨日、AWS Step Functions で変数が使えるようになったというアップデートがありました。 ステートマシンでは様々なタスクを組み合わせてワークフローを作成するのですが、前半のタスクの取得・処理結果を後半のタスクに引き渡したいことが必ず出てきます。 例えば以下のフローで Step1 の処理結果を Step5 で参照するためには、Step2、Step3、Step4 と引き継いでいく必要がありました。 画像引用元：https://docs.aws.amazon.com/step-functions/latest/dg/workflow-variables.html 今回のアップデートで変数がついに使えるようになり、例え
![[アップデート] AWS Step Functions で変数が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/cf30d29748e6f1b93da1abc6bcdff37fcce26f4d/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-5f8ac6d1392d52f09eefb00a5ad1b303%2Ffceee02f9b8607d60014a828933bc45b%2Faws-step-functions)
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
並行処理で実装するのが難しいならStep FunctionsのMapステートを使えばいいじゃない – Amazon SESを使った大量メール送信の実装パターン比較 – | iret.media
並行処理で実装するのが難しいならStep FunctionsのMapステートを使えばいいじゃない – Amazon SESを使った大量メール送信の実装パターン比較 – 並行処理は難しい AWS SESなどを使用して大量のメールを送信する場合、1通ずつ送信していると時間がかかってしまいます。そういった時に、例えば以下のような並行処理で実装することが考えられます。 import boto3 from concurrent.futures import ThreadPoolExecutor def send_email(email_data): ses_client = boto3.client('ses') try: response = ses_client.send_email( Source=email_data['from'], Destination={ 'ToAddresses':
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i
AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装（AWS CDK）を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前：2022-09-02 置換後：2022/09/02 この場合は置換対象の文字列-が特定数（今回は2つ）含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 import { aws_stepfunctions, Stac
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
AWS Step Functions の機能を活用して、Lambda 関数無しで実現できることを確認してみよう ! - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは ! テクニカルインストラクターの青木です。 突然ですが、皆様は AWS Step Functions を使っていますか ? AWS Step Functions は、分散アプリケーションの構築、プロセスの自動化などに役立つワークフローをサーバーレスで簡単に作成・実行できるサービスです ! 皆様の中には、AWS Step Functions のワークフロー内で、例えば何かロジックを書くために Lambda 関数を呼び出している、という方もいらっしゃるのではないでしょうか。 しかし、ワークフローから Lambda 関数を呼び出す場合は、Lambda 関数のコードの記述方法を理解し、ワークフローからイベントオブジェクトを受け取って処理をするような、連携用のコードを多く記述する必要があります。また、Lambda 関数を使う場合は、関数毎に設定、実行ロールなどの管理も必要になるうえ、実行
AWS Step Functions コールバックを利用した外部システム連携 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions コールバックを利用した外部システム連携 Shared Delivery Teams で Sr. Cloud App Architect を務める Zach Abrahamson による記事です。 AWS Step Functions を使用すると、複数の AWS サービスを調整してサーバーレスワークフローに落とし込めるため、アプリケーションの開発と更新を迅速に行うことができます。Step Functions を使用すると、AWS Lambda や Amazon ECS のようなサービスを機能豊富なアプリケーションに統合するワークフローを設計および実行できます。 ワークフローは一連のステップで構成され、あるステップの出力が次のステップの入力として動作します。Step Functions は各ステップを自動的
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか | Amazon Web Services
Amazon Web Services ブログ DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか 本ブログは、DAZN の Russ Johnson と、AWS の Corneliu Croitoru、Chris Fane によって共同執筆されています。 このブログ記事では、グローバルなスポーツエンターテイメントプラットフォームである DAZN が、ライブスポーツストリーミングイベントを自動化するために、軽量でモジュラー式かつ拡張可能なオーケストレーターを構築するために、Amazon Web Services（AWS）の AWS Step Functions をどのように使用したのかをご説明します。DAZN はこのアーキテクチャにより、イベントの分類設定と耐障害性の要件に基づき、ジャスト
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
サーバーレスにおけるべき等性の実装 (バッチ処理と分散トランザクション編) ~ サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第 4 回
今回のテーマに入る前に、前回の記事で紹介できなかった AWS Lambda Powertools Python を利用したべき等性の実装について説明したいと思います。 AWS Lambda Powertools Python は、AWS がオープンソースで開発している Lambda 関数専用の Python 用のユーティリティーライブラリで、トレーシングやロギングなど様々な便利なライブラリを提供しています。AWS Lambda Powertools Python のドキュメント や Blog も公開されています。 前回の記事では、DynamoDB に対して同一の値のプライマリキーを含むアイテムデータを Put することで、結果としてべき等性が担保される例を紹介しましたが、AWS Lambda Powertools Python を利用することで、よりスマートにべき等性を実装することができま
AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできる「Serverless Workflows Collection」を触ってみた | DevelopersIO
AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできる「Serverless Workflows Collection」を触ってみた こんにちは、CX事業本部 IoT事業部の若槻です。 先日にAWS Blogで、AWS Step Functionsのテンプレートの探索やデプロイ、共有が簡単にできるServerless Workflows Collectionというサービスが紹介されていました。 Serverless Workflows | Serverless Land 今回は、Serverless Workflows Collectionを実際に触ってみました。 やってみた Serverless Workflows Collectionのメインページはこんな感じ。2022/07現在は17個のテンプレートがShareされています。 フィルターを使って見たいテ
AWS Step Functions のエラーハンドリングを実装しよう - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは！AWS Community Hero の山口 (@kinunori) です。AWS サービスを利用した分散形アプリケーションやワークフローを構成する際に便利な AWS Step Functions をご存知でしょうか ? 私は自動化可能な定期処理やバッチ処理を構築する際に AWS Step Functions を活用しています。 この記事では AWS Step Functions を利用する際のポイントの 1 つとなるエラーハンドリングについて紹介します。 AWS Step Functions のエラーハンドリングを実現する一例として、以下のような方法があります。[ⅰ] ステート内のエラーハンドラーを利用する ステート内の処理リトライを利用する Choice ステートを利用する Amazon EventBridge を利用する
AWS CDKで既存のASLファイルを使ってStep Functionsをデプロイする | DevelopersIO
「AWS CDKで既存のASLファイルを使ってStepFunctionsをデプロイしたい」 「既存のASLファイルを活かしつつAWS CDKでStep Functionsをデプロイしたいけど、L2 ConstructのStateMachineではファイルを渡せなさそう。」 ということがあり、少し調べたのでブログにします。 結論: L1 Construct(CfnStateMachine)を使えばできる。 // 結論部分の抜き出し // コード全文はブログ中にあります const file = fs.readFileSync('./step-functions/HelloWorld.asl.json') new stepfunctions.CfnStateMachine(this, 'HelloWorldStateMachine', { definitionString: file.toSt
サーバーレスアプリケーション開発におけるエラーハンドリング ~ ワークフローパターン 前編 ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 ワークフローパターンは、条件分岐を含むシーケンシャンルなステップの集合です。それらのハンドリングを一つのプログラムモジュールで実現しようとすると、条件判断や、エラーハンドリング、リトライ、などのビジネスロジック外の本質的ではないコードが多く記述されることになり、また単一のモジュールにすべての処理をまとめると、各々の処理が密結合になるリスクなどもあります。 こういったリスクを排除するために、ワークフローエンジンを利用し、各処理単位で独立したタスクに切り出したプログラムモジュールを組み合わせて、本質的ではないタスク間の連携処理については、ワ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 皆さんStep Functions使ってますか？ 今回はStep Functionsがいかに簡単で可能性があるのか、を伝えるために入門記事を書いてみようと思います。 Step Functionsは基礎部分を理解すればある程度使いこなすことができるので、皆さんぜひ使ってみてください。 作るステートマシンの全体像 今回はサンプルとして複数のバケットを空にするようなステートマシンを作成します。 画面からバケットを空にするのはボタンを押すだけなので簡単ですが、自動化しようと思うとコードを書かないといけないので面倒です。 GUIを使って
【資料公開】AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech | DevelopersIO
データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 2024年6月12日にクラスメソッドの大阪オフィスで開催された勉強会Midosuji Tech #1で『AthenaとStep Functionsで簡単ETLオーケストレーション』というタイトルで話しましたので資料を公開します。 当日は淀屋橋の大阪オフィスでオンサイトでイベントが開催されました。発表後にはワイワイガヤガヤタイムということで、参加者の方も交えたディスカッションが大変盛り上がりました。 発表資料 ポイント Step FunctionsのAPI統合で、S3バケットに配置したSQLファイルをステートマシンから読み込み、Athenaで実行する仕組みを紹介しました。昔からAWSを使っている方だとLambdaをステートマシン内で呼び出し、Lambda関数でS3バケットからのファイルの読み込みやAthenaでの
Introducing JSONL support with Step Functions Distributed Map | Amazon Web Services
AWS Compute Blog Introducing JSONL support with Step Functions Distributed Map This post written by Uma Ramadoss, Principal Specialist SA, Serverless and Vinita Shadangi, Senior Specialist SA, Serverless. Today, AWS Step Functions is expanding the capabilities of Distributed Map by adding support for JSON Lines (JSONL) format. JSONL, a highly efficient text-based format, stores structured data as
AWS Step Functionsのワークフローへ承認フローを追加する方法(AWS Systems Manager Automation編) - NRIネットコムBlog
小西秀和です。 AWSで承認フローの機能を提供するサービスにはAWS Systems Manager AutomationやAWS CodePipelineの承認アクションなどがあります。 近年、AI技術の急速な進化により、従来人間が手動で行っていた承認プロセスを生成AIで置き換えたり、強力にサポートしたりすることが可能になってきました。しかし、専門知識や権限を持つ人間による最終判断も依然として重要です。 そこで私は、将来的に生成AIを承認フローに組み込むことを見据え、AWS Step Functionsを活用した承認フローシステムをAWSサービスを使用して試作しました。この試作の主な目的は以下の通りです。 APIを介して承認フローをシステム化することで、人間と生成AIの間で意思決定プロセスを柔軟に切り替えられる 初期段階では人間が承認を行い、生成AIの能力が十分と判断された場合に段階的に
[AWS Step Functions / AWS CDK] 任意のJavaScript表現を実行できるEvaluateExpressionタスクを使って文字列置換をしてみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今日もいつものようにAWS Step Fucntionsのドキュメントやソースコードを見ていたところ、EvaluateExpressionなるものを見つけました。 class EvaluateExpression (construct) · AWS CDK 内容を見てみると、なんと任意のJavaScript表現を実行できるタスクのようです...！！！ そこで今回は、EvaluateExpressionタスクを使って文字列置換を行うステートマシンを実装してみました。 やってみた 実装 AWS CDK v2（TypeScript）で次のようなCDKスタックを作成します。 import { Construct } from 'constructs'; import { aws_stepfunctions, aws_stepfunctions_t
AWS Step Functionsの変数を利用して、AWSサービスと連携してみた | DevelopersIO
はじめに AWS Step Functionsの変数を利用して、AWSサービスと連携してみました。 以前、AWS Step Functions において変数が利用可能になるアップデートがありました。 AWS Step Functions ステートマシンに渡した値を変数として利用し、ステートマシン内で処理を行ったり、AWSサービスへのリクエスト結果を変数として後続の処理に渡すことができます。 また、JSONPath形式だけでなくJSONataが利用できるようになりましたので、JSONataを利用して変数の記述方法を解説します。 ステートマシンで処理している内容は以下の通りです。参考にした元記事は以下になります。 EventBridgeからステートマシンに値を渡す コンタクトIDとConnectインスタンスIDが渡される Connect IDとConnectインスタンスIDをもとに、Conne
AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 この記事は “Define and run Machine Learning pipelines on Step Functions using Python, Workflow Studio, or States Language” を翻訳したものです。 機械学習(ML)のパイプラインや有向非巡回グラフ(DAG)を定義して実行する際には、様々なツールが利用可能です。一般的な選択肢としては、 AWS Step Functions、Apache Airflow、KubeFlow Pipelines(KFP)、TensorFlow Extended(TFX)、Argo、Luigi、Amazon SageMaker Pipelines などがあり
Step Functions + Batchでシンプルなステートマシンを作ってみた | DevelopersIO
前回Step Functionsの開発環境を整えたのでBatchを使ったシンプルなステートマシンを構築してみました。 こんにちは。AWS事業本部のKyoです。 前回VSCodeにStep Functionsの開発環境を整えたので、Batchと連携させて科学計算をイメージしつつ、できるだけシンプルなステートマシンを構築してみます。 Step Functions開発の「うーむ...」にVSCodeとAWS ToolKitで挑んでみる話 やりたいこと 直列での計算を行うステートマシンを構築します。 下図のFirstCalcとSecondCalcはそれぞれ 「increment」というBatchジョブを呼び出します。FirstCalcの出力ファイルをSecondCalcの入力ファイルとします。 incrementは以下の処理を行います。 入力ファイルをS3からダウンロード 入力ファイルに含まれる数
DynamoDB のデータを Amazon Ion 形式で S3 にエクスポートし Athena からクエリする | DevelopersIO
DynamoDBのエクスポート機能でAmazon Ion形式でエクスポートしAthenaからクエリして、集計バッチとして利用する様子をご紹介します ども、大瀧です。 先日DynamoDBはバッチ処理よりストリーム処理が得意という記事が話題になりましたが、本ブログではバッチのアーキテクチャを紹介します!! DynamoDBのエクスポート機能 DynamoDBには継続的バックアップ(PITR)で取得したスナップショットをAmazon S3にエクスポートする機能があり、ある時点のデータを元にしたバッチ処理をテーブルの読み込み容量を消費せずに実行できます。 S3にエクスポートするときのデータ形式はDynamoDB JSONとAmazon Ionテキスト形式の2つから選択できます。IonにはDynamoDBのデータ型を保持する仕組みが内包されているため、JSONやJavascript周りのデータ型変
AWS Step Functionsステートマシンからステートマシンを実行する際に両実行を紐付けてトレースしやすくする（AWS CDK v2） | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step Functionsステートマシンからステートマシンを実行する際に両実行を紐づけてトレースしやすくしてみました。 やってみた 実装 AWS CDK v2（TypeScript）で2つのステートマシンリソースの作成を行います。次のようなCDKスタックで実装をします。 lib/process-stack.ts import { Construct } from 'constructs'; import { aws_stepfunctions, aws_stepfunctions_tasks, Stack, StackProps, Duration, } from 'aws-cdk-lib'; export class ProcessStack extends Stack { constructor(scope: Con
サーバーレスアプリケーション開発におけるエラーハンドリング ~ ワークフローパターン 後編 ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 前編 に引き続き、条件分岐を含む実行単位の長いシーケンシャンルなステップの集合であるワークフローが今回もテーマになります。ただし前回と異なる点として、大規模データ処理用途でのワークフローとしてのケースについて紹介します。 おそらく皆様が聞き馴染みがある言葉としては、バッチ処理と言われる一括大規模データ処理に当たるものが今回のテーマの対象になり、分析用途などの大量データ、大規模処理、高負荷計算といったキーワードで語られるユースケースがそれに当たります。 具体例を上げると、複数の販売チャネルで販売を行っている小売店での、販売経路ごと (例：
AWS Step Functionsから別アカウントのAmazon Bedrockを呼び出してみた | DevelopersIO
はじめに 本記事では、AWS Step Functionsから別アカウントのAmazon Bedrockを呼び出す方法について解説します。 既存のシステムとは別のAWSアカウントでAmazon Bedrockを利用する必要がある場合に、この方法が有用です。 以前、AWS Lambdaから別アカウントのAmazon Bedrockを呼び出す方法を記事にしましたが、今回は、AWS Step Functionsを利用する方法です。 アカウント構成とそれぞれのアカウントで作成するリソースは以下の通りです。 アカウントA：呼び出し元（Step Functions側アカウント） Step Functions：Amazon Bedrockを呼び出す IAMロール：Step Functions実行用のロール（AssumeRole権限を含む） アカウントB：呼び出し先（Bedrock側アカウント） Amaz
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[Go 1.25] WaitGroup.Go()を使って既存コードを書き換える際の注意点](https://cdn-ak-scissors.b.st-hatena.com/image/square/ed0d4fcec9030d205885e59c75ae26a9b91835bf/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Por1yuz8--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGo%2525201.25%25255D%252520WaitGroup.Go%252528%252529%2525E3%252582%252592%2525E4%2525BD%2525BF%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E6%252597%2525A2%2525E5%2525AD%252598%2525E3%252582%2525B3%2525E3%252583%2525BC%2525E3%252583%252589%2525E3%252582%252592%2525E6%25259B%2525B8%2525E3%252581%25258D%2525E6%25258F%25259B%2525E3%252581%252588%2525E3%252582%25258B%2525E9%25259A%25259B%2525E3%252581%2525AE%2525E6%2525B3%2525A8%2525E6%252584%25258F%2525E7%252582%2525B9%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%25258F%2525E3%252581%2525A9%2525E3%252581%25259F%2525E3%252581%25258B%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzQ0NjU2N2Q3ZTguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png%3F_a%3DBACAGSGT)
AWSでバッチ処理を実装する際の選択肢とサービス比較
AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
AWS Step Functionsの入門にピッタリ？ AWS公式のセルフスタイル・ワークショップが公開されました！ | DevelopersIO
AWS Step Functions入門 - Qiita
AWS Step Functionsで大規模な並列処理を実施できるDistributed Mapを試してみた #reinvent | DevelopersIO
youtu.be
www.kanaloco.jp
chikaplog.com
youtu.be
day2.good-life.best
chikaplog.com