AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service
AWS DevDay Tokyo 2019での発表資料です
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl
2021/09/29 AWS Devday Online Japan 2021の登壇資料です
AWS Step Functions と Serverless Framework の使いどころ - Techtouch Developers Blog
こんにちは、フロントエンドエンジニアの尾崎です。 6月のボーナスでロボット掃除機（Xiaomi）とコードレス掃除機（makita）を購入し、在宅勤務がますます快適になってきました。 さて、今回の記事では、テックタッチで AWS Step Functions をどのように活用しているかをお伝えしていきます。 記事の前半では、Step Functions の概要を説明しながらテックタッチでの利用方法について、 記事の後半では、Serverless Framework との組み合わせ方や本番運用してみてわかった Tips など、より実践的な内容に触れていきます。 AWS Step Functionsとは何か 処理順序の管理 AWSサービスとの連携 ワークフロー、ステップについて ユースケースの例 テックタッチでの利用方法 技術的なチャレンジ これまでの課題 Step Functionsを使う S
ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 #AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
お役立ち Twitter Bot を作りながら学ぶ AWS ドリル ~第 6 回 AWS Step Functions を使って Well-being Bot を作ろう ! (前編) - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
ソリューションアーキテクト(SA)の金澤 (@ketancho) です。6 月になりましたが、皆さまいかがお過ごしでしょうか ? 私は通勤や退勤のときに 1 駅分歩いて気分をリフレッシュするようにしているのですが、この時期から雨と暑さでしばらくそれができなくなってしまうのが辛い今日この頃です。そして、6 月は祝日がないというハードモード.. はやく夏休みが来てほしいものです。皆さまも健康に気をつけてお過ごしください。 選択 第 1 回 おはよう Bot 編 第 2 回 昔書いた記事の宣伝 Bot 編 第 3 回 リファクタリング ＆ 曜日ごとのツイート 編 第 4 回 新章突入 ! 気になるワード検索 & 通知 Bot 編 第 5 回 皆さまの代わりに英語でツイートしておくよ Bot 編 第 6 回 AWS Step Functions を使って Well-being Bot を作ろう !
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](https://cdn-ak-scissors.b.st-hatena.com/image/square/c43d733ef1bee7c74fa608c0cec285269dc8c322/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fawsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation | Amazon Web Services
AWS News Blog Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation Today AWS Step Functions expands the number of supported AWS services from 17 to over 200 and AWS API Actions from 46 to over 9,000 with its new capability AWS SDK Service Integrations. When developers build distributed architectures, one of the patterns they use is the workflow-based orchestratio
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
はじめに 瀬田@大阪オフィスです。StepFunctions使ってますか?最初に想像していたよりめっちゃ便利&簡単なんで基本をご紹介したい欲。 今回の構成 こんな感じのやつを作ってみます。 テスト用lambda関数 Pythonで以下のようなlambda関数:testを作成します。 def lambda_handler(event, context): event["Result"] = True #項目はeventに任意に追加可能です。 event["LoopCount"] = 10 return event ステートマシン定義 Step1:Exec lambdaの実行 lambdaを実行するStepを作成します。 コメント部は空白を含めて削除してください。(行末に空白があるとエラーになります。) lambdaのarnは適宜書き換えてください。 { "Comment": "",
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functions をテストするには実際の AWS リソースのエンドポイントを叩く必要がありました。Step Functions Local ではローカル環境で Lambda などのサービスのレスポンスをモックすることで完全に隔離された環境で Step Functions の動作確認を行うことができます。 本記事の大まかな流れ SAM のサンプルプロジェクトを Pull Docker 環境でテストを実行
AWS Step Functionsにサーキットブレーカーパターンを組み込んでみた | DevelopersIO
AWS Step Functionsステートマシン実行中、再試行で回避できない予期しない障害が発生したときは、再試行せず、失敗系フローに遷移する必要があります。 ステートマシンをまたいで障害を管理できるよう、Amazon DynamoDBで障害を管理し、ステートマシンの安定性と回復性を向上する方法を紹介します。 サーキットブレーカーパターンをStep Functionsのステートマシンに組み込んだソリューションとも言えます。 基本的な考え方は次のAWSブログを参考にし、C#の実装をPythonに変更し、DynamoDBのTTLも使わずに実装をシンプルにしています。 Using the circuit breaker pattern with AWS Step Functions and Amazon DynamoDB | AWS Compute Blog 想定するユースケース ステートマシ
Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services
AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi
Step Functions開発の「うーむ…」にVSCodeとAWS ToolKitで挑んでみる話 | DevelopersIO
こんにちは。AWS事業本部のKyoです。 Step Functions便利そう。でもなんかちょっとハードル高いな。特にAmazon States Language (ASL)というやつが...。 感じているハードル 感じているハードルをもう少し具体的にしてみましょう。 ASL = 長いJSON を人力で書くのがうーむ... Step Functions以外では使わないASLについて調べて書くのがうーむ... デバッグやりにくそうなのがうーむ... これらはVisual Studio Code (VSCode)とAWS ToolKitを使うと解決できそうです。 上記のエントリでVSCodeとAWS ToolKitを使えば、VSCodeから以下が可能になることが述べられています。 ステートマシン定義 ステートマシン可視化（プレビュー） ステートマシン実行 VSCodeから定義、可視化、実行が可
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた Control Tower上でよく初期セットアップとして利用される機能をStepFunctionsからまとめて実行する仕組みをCDKで実装してみました。 リポジトリはこちら。あくまでサンプルなので、ご利用の環境に合わせてカスタマイズしながらご利用ください。 前提 Control Tower有効化済み Security HubのOrganizations統合で新規アカウントの自動有効化が設定されている 構成 EventBridgeでControl Towerのアカウント発行イベント(ライフサイクルイベント)を取得して、ターゲットとして指定したステートマシンを実行します。 ステートマシン内はLambdaが複数タスクとして定義されていて、各Lambda内で新規アカウン
![[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1486b2da4d87633e58aebde2114c02dc06f61935/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-control-tower.png)
[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO
Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / G - 5 6,000 91 1.5 650 0 450,000 900,000 1,350,000 1,800,000 2 0 1 4 / 4 2 0 1 4 / 5 2 0 1 4 / 6 2 0 1 4 / 7 2 0 1 4 / 8 2 0 1 4 / 9 2 0 1 4 / 1 0 2 0 1 4 / 1 1 2 0 1 4
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
AWS Step Functions でサーバーレス FizzBuzz を実現する - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、ソリューションアーキテクトの富岡です。 みなさん、関数をオーケストレーションしていますか ? AWS Step Functions (以下 Step Functions) はサーバーレスな関数オーケストレーターで、依存関係のあるワークフローを実行するなどの用途で便利なサービスです。 Step Functions を使ってみると、なかなかどうして、表現力があるので、これだけで様々なことが実現できそうに思えてきますよね。今回はそんな Step Functions だけを使い、FizzBuzz 問題を解いてみようと思います。
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
Step Functionsの開発がVSCodeで完結！？AWS ToolkitでStep Functionsがサポートされました | DevelopersIO
環境 Visual Studio Code Version … 1.43.2 AWS Toolkit Version … 1.8.0 前提 本エントリではAWS Toolkitのインストール等を割愛していますので、以下が前提となります。 AWS Toolkitのインストール AWS 認証情報のセットアップ AWS Step Functions の IAM ロールを作成する やってみた ステートマシン定義 VSCodeのコマンドパレットにてAWS: Create a new Step Functions state machineを選択します。 AWS Toolkitにて用意されたテンプレートが表示されます。ここではHello worldを選択します。 Pass、Choiceなどのステートを含んだテンプレートが作成されます。VSCode上のStep Functionsのアイコン（Render
[アップデート]Step Functions Workflow Studioがリリースされて、ワークフロー作成が簡単になりました | DevelopersIO
[アップデート]Step Functions Workflow Studioがリリースされて、ワークフロー作成が簡単になりました AWS Step Functions Workflow Studioがリリースされました！東京リージョンで利用可能です。大阪リージョンではまだ利用できません。 機能概要 Workflow Studioは、簡単に言うとワークフローの中身がGUIで見れて、かつGUIで編集ができる機能です。 StepFunctionsを使えば、複雑なフロー制御をこのサービスに任せて、組み合わせるLambda関数等の他サービスはシンプルな状態を保つことができます。とても便利なサービスなので私も好きです。なのですが、その構築にはAmazon States Language(ASL)というJSON形式の独自言語を駆使する必要があり、なかなか覚えるのが大変です。 これまでも、AWS Tool
本記事はAWS LambdaとServerless Advent Calendar 2021、9日目の記事です。 感想 かつてLambdaに初めて触れたときの感動を、ワークフローでも感じた Step Functionsはいいぞ 背景～今年あった大きな進化 ・ワークフロースタジオ爆誕 ・AWS SDK統合で200を超えるサービスサポート ワークフロースタジオによって、ベースのJSONがGUIベースで生み出されるようになりました。これによりAmazon States Languageを理解していなくても、ステートマシンを動かすところまで先に行けることになり、ハードルが大幅に低くなっています。 また、何か処理をするときにひたすらLambda、、、ではなく連携サービスが増えたので、DynamoDBの更新などもワークフローベースで行うことができます。単に夢が広がりますし、考えただけでもわくわくします
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
The workshop covers the primary features of AWS Step Functions. Slack Channel: #the-step-functions-workshop
Step FunctionsからLambda関数を実行したい場合、ASL(Amazon State Languageの略。ステートマシンの実装をこの形式で書く)の書き方が2つあります。この違いを調べました。 方法1: Resourceに関数のARNを直接書く { "StartAt":"CallLambda", "States":{ "CallLambda":{ "Type":"Task", "Resource":"arn:aws:lambda:ap-northeast-1:123456789012:function:MyFunction", "End":true } } } 方法2: Parameters.FunctionNameに関数名を書く。Resourceは arn:aws:states:::lambda:invoke 固定 { "StartAt":"CallLambda", "St
Simplifying application orchestration with AWS Step Functions and AWS SAM | Amazon Web Services
AWS Compute Blog Simplifying application orchestration with AWS Step Functions and AWS SAM Modern software applications consist of multiple components distributed across many services. AWS Step Functions lets you define serverless workflows to orchestrate these services so you can build and update your apps quickly. Step Functions manages its own state and retries when there are errors, enabling y
AWS Step Functions support in Visual Studio Code | Amazon Web Services
AWS Compute Blog AWS Step Functions support in Visual Studio Code The AWS Toolkit for Visual Studio Code has been installed over 115,000 times since launching in July 2019. We are excited to announce toolkit support for AWS Step Functions, enabling you to define, visualize, and create your Step Functions workflows without leaving VS Code. Version 1.8 of the toolkit provides two new commands in the
分散アプリケーションやマイクロサービスをステートマシンと呼ばれる仕組みで設定や管理の自動化ができます。 AWSコンソール上では各サービスをコンポーネントとしてワークフローという形式で可視化することが出来ます。 また、各種実行履歴などもログから追うことも出来ます。 Step Functionsを使用することで、タスクで構成される複雑なワークフローを簡単に定義できます ステートマシンのイメージ 例えば自販機だと3つのプロセスに分割できます。 入金待ち ユーザが購入に十分な金額を投入するまで待機。 入金され次第、次のプロセスに進む ジュースの選択 ユーザがジュースの選択を行うまで待機。 選択され次第、次のプロセスに進む。 おつり・ジュースの出力 このフローをStep Functionsでは ステートマシン と呼び、 人間による操作を必要とするような長時間実行されたり・半自動化されたワークフローを
[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO
[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 こんにちは、muroです。AWS事業本部 サービス開発室でopswitchの開発・運用を担当しています。opswitchは今年の1月にApache Airflowベースのアーキテクチャから、AWS Step Functionsに移行しました。 今回 re:Invent で Amazon MWAA と AWS Step Functions のそれぞれの長所短所を学ぶセッションがあったので、自身の理解度を確認するために受講してきました。 セッションの概要 タイトル Comparing Amazon MWAA and AWS Step Functions 概要 Organizations looking to orchestrate ETL data pipel
![[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
はじめに AWS::Serverless::StateMachine リソースを使用して、SAM テンプレート内で AWS Step Functions の ステートマシンを定義できるようになりました。 AWS SAM adds support for AWS Step Functions https://aws.amazon.com/jp/about-aws/whats-new/2020/05/aws-sam-adds-support-for-aws-step-functions/ AWS SAM CLI も v0.52.0 で Step Functions Resource をサポートしています。 Support for a new Step Functions Resource in SAM https://github.com/awslabs/aws-sam-cli/release
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ワークフローオーケストレーション入門
ジョブ管理システムをAWS Step Functionsに移行する時の勘所
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Stepで覚えるStepFunctions基本のキ | DevelopersIO
サーバレスでVODとECをリニューアルして、さらにくっつけてみました！
20191004_AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化_2
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
2021年に超絶進化を遂げた AWS Step Functionsを触ってみました - Qiita
The AWS Step Functions Workshop
Step FunctionsからLambda関数を実行する書き方2つの違い | DevelopersIO
AWS Step Functions とは - Qiita
AWS SAMがStep Functionsをサポートしたのでやってみる - Qiita
kabutan.jp
b.hatena.ne.jp
aifacestickergenerator.work
news.mynavi.jp
www.jstage.jst.go.jp
comic-days.com