AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service
AWS DevDay Tokyo 2019での発表資料です
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021
re:Invent 2016 で Step Functions というサービスがローンチされました！ 幾つかのステップに分かれる処理を Lambda で構築するときに、処理のステート管理や処理間のコーディネートを行ってくれるサービスです。 これまでは、このような処理を組もうとすると「本来行いたい処理に関するコード」以外に「状態を管理するコード」を書く必要がありましたが、 Step Functions を用いることで、疎結合なメンテのしやすい Serverless バッチシステムを構築できるようになります。 個人的には今年の re:Invent で一番熱いリリースです！早速触ってみました！ （※2017/12 により具体的なサービスに使った記事を書いてみましたので、よろしければこちらもご覧ください。） AWS Lambda と Step Functions で作るサーバレスなアービトラージ検
AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl
2021/09/29 AWS Devday Online Japan 2021の登壇資料です
AWS Step Functions と Serverless Framework の使いどころ - Techtouch Developers Blog
こんにちは、フロントエンドエンジニアの尾崎です。 6月のボーナスでロボット掃除機（Xiaomi）とコードレス掃除機（makita）を購入し、在宅勤務がますます快適になってきました。 さて、今回の記事では、テックタッチで AWS Step Functions をどのように活用しているかをお伝えしていきます。 記事の前半では、Step Functions の概要を説明しながらテックタッチでの利用方法について、 記事の後半では、Serverless Framework との組み合わせ方や本番運用してみてわかった Tips など、より実践的な内容に触れていきます。 AWS Step Functionsとは何か 処理順序の管理 AWSサービスとの連携 ワークフロー、ステップについて ユースケースの例 テックタッチでの利用方法 技術的なチャレンジ これまでの課題 Step Functionsを使う S
ジョブ管理システムをAWS Step Functionsに移行する際に考えるべきこと注意することをまとめてみました。
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
お役立ち Twitter Bot を作りながら学ぶ AWS ドリル ~第 6 回 AWS Step Functions を使って Well-being Bot を作ろう ! (前編) - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
ソリューションアーキテクト(SA)の金澤 (@ketancho) です。6 月になりましたが、皆さまいかがお過ごしでしょうか ? 私は通勤や退勤のときに 1 駅分歩いて気分をリフレッシュするようにしているのですが、この時期から雨と暑さでしばらくそれができなくなってしまうのが辛い今日この頃です。そして、6 月は祝日がないというハードモード.. はやく夏休みが来てほしいものです。皆さまも健康に気をつけてお過ごしください。 選択 第 1 回 おはよう Bot 編 第 2 回 昔書いた記事の宣伝 Bot 編 第 3 回 リファクタリング ＆ 曜日ごとのツイート 編 第 4 回 新章突入 ! 気になるワード検索 & 通知 Bot 編 第 5 回 皆さまの代わりに英語でツイートしておくよ Bot 編 第 6 回 AWS Step Functions を使って Well-being Bot を作ろう !
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する - 午睡二時四十分
動機とやったことの概要 AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する from mizugokoro スポットインスタンスで学習をして、無駄なくインスタンスを止めたい Step Functionsへの入力を変えるだけで様々な条件での学習を実行させたい 機械学習のコード自体にこのStep Functionsへの依存性は持たせなくて良い方針で作ったので、ディープラーニング以外のバッチ処理でも同じように使えるはず 詳細 Lambdaに付与する権限 たぶん以下くらいの権限がLambda実行時に必要。 AWSLambdaAMIExecutionRole AmazonS3FullAccess AmazonEC2SpotFleetRole AWSLambdaBasicExecutionRole AmazonSNSFullAccess EC2ReadOnly (
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](https://cdn-ak-scissors.b.st-hatena.com/image/square/c43d733ef1bee7c74fa608c0cec285269dc8c322/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fawsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation | Amazon Web Services
AWS News Blog Now — AWS Step Functions Supports 200 AWS Services To Enable Easier Workflow Automation Today AWS Step Functions expands the number of supported AWS services from 17 to over 200 and AWS API Actions from 46 to over 9,000 with its new capability AWS SDK Service Integrations. When developers build distributed architectures, one of the patterns they use is the workflow-based orchestratio
【速報】新しいワークフローサービス AWS Step Functionsが発表 #reinvent | DevelopersIO
昨日AWSウルトラクイズで優勝して浮かれている大栗です。 本日もre:Inventに参加しておりますが、Werner Vogels氏が話す2日目のKeynoteでAWS Lambda用のワークフロー管理を行う新サービスが発表されましたので、まとめてみます。 AWS Step Functions AWS Step Functions AWS Step Functionsとはビジュアライズなワークフローを使用して、分散アプリケーションとMicroservicesのコンポーネントを簡単にコーディネートできるサービスです。つまりLambdaなどを上手く連携させてステートマシンとして定義し実行させるサービスの様です。 Lambdaなどの各ファンクションを状態として考えてワークフローをステートマシンとして定義します。各ファンクションをシリアルに繋いだり、パラレルに繋いだり、条件分岐をステートマシンとし
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
はじめに 瀬田@大阪オフィスです。StepFunctions使ってますか?最初に想像していたよりめっちゃ便利&簡単なんで基本をご紹介したい欲。 今回の構成 こんな感じのやつを作ってみます。 テスト用lambda関数 Pythonで以下のようなlambda関数:testを作成します。 def lambda_handler(event, context): event["Result"] = True #項目はeventに任意に追加可能です。 event["LoopCount"] = 10 return event ステートマシン定義 Step1:Exec lambdaの実行 lambdaを実行するStepを作成します。 コメント部は空白を含めて削除してください。(行末に空白があるとエラーになります。) lambdaのarnは適宜書き換えてください。 { "Comment": "",
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functions をテストするには実際の AWS リソースのエンドポイントを叩く必要がありました。Step Functions Local ではローカル環境で Lambda などのサービスのレスポンスをモックすることで完全に隔離された環境で Step Functions の動作確認を行うことができます。 本記事の大まかな流れ SAM のサンプルプロジェクトを Pull Docker 環境でテストを実行
AWS Step Functionsにサーキットブレーカーパターンを組み込んでみた | DevelopersIO
AWS Step Functionsステートマシン実行中、再試行で回避できない予期しない障害が発生したときは、再試行せず、失敗系フローに遷移する必要があります。 ステートマシンをまたいで障害を管理できるよう、Amazon DynamoDBで障害を管理し、ステートマシンの安定性と回復性を向上する方法を紹介します。 サーキットブレーカーパターンをStep Functionsのステートマシンに組み込んだソリューションとも言えます。 基本的な考え方は次のAWSブログを参考にし、C#の実装をPythonに変更し、DynamoDBのTTLも使わずに実装をシンプルにしています。 Using the circuit breaker pattern with AWS Step Functions and Amazon DynamoDB | AWS Compute Blog 想定するユースケース ステートマシ
AWS Step Functions は、デベロッパーが AWS のサービスを利用して分散型アプリケーションを構築し、プロセスを自動化し、マイクロサービスのオーケストレーション、データと機械学習のパイプラインを構築できるようにするビジュアルワークフローサービスです。
Serverless Architectureの可能性を広げる新サービス AWS Step Functions ~ AWS re:Invent Day4 | Recruit Tech Blog
Serverless Architectureの可能性を広げる新サービス AWS Step Functions ~ AWS re:Invent Day4 ma2k8 こんにちは。ma2k8です。 今回のre:Inventで発表された新サービスの中で、個人的に一番テンションがあがったAWS Step Functionsについて紹介させていただきます。なお、本記事内のスライド画像は以下セッションものです。 CMP319 – NEW LAUNCH! Building Distributed Applications with AWS Step Functions AWS Step Functionsとは？ ビジュアルワークフローを使用して分散アプリケーションを構築するツールです。TaskにLambda関数を定義できる点がすごく良いと思いました。 AWS Step functionsの利点 生産性
Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services
AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi
Amazon States Language
Amazon States Language This document describes a JSON-based language used to describe state machines declaratively. The state machines thus defined may be executed by software. In this document, the software is referred to as "the interpreter". Copyright © 2016 Amazon.com Inc. or Affiliates. Permission is hereby granted, free of charge, to any person obtaining a copy of this specification and asso
こんにちは。芳賀です。 入社してから３カ月間、オンプレ畑で育ったエンジニアがひたすらAWSと格闘して、初めてサーバレスなアプリケーションを作り、Step Functionsを覚えたので、ちょっとブログにしてみました。 AWS Step Functionsとは？ AWSのサーバレスサービスのLambdaを使った事はあるでしょうか？ サーバレスなLambdaですが、Lambda関数から別なLambda関数を呼ぶ場合にはプログラムコードで次に呼び出すLambda関数名を設定したり、何らかのアクションを間に挟む必要がありました。このため、ちょっとしたカスタマイズでもプログラムの改造が必要になりました。今回、ブログへ書いたAWS Step Functionsを利用すれば、その必要がなくなります。雑な言い方をすれば、個々のLambda関数を簡単につなぐためのAWSサービスになります。 Lambda関数
Step Functions開発の「うーむ…」にVSCodeとAWS ToolKitで挑んでみる話 | DevelopersIO
こんにちは。AWS事業本部のKyoです。 Step Functions便利そう。でもなんかちょっとハードル高いな。特にAmazon States Language (ASL)というやつが...。 感じているハードル 感じているハードルをもう少し具体的にしてみましょう。 ASL = 長いJSON を人力で書くのがうーむ... Step Functions以外では使わないASLについて調べて書くのがうーむ... デバッグやりにくそうなのがうーむ... これらはVisual Studio Code (VSCode)とAWS ToolKitを使うと解決できそうです。 上記のエントリでVSCodeとAWS ToolKitを使えば、VSCodeから以下が可能になることが述べられています。 ステートマシン定義 ステートマシン可視化（プレビュー） ステートマシン実行 VSCodeから定義、可視化、実行が可
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた Control Tower上でよく初期セットアップとして利用される機能をStepFunctionsからまとめて実行する仕組みをCDKで実装してみました。 リポジトリはこちら。あくまでサンプルなので、ご利用の環境に合わせてカスタマイズしながらご利用ください。 前提 Control Tower有効化済み Security HubのOrganizations統合で新規アカウントの自動有効化が設定されている 構成 EventBridgeでControl Towerのアカウント発行イベント(ライフサイクルイベント)を取得して、ターゲットとして指定したステートマシンを実行します。 ステートマシン内はLambdaが複数タスクとして定義されていて、各Lambda内で新規アカウン
![[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1486b2da4d87633e58aebde2114c02dc06f61935/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-control-tower.png)
[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO
Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / G - 5 6,000 91 1.5 650 0 450,000 900,000 1,350,000 1,800,000 2 0 1 4 / 4 2 0 1 4 / 5 2 0 1 4 / 6 2 0 1 4 / 7 2 0 1 4 / 8 2 0 1 4 / 9 2 0 1 4 / 1 0 2 0 1 4 / 1 1 2 0 1 4
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
AWS Step Functions：Activity State MachineでLambda以外のアプリケーションを実行してみた | DevelopersIO
こんにちは、菊池です。本年1つ目のブログです。 AWS re:Invent 2016で発表されたAWS Step Functionsは、複数のLambdaアプリケーションを連携して実行させるのに非常に便利ですが、Lambda以外にもEC2やオンプレミス環境で実行されるアプリケーションもState Machineに組み込んで実行させることが可能です。 Activity State Machine State MachineのTask Stateで実行するアプリケーションには、Lambda関数だけでなく、Activityを指定可能です。このActivityを利用することでEC2やオンプレミスのアプリケーションを実行することが可能になります。 Tutorial: An Activity State Machine 以下の手順でActivity State Machineを作成し実行してみます。
AWS Step Functions でサーバーレス FizzBuzz を実現する - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、ソリューションアーキテクトの富岡です。 みなさん、関数をオーケストレーションしていますか ? AWS Step Functions (以下 Step Functions) はサーバーレスな関数オーケストレーターで、依存関係のあるワークフローを実行するなどの用途で便利なサービスです。 Step Functions を使ってみると、なかなかどうして、表現力があるので、これだけで様々なことが実現できそうに思えてきますよね。今回はそんな Step Functions だけを使い、FizzBuzz 問題を解いてみようと思います。
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
AWS Step Functionsを利用してAWS BatchやFargateのタスクを起動する - たきざわの日記
この記事は、はてなエンジニア Advent Calendarの22日目の記事です。 qiita.com 最近は仕事で AWS Batch に触れることが多くなってきました。また、ちょっとしたスクリプトならFargate のほうが便利かもしれないということを同僚に教えてもらい、Fargateを利用してcronで実行している処理を置き換えられないか、ということを個人的に検討しています。今日はそこで得たちょっとした便利情報をご紹介しようと思います。 Step Functionsを試す AWS BatchにしてもFargateにしても、成功/失敗のハンドリングが少し難しいという課題があると考えていました。AWS Batchは24時間後にはジョブの実行結果がコンソール上から消えてしまいます。Fargateも、タスク終了後短期間でタスク一覧から消えてしまい、どこかに通知していない限りは「ジョブ/タスク
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ワークフローオーケストレーション入門
AWS Step Functions で作る Serverless バッチシステム - Qiita
ジョブ管理システムをAWS Step Functionsに移行する時の勘所
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Stepで覚えるStepFunctions基本のキ | DevelopersIO
AWS Step Functions（分散アプリケーションの調整）| AWS
Step Functionsを使って初めてループや分岐をやってみた！ ｜ DevelopersIO
サーバレスでVODとECをリニューアルして、さらにくっつけてみました！
20191004_AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化_2
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ