AWS CDKのStepFunctionsでEcsRunTaskにcpuパラメータを渡す - KAKEHASHI Tech Blog
Musubi AI 在庫管理で DevOps エンジニアをしている kacky です。 この記事では AWS CDK 上でのジョブ開発でのとある困り事を解決した話をしたいと思います。 AWS CDK の StepFunctions には、EcsRunTask という API が存在します。この API を使用すると、StepFunctions 上で ECS の Task を指定して実行することが可能です。この機能は Fargate や EC2 に対応しており、バッチ処理などには必要不可欠なものです。しかし、この API には CPU や Memory などのリソース割り当てを実行時に上書きできないという制限があります。 AWS の REST API や boto3 などの SDK では、この機能を実現できますが、CDK の StepFunctions には含まれていません。これは非常に面倒
AWS Step Functionsレシピ集 - TECHSCORE BLOG
はじめに AWSで定期的なデータ連携バッチを書く方法の一つにAWS Step Functions(以下Step Functions)があります。Step FunctionsはAWS Lambda(以下Lambda)を始めとするAWSの様々なサービスを組み合わせたワークフローを記述できるサービスです。LambdaおよびStep Functionsはバッチ用のサーバを構築・管理する必要がなく安価にサービスを運用できるため、私のチームでも活用しています。 LambdaおよびStep Functionsにはそれぞれ制約があり工夫が必要となる場合もあります。例えばパイプラインを定義するためにASL(Amazon State Language)というDSLを使いますが、ASLで何ができるかを理解するには時間が掛かります。細かい書き方などはすぐ忘れてしまって、以前書いたのを探すのに苦労したりもします。こ
【資料公開】AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech | DevelopersIO
Amazon AthenaとAWS Step Functionsで作る簡単なETLの仕組みのメリットと、さらに必要とされる要件に対してなにが求められるのかについて発表しました。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 2024年6月12日にクラスメソッドの大阪オフィスで開催された勉強会Midosuji Tech #1で『AthenaとStep Functionsで簡単ETLオーケストレーション』というタイトルで話しましたので資料を公開します。 当日は淀屋橋の大阪オフィスでオンサイトでイベントが開催されました。発表後にはワイワイガヤガヤタイムということで、参加者の方も交えたディスカッションが大変盛り上がりました。 発表資料 ポイント Step FunctionsのAPI統合で、S3バケットに配置したSQLファイルをステートマシンから読み込み、Athen
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
Accelerating workflow development with the TestState API in AWS Step Functions | Amazon Web Services
AWS Compute Blog Accelerating workflow development with the TestState API in AWS Step Functions This post is written by Ben Freiberg, Senior Solutions Architect. Developers often choose AWS Step Functions to orchestrate the services that comprise their applications. Step Functions is a visual workflow service that makes it easier for developers to build distributed applications, automate processes
【CDK】Step FuctionsでGlue Python Shellを実行 | DevelopersIO
はじめに データアナリティクス事業本部ビッグデータチームのyosh-kです。 今回はStep Functions内でGlue Python Shellを実行する実装をCDKで行いたいと思います。 前提 今回実現したい構成は以下になります。 EventBridgeでdata-source BucketへのObject Createdイベントを検知し、Step Functionsを起動します。 Step Functions内でGlue Jobを実行します。 Glue Jobでデータ加工した出力先としてdata-store Bucketにcsvファイルを生成します。 加工処理前のcsvファイルの中身になります。 animal_info.csv "animal_id","animal_name","species","weight_kg","age_years","habitat","arriva
サーバーレスアプリケーション開発におけるエラーハンドリング ~ ワークフローパターン 前編 ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 ワークフローパターンは、条件分岐を含むシーケンシャンルなステップの集合です。それらのハンドリングを一つのプログラムモジュールで実現しようとすると、条件判断や、エラーハンドリング、リトライ、などのビジネスロジック外の本質的ではないコードが多く記述されることになり、また単一のモジュールにすべての処理をまとめると、各々の処理が密結合になるリスクなどもあります。 こういったリスクを排除するために、ワークフローエンジンを利用し、各処理単位で独立したタスクに切り出したプログラムモジュールを組み合わせて、本質的ではないタスク間の連携処理については、ワ
サーバーレスアプリケーション開発におけるエラーハンドリング ~ ワークフローパターン 後編 ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 前編 に引き続き、条件分岐を含む実行単位の長いシーケンシャンルなステップの集合であるワークフローが今回もテーマになります。ただし前回と異なる点として、大規模データ処理用途でのワークフローとしてのケースについて紹介します。 おそらく皆様が聞き馴染みがある言葉としては、バッチ処理と言われる一括大規模データ処理に当たるものが今回のテーマの対象になり、分析用途などの大量データ、大規模処理、高負荷計算といったキーワードで語られるユースケースがそれに当たります。 具体例を上げると、複数の販売チャネルで販売を行っている小売店での、販売経路ごと (例：
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
AWS Step Functions adds integration for 33 services including Amazon Q
AWS Step Functions expands its AWS SDK integrations with support for 33 additional AWS services including Amazon Q, AWS B2B Data Interchange, and Amazon CloudFront KeyValueStore. AWS Step Functions is a visual workflow service capable of orchestrating over 11,000+ API actions from over 220 AWS services to help customers build distributed applications at scale. By directly invoking AWS services or
AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。個々のデータパイプラインタスクを繋ぎ、ペイロード、リトライ、エラー処理を最小限のコードで構成することで、ワークフローを視覚的に構築できます。 Step Functions は、データパイプライン内のタスクが一時的なエラーで失敗した場合、自動リトライとエラー処理をサポートしていますが、アクセ
AWS Step Functions と Amazon Bedrock を利用して、生成系 AI アプリケーションを構築する | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon Bedrock を利用して、生成系 AI アプリケーションを構築する 2023 年 11 月 26 日、AWS Step Functions と Amazon Bedrock との最適化された統合を発表します。 AWS Step Functions は、開発者が分散アプリケーションを構築し、プロセスを自動化し、そして、マイクロサービスのオーケストレーションやデータと機械学習のパイプラインを作成するのに役に立つビジュアルワークフローサービスです。 9 月には、基盤モデルを使用した生成系 AI アプリケーションの構築および拡張が最も簡単な Amazon Bedrock が利用可能になりました。Amazon Bedrock は、AI21 Labs、Anthropic、Cohere、Stabil
AWS CDK による API Gateway の Step Functions 統合を簡単に構築できるクラス2つのご紹介 | DevelopersIO
AWS CDK による API Gateway の Step Functions 統合を簡単に構築できるクラス2つのご紹介 こんにちは、CX 事業本部 Delivery 部の若槻です。 AWS Step Functions は API Gateway REST API との統合が可能です。これにより Step Functions から AWS サービスを呼び出す API を簡単に構築することができます。 そしてこの API Gateway の Step Functions 統合を AWS CDK で構築する場合は、StepFunctionsIntegration および StepFunctionsRestApi の 2 つの便利なクラスがあります。 今回はこれらのクラスを API Gateway の Step Functions 統合を構築しつつ、どんな違いがあるのか確認してみました。 確
サービス統合パターン - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 サービス統合パターン AWS Step Functions Amazon ステート言語でサービスと直接統合されます。3 つの異なるサービス統合パターンを使用して、これらの AWS のサービスを制御できます。 サービスを呼び出し、Step Functions が HTTP レスポンスを取得した直後に次の状態に進むことができるようにします。 サービスを呼び出し、ジョブが完了するまで Step Functions が待機するようにします。 タスクトークンでサービスを呼び出し、トークンがペイロードとともに返されるまで Step Functions が待機するようにします。
AWS Step Functions のエラーハンドリングを実装しよう - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは！AWS Community Hero の山口 (@kinunori) です。AWS サービスを利用した分散形アプリケーションやワークフローを構成する際に便利な AWS Step Functions をご存知でしょうか ? 私は自動化可能な定期処理やバッチ処理を構築する際に AWS Step Functions を活用しています。 この記事では AWS Step Functions を利用する際のポイントの 1 つとなるエラーハンドリングについて紹介します。 AWS Step Functions のエラーハンドリングを実現する一例として、以下のような方法があります。[ⅰ] ステート内のエラーハンドラーを利用する ステート内の処理リトライを利用する Choice ステートを利用する Amazon EventBridge を利用する
API Gateway を呼び出す Step Functions でステートマシン保存失敗を回避するには | DevelopersIO
困っていた内容 API Gateway を呼び出す Step Functions の構築で、ステートマシンの保存が失敗しました。 HTTP ヘッダーの値が原因のようですが、Lambda オーソライザーのサンプル値（secretToken）でも失敗します。 ステートマシンの保存に成功するにはどうしたら良いでしょうか？ エラー内容 ステートマシンの定義に Amazon ステート言語エラーがあります。エラーを修正して続行してください。 The 'Headers' field contains unsupported values: [authorization] /States/API Gateway Invoke/Parameters For more information, see Amazon States Language どう対応すればいいの? HTTP ヘッダー名（例：Author
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023年上半期のAWS User Notifications、Amazon Security Lake、AWS Step Functionsの注目アップデート！
The AWS Step Functions Workshop
気がついたらSagaパターンになっていた！？ 少人数で運用するサーバレスバックエンド
Step Functions の設計・開発・運用 〜HTBのECサイトの場合〜