Step Functions の Map ステートで、処理時間が劇的に短くなった話 - サーバーワークスエンジニアブログ
はじめに こんにちは。技術4課の河野です。最近作り置き料理にハマっていて、週末に平日分の夕飯を作るというライフハックを実践中です。 今回は、AWS Step Functions(以下「SFN」) の Map ステートについてのお話です。 要約 SFN で過去一年分のSlack投稿メッセージを取得するバッチを構築しました。 トータル処理時間が、1.5h （データ件数は 2万件程度）だったため、SFNの Map ステートを組み込んだところ処理時間が 10.0 min まで短くなったというお話です。 改善前 Slack投稿メッセージは、下記のような構成（ざっくり）で構築しました。 Slackのメッセージを取得する Lambda をタイムアウトするまでぶん回して、タイムアウトエラーを SFN 側でキャッチしてリトライするという力技です。 改善前の課題 冒頭でも述べた通り、「Slackメッセージを取
Map 状態のワークフロー - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Map 状態のワークフロー Map 状態を使用して、データセット内の各アイテムに対して一連のワークフローステップを実行します。Map 状態の反復は並列で実行されるため、データセットを迅速に処理できます。Map 状態では、JSON 配列、Amazon S3 オブジェクトのリスト、CSV ファイルなど、さまざまな入力タイプを使用できます。 Step Functions には、ワークフローで Map 状態を使用するための処理モードとして、インラインモードと分散モードの 2 種類の処理モードがあります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
