Step Functions の Map ステートで、処理時間が劇的に短くなった話 - サーバーワークスエンジニアブログ
はじめに こんにちは。技術4課の河野です。最近作り置き料理にハマっていて、週末に平日分の夕飯を作るというライフハックを実践中です。 今回は、AWS Step Functions(以下「SFN」) の Map ステートについてのお話です。 要約 SFN で過去一年分のSlack投稿メッセージを取得するバッチを構築しました。 トータル処理時間が、1.5h （データ件数は 2万件程度）だったため、SFNの Map ステートを組み込んだところ処理時間が 10.0 min まで短くなったというお話です。 改善前 Slack投稿メッセージは、下記のような構成（ざっくり）で構築しました。 Slackのメッセージを取得する Lambda をタイムアウトするまでぶん回して、タイムアウトエラーを SFN 側でキャッチしてリトライするという力技です。 改善前の課題 冒頭でも述べた通り、「Slackメッセージを取
マッピング - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 マッピング Map 状態を使用して、データセット内の各アイテムに対して一連のワークフローステップを実行します。Map 状態の反復は並列で実行されるため、データセットを迅速に処理できます。Map 状態では、JSON 配列、Amazon S3 オブジェクトのリスト、CSV ファイルなど、さまざまな入力タイプを使用できます。 Step Functions には、ワークフローで Map 状態を使用するための処理モードとして、インラインモードと分散モードの 2 種類の処理モードがあります。 これらのモード、およびそのいずれかのモードで Map 状態を使用する方法の詳細については、次のトピックを参照してください。
AWS Step Functions とは? - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Step Functions とは? AWS Step Functionsは、AWS LambdaAWS のサービス機能などと統合してビジネスクリティカルなアプリケーションを構築できるサーバーレスオーケストレーションサービスです。Step Functions のグラフィカルコンソールでは、アプリケーションのワークフローを一連のイベント駆動型ステップとして確認できます。 Step Functions はステートマシンとタスクに基づいています。Step Functions では、ワークフローはステートマシンと呼ばれ、一連のイベント駆動型ステップです。ワークフローの各ステップはステートと呼ばれます。タスクステートはAWS Lambda、AWSなどの別のサービスが実
AWS Step Functionsでサーバレスなデータパイプラインを作った話 - Qiita
こちらはAWS for Games Advent Calendar 2022 13日目の記事です。 はじめに 私は普段UBISOFT OSAKAでサーバーエンジニアとして働いています。 UBISOFT OSAKAではRocksmith+というギター学習ツールを開発しています。 私自身これまでギターを触ったことはありませんでしたが、入社をきっかけにRocksmith+でギターの練習を始めました。 練習のメニューが充実しており、初心者から上級者まで楽しめる内容になっています。 残念なのは今のところ日本ではプレイできないところでしょうか… ただいま（執筆時点）日本でのリリースは準備中です。 Rocksmith+の紹介はさておき、データパイプラインのお話です。 ゲームで楽曲が使われるまで大まかな流れは次の通りです。 ライセンサーから（楽曲の権利を持つ企業）から楽曲のメタ情報（タイトルやアーティスト
データパイプラインの管理 ～ワークフロー管理に利用できる、さまざまなAWSサービス | gihyo.jp
はじめに 本連載の第2回では様々なデータソースからの収集について、第3回では収集されたデータの管理についてそれぞれ解説してきました。今回は、それぞれのデータの収集から分析するまでの処理の流れを管理するデータパイプライン管理に着目し、求められる要素や関連するサービスとその使い分けについて解説します。 データパイプラインとETL 分析するためのデータを様々なデータソースから収集してデータレイクのような基盤で実際に分析できる状態にするまでには、一般的にいくつかのサービスや機能、処理を組み合わせて実現します。このようにデータの抽出（Extract）、変換（Transform）、ロード（Load）の一連のフロー（流れ）をETLと呼び、データソースやデータの種類ごとに異なるフロー（パイプライン）を構成する必要があります。 さらにこの処理は当然ながら自動化することが一般的です。なお、データウェア
スタートアップでもバッチワークフローの使い分けはあり Amazon MWAAからの一元管理で安心感のある運用を
スタートアップのエンジニアの交流や知見の共有を目的とする、AWS Startup Community 主催の技術系オンラインイベント「AWS Startup Tech Meetup Online #5」。ここで、株式会社カケハシの福田氏が、「スタートアップにおけるデータ基礎バッチワークフローの変遷」をテーマに登壇。バッチワークフローの課題と、変更後の運用を紹介します。 自己紹介 福田貴之氏（以下、福田）：「スタートアップにおけるデータ基礎バッチワークフローの変遷」と題して、株式会社カケハシの福田が発表します。自己紹介です。株式会社カケハシで、データ基盤のプロダクトオーナー兼エンジニアやってます。 経歴としては、2007年新卒で、某Yでモバイル向けサービス開発・運用などをやり、あとソーシャルゲームが流行っていたので、そのあたりでログ基盤を6年ぐらい見ていました。あとベンチャーをいくつかまわっ
から Step Functions AWS Data Pipeline へのワークロードの移行 - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 から Step Functions AWS Data Pipeline へのワークロードの移行 AWS は 2012 年に AWS Data Pipeline サービスを開始しました。当時、顧客は、さまざまなコンピューティングオプションを使用してさまざまなデータソース間でデータを移動できるサービスを求めていました。データ転送のニーズは時間とともに変化するため、そのニーズに対応するソリューションも変化します。現在は、ビジネス要件に最も近いソリューションを選択できるようになりました。例えば、次のいずれかを実行できます。 Step Functions を使用して、複数の AWS のサービス 間でワークフローをオーケストレーションします。 Amazon Managed Wo
New – AWS Step Functions Workflow Studio – A Low-Code Visual Tool for Building State Machines | Amazon Web Services
AWS News Blog New – AWS Step Functions Workflow Studio – A Low-Code Visual Tool for Building State Machines AWS Step Functions allow you to build scalable, distributed applications using state machines. Until today, building workflows on Step Functions required you to learn and understand Amazon State Language (ASL). Today, we are launching Workflow Studio, a low-code visual tool that helps you le
AWS Step Functions が YAML のツールサポートを追加
AWS Step Functions は、AWS Toolkit for Visual Studio Code 内およびAWS CloudFormation 内で YAML ステートマシン定義のサポートを開始しました。これにより、Infrastructure as Code と同じ言語でワークフローを定義できるようになりました。 AWS Step Functions は、AWS Lambda、Amazon SNS、Amazon DynamoDB などの AWS のサービスを利用し、回復力のあるサーバーレスワークフローを構築することを可能にします。AWS Toolkit for Visual Studio Code は、Visual Studio Code 用のオープンソースプラグインで、アマゾン ウェブ サービス上でのアプリケーションの作成、デバッグ、デプロイを容易にします。AWS Clo
料金 - AWS Step Functions | AWS
AWS Step Functions では、使用した分のみ料金が発生します。Step Functions には、Standard ワークフローと Express ワークフローの 2 種類のワークフローがあります。 どちらがワークフローの要件に合っているかを理解するには、標準ワークフローとExpress ワークフローを参照してください。
標準ワークフロー対 Express ワークフロー - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 標準ワークフロー対 Express ワークフロー ステートマシンを作成するときは、[標準] または [Express] のいずれかの [タイプ] を選択します。ステートマシンのデフォルトタイプは標準です。タイプ が 標準のステートマシンは標準ワークフローと呼ばれ、タイプが Express のステートマシンは Express ワークフローと呼ばれます。 標準と Express のどちらのワークフローでも、Amazon ステートメント言語 を使用してステートマシンを定義します。ステートマシンの実行の動作は、選択した[タイプ]によって異なります。
サーバーレスゆく年くる年 2020/2021 - Sweet Escape
本投稿はServerless Advent Calendar 2020の22日目です。 さらに、2020年12月23日の21時から開催予定のイベント（ライブストリーミング）で話す内容でもあります。もしお時間があればぜひこちらにもご参加ください。登録はこちら。 はじめに AWS Lambdaのアップデート3選 Lambda Extensions PrivateLinkサポート 課金単位が1msに！ Amazon API Gateway AWS Step Functions 2020年のサーバーレス 2021年のサーバーレス はじめに 今年は新型コロナウィルスによるリアルイベントの開催が難しくなったこともあって、僕自身としてもいろいろと変化がありました。このイベント自体もその1つといえ、自分のペースで好き勝手にオンラインで配信するという新しい形態になりました。 ま、立場上、他のクラウド事業者の
よくある質問 - AWS Step Functions | AWS
AWS Step Functions はフルマネージドサービス型のサービスで、視覚的ワークフローを使用して分散アプリケーションやマイクロサービスのコンポーネントをより容易にコーディネートできます。それぞれ別個の機能を実行する個々のコンポーネントからアプリケーションを構築することで、より簡単にアプリケーションをスケーリング、およびより迅速に変更できるようになります。 Step Functions を使えば、安心してアプリケーションのコンポーネントを調整し、機能を配置できます。グラフィカルコンソールを使用して、アプリケーションのコンポーネントを一連のステップとして配置し、可視化できます。これにより、複数のステップからなるアプリケーションをより簡単に構築および実行できるようになります。 Step Functions では、各ステップが自動的にトリガーおよび追跡され、エラーが発生した場合は再試行さ
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
AWS Step FunctionsのParallelステートを使って並列実行させる | DevelopersIO
AWS re:Invent 2016で発表された、ビジュアルワークフローを用いて分散アプリケーションを構築するサービス『AWS Step Functions』。 今回は Parallel ステートを使って並列実行させる方法を紹介します。 メッセージ・キューで言うところの Fan-Out 的な用途に用います。 なお Step Functions が対応しているステートは以下です。 Task Wait Pass Succeed Fail Choice Parallel Parallel ステートを使った並列実行:サンプル 1 Step Functions の "Parallel State" ブループリントです。 入力が 20 秒待つステート Pass ステートのあと 10秒待つステート に分岐し、全分岐が完了すると Final State に遷移します。 待ち時間が異なるため、各分岐の終了タ
10日間 で AWS Lambda 関数を 28億回 実行した話｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
はじめに こんにちは、エンジニアの内山です。 最近は AWS を使ったサーバレス開発に従事しています。 今回は、サーバレス開発時にやらかしてしまったお話です。 どんなことが起こった？ プログラムのバグが原因で、AWS Lambda 上で再起呼び出しの無限ループが起こりました。さらに発生時にはそのことに気づけませんでした。 発生時から 10 日後の月末に、請求額が想定よりも異常に高いという報告を受け、その時点で初めて無限ループが起こっていることが発覚しました。 10 日間 で、AWS Lambda 関数が 28億回__ほど実行されており、付随するサービス(X-Ray/CloudWatch Logsなど)の料金も加わって、__27万円 ほどの料金が発生してしまいました。 経緯 ある Lambda 関数から別の Lambda 関数を非同期で実行する処理を実装していました。実際とは少し違いますが、
Call Amazon EKS with Step Functions - AWS Step Functions
Step Functions can control certain AWS services directly from Amazon States Language (ASL). To learn more, see Working with other services and Pass parameters to a service API. How the Optimized Amazon EKS integration is different than the Amazon EKS AWS SDK integration The Run a Job (.sync) integration pattern is supported. There are no optimizations for the Request Response integration pattern.
AWS Step Functions が Amazon EKS サービスとの統合のサポートを開始
AWS Step Functions が Amazon EKS と統合されました。これにより、最小限のコードで AWS Lambda、Amazon SNS、Amazon SQS などの AWS のサービスを使用して Kubernetes で実行されているジョブを調整する、復元力のあるアプリケーションを簡単に構築できるようになりました。Kubernetes ジョブの状態を管理するために、コードを記述することなく、Amazon EKS でタスクを起動し、その完了を待つステップを含むワークフローを構築できるようになりました。 AWS Step Functions を使用すると、AWS Lambda、Amazon SQS、Amazon ECS、そして今回の Amazon EKS などの AWS のサービスを使用して、復元力のあるワークフローを構築できます。Amazon Elastic Kubern
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
状態 - AWS Step Functions
AWS_ETL_services_tips_202107.pdf