処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO
AWS Step Functionsが連携できるAWSのサービスが17個から200個まで大幅に増加しました。これにより実行できるAPIの数は9,000以上となりました。このアップデートによりAPIを叩くためだけのLambda関数を用意する必要がなくなり、AWS Step Functionsの使いやすさがグッと増したと思います。 AWS Step Functionsが連携できるサービスが爆増しました こんにちは、のんピ(@non____97)です。 AWS Step Functionsの連携可能サービス数が200個以上に増える神アップデートが来ました!! これにより、AWS Step Functionsから直接実行できるAPIの数は9,000以上となりました。 今まで、例えばEC2インスタンスを停止したい場合は、EC2インスタンスを停止させるLambda関数を用意して、そのLambda関数を
![[アップデート] AWS Step Functionsが200以上のAWSサービスと連携できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ
![[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75550513d830c21b153b85859fb4fdabd295d23d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fsecurity-identity_Compliance.png)
歴史・年表でみるAWSサービス(AWS Systems Manager編) －機能一覧・概要・アップデートのまとめ・SSM入門－ - NRIネットコムBlog
小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 AWS Systems Manager歴史年表の作成経緯と方法 AWS Systems Manager歴史年表(2014年10月29日～2021年12月31日までのアップデート) AWS System
AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz
AWS Step Functions を使って時間ぴったりに処理を行うサーバーレススケジューラーを構築する - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS で予約実行や定期実行などのスケジュール処理を実装する場合に、Amazon EventBridge を使用してスケジュールベースのルールを組むことはプラクティスの 1 つだと思います。しかしながら、Amazon EventBridge を使ったスケジュール処理には以下のような課題があります。 予約時刻から数分程度ズレで実行される場合がある AWS Lambda を実行する場合に非同期呼び出しとなるため、複数起動される場合がある これらが許容される場合は特に問題がありませんが、許容できない場合には AWS Step Functions を使うことで正確な時刻での配信が出来るスケジューラーを構築することが出来ます。 なお、以下の GitHub でソースコードは公開していますので興味がある方は是非触ってみてください。 Serverless Dynamic Scheduler
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
State machines orchestrate the work of AWS services, like Lambda functions. When one function ends, it triggers another function to begin. Although Max Duration is significantly different, Express workflow allows more scalability. Moreover, Express workflow pricing is constructed with more details since users will have to pay for the number of executions, including the duration and memory used for
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
Amazon Web Services ブログ 新機能 – Step Functions が動的並列処理をサポート マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた | DevelopersIO
[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Functionsで動的並列処理がサポートされました！ 担当していた案件で、S3上にある直近24時間分ファイル群（各ファイル名に秒までの時刻が入っている）を、 1分毎にまとめて別のバケットに移すような処理があり、 これはまさにMapステートに最適な素材でしたので、Mapステートを使ったリファクタリングをしてみました！ この記事では、ServerlessFrameworkのStep Functionsプラグインを用いています。 （対応早くて助かる！！）
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた | DevelopersIO
Step Functionsをローカル環境でテストできるStep Functions Localのモックサービス統合機能がリリースされたので試してみた 上記の記事で紹介されていた Step Functions をローカル環境で実行する方法を実際にためしてみました。 Step Functions Local について 従来、AWS Lambda や Amazon SQS と連携した Step Functions をテストするには実際の AWS リソースのエンドポイントを叩く必要がありました。Step Functions Local ではローカル環境で Lambda などのサービスのレスポンスをモックすることで完全に隔離された環境で Step Functions の動作確認を行うことができます。 本記事の大まかな流れ SAM のサンプルプロジェクトを Pull Docker 環境でテストを実行
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました | DevelopersIO
【アップデート】Step Functionsから直接EventBridgeにカスタムイベントを発行できるようになりました CX事業本部@大阪の岩田です。タイトルそのままなのですが、本日のアップデートでStep FunctionsがEventBridgeとのサービス統合をサポートしました。 従来もサービス統合としてSNSがサポートされていましたが、EventBridgeにはSNSと比較して 設定可能なターゲットが多い アプリケーションが発行するイベント以外にAWS上のイベントやサードパーティ製品のイベントもキャプチャ可能 ※Step Functionsとの統合には無関係ですが メッセージのフィルタ機能がSNSに比べて優秀 スキーマレジストリが利用可能 イベントデータの変換が可能 といったメリットがあります。 5 reasons why you should use EventBridge i
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio
2020年10月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020/11/05 Update 配信のアーカイブがあがっています。 Monthly AWS Serverless update 2020/11 2020年10月のリリース 10月は割と大きめのアップデートがありました。 AWS AppSync が AWS WAF のサポートを追加 待望の人も多いんじゃないでしょうか。AWS AppSyncがAWS WAFに対応しました。少し前に質問でもいただいてましたね これまでWAFを使うのが難しかったので泣く泣くAppSyncを諦めてた人には朗報かと思います Amazon SNS を使用して SMS を送信するアプリケーションが新しい 5 つのリージョンでホスティング可能になりました。 SMSによる
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
CloudNativeがここまで進化するとインスタンスの仮想化技術をベースとしたシステムなど使いたくなくなってしまいます。 私は新たにシステムを構築する際、必ずServerless Firstの考え方で設計をしていきます。 その中でAWS Lambda、Amazon DynamoDBを中心にMicroservicesの設計をしていくのですが、 ACIDの部分をどう対処するかが一番悩むところです。 今回はServeice間のTransactionに関する話を自分なりに整理していきたいと思います。 図1 Saga Design Pattern Sagaは複数のサービスにまたがるトランザクションを実装するためのマイクロサービスアーキテクチャパターンです。 複数のマイクロサービス間でデータ一貫性を実現するもので、Sagaには２つのパターンがあります。 1. Choreography-based S
AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近のStep Functionsのアップデートで新しい組み込み関数が14個追加されましたが、その中には文字列置換を行う組み込み関数はありませんでした。 しかし、それらのうちStates.StringSplitを活用すれば、AWS Step Functionsで組み込み関数だけで文字列置換ができるようになっていたので、今回はその実装（AWS CDK）を紹介します。 やってみた 実装 例えば日付文字列の-を/に置換したい場合を考えてみます。よくありそうな置換パターンですね。 置換前：2022-09-02 置換後：2022/09/02 この場合は置換対象の文字列-が特定数（今回は2つ）含まれているので、そのことを前提とし、次のようなCDK Stack定義による実装を行いました。 lib/aws-cdk-app-stack.ts import
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 | DevelopersIO
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 本記事ではAWS上の分散トランザクションを構築する方法を紹介させて頂きたいと思います。あと、そのトランザクションの結果をストリーミングさせ、クライアントにデータが自動で連携される仕組みについても紹介させて頂きます。最後に、私が作ってみたサービスのフルコードのGithubレポジトリーを共有致します。 本記事は、オンラインで開催された「JAWS DAYS 2020」の登壇記事となります。 はじめに こんにちは、コンサル部のテウです。 去年の年末年始休暇中、マイクロサービスのいろんな実装パターンについて勉強をしましたところ、分散トランザクションのことにすごく興味が出来ました。そもそもトランザクションの意味だけが分かっていたレベルだったのですが、もっと詳し
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた Control Tower上でよく初期セットアップとして利用される機能をStepFunctionsからまとめて実行する仕組みをCDKで実装してみました。 リポジトリはこちら。あくまでサンプルなので、ご利用の環境に合わせてカスタマイズしながらご利用ください。 前提 Control Tower有効化済み Security HubのOrganizations統合で新規アカウントの自動有効化が設定されている 構成 EventBridgeでControl Towerのアカウント発行イベント(ライフサイクルイベント)を取得して、ターゲットとして指定したステートマシンを実行します。 ステートマシン内はLambdaが複数タスクとして定義されていて、各Lambda内で新規アカウン
![[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1486b2da4d87633e58aebde2114c02dc06f61935/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-control-tower.png)
[アップデート]Step Functions ステートマシンのネストが可能になりました！ | DevelopersIO
Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になると思います。早速試してみたいと思います。 Step Functionsにアップデートがあり、ステートマシンのネストが可能になりました！ Announcement: AWS Step Functions Adds Support for Nested Workflows これにより、上位／下位でワークフローを分離でき、モジュールのように再利用可能になります。また、複雑さの軽減も期待できると思います。 早速試してみたいと思います。 構成 ここでは2つのステートマシンを用意します。以下の様なイメージです。 ステートマシン作成 下位ステートマシン 下位ステートマシン「LowerStatemachine」を作成します。特に新しい
コンサル部＠大阪オフィスのYui(@MayForBlue)です。 以前から気になっていた AWS Step Functions をゼロから勉強してみたので、内容をまとめました。 最近アップデートも多く、アツいサービスだと思います！ AWS Step Functions とは 分散アプリケーション、マイクロサービスのコンポーネントの疎結合化を可能にするAWSのマネージドサービス。 各コンポーネントが独立するため、アプリケーションのスケール及び変更を容易にすることができます。 一つの Step Functions の定義全体をステートマシンと呼び、これらはASL(Amazon States Language)と呼ばれる独自言語を用いて記述されます。 また、ASLを用いて定義されたワークフローはマネジメントコンソール上でビジュアライズされます。 AWS Step Functions とは ASL
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS Systems Manager Automation ＆ Amazon EventBridge編) - NRIネットコムBlog
小西秀和です。 以前書いた次の記事でAWS Systems Manager Automationの承認アクションとAmazon EventBridgeを使用してAWS Step Functionsのワークフローへ承認フローを追加する方法を試してみました。 AWS Step Functionsのワークフローへ承認フローを追加する方法(AWS Systems Manager Automation ＆ Amazon EventBridge編) 今回はこのAWS Step Functionsの承認フローをコンポーネント化し、別のAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法を試してみたいと思います。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する
[AWS Step Functions] ステートマシンが無限ループして148ドルも課金が発生した話 | DevelopersIO
懺悔します こんにちは、のんピ(@non____97)です。 私はここに「ステートマシンを無限ループさせて148ドルも課金が発生してしまった」ことを懺悔します。 いきなりまとめ 検証だからといって雑なEventBridgeのイベントパターンを設定するのはやめよう 何が起こったか ステートマシンが無限ループして148ドルも課金が発生しました。 ここで、クラスメソッドメンバーズ向けポータルサイト「クラスメソッド メンバーズポータル」で、AWS利用料金を確認してみましょう。 まずは明細です。 $148.67のインパクトが凄まじいですね。 USE1-StateTransitionとAPN1-StateTransitionについての課金が大半を占めています。AWS Step FunctionsのStandardワークフローではステートマシンの状態遷移によって課金が発生します。 今回はus-east-
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
この記事はうるる Advent Calendar 2019 17日目の記事です。 はじめに この記事では、私が働いている会社、株式会社うるるで運営しているサービス幼稚園・保育園向け写真販売サービス えんフォトにおいて、写真アップロードの速度を爆速にするためにAWSのServerlessアーキテクチャを導入したお話をします。 サービスの内容や、導入に至った経緯などもお話ししたいところですが 話がとても長くなってしまいそうなので、アーキテクチャ導入にあたって考えたことや、細かい処理の説明にのみフォーカスし、記事を書きたいと思います。 ※社内のエンジニア向けにLTした際のスライドも活用していますのでご了承ください。 対象の読者 AWS(特にサーバーレス)について興味がある人/これから学びたいと思っている人 画像のアップロード速度に困っている人 画像を扱うサービスの開発を担当している人 注意点 か
[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO
速報です！ 本日の Werner Vogels キーノートで、Step Functionsで大規模な並列処理を可能にする、「Step Functions Distributed Map」が発表されました！ これまで Step FunctionsにはもとよりMap並列処理を提供機能がありましたが、並列処理の同時実行数は最大40回という制限がありました。 Step Functions Distributed Mapで何ができるのか Mapは上記の制限により、数千件以上の項目を並列でタイムリーに処理することは困難でしたが、「Step Functions Distributed Map」により大規模な並列ワークロードの処理が可能になりました！！ 「Step Functions Distributed Map」では、最大1万回の並列ワークロードを起動することができます。並列で実行できる処理には、St
![[速報]Step Functionsで大量データの並列処理が可能に！Step Functions Distributed MapがGAされました！# reInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0811654a8dac484dafd58339e445d07a684c2164/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F12%2Fstep-function-destributed-map-reinvent1.png)
Serverless Patterns
Jimmy Dahlqvist for AWS Community Builders Posted on Feb 5, 2023 • Updated on Mar 7, 2023 There are a couple of architecture patterns that I tend to use over and over again when I build new solutions. In this post I will give an overview why I use them and how I implement them in a serverless, and often event-driven, way on AWS. Storage-First Storage-First is one of the patterns I use the most. I
Step Functionsの開発がVSCodeで完結！？AWS ToolkitでStep Functionsがサポートされました | DevelopersIO
環境 Visual Studio Code Version … 1.43.2 AWS Toolkit Version … 1.8.0 前提 本エントリではAWS Toolkitのインストール等を割愛していますので、以下が前提となります。 AWS Toolkitのインストール AWS 認証情報のセットアップ AWS Step Functions の IAM ロールを作成する やってみた ステートマシン定義 VSCodeのコマンドパレットにてAWS: Create a new Step Functions state machineを選択します。 AWS Toolkitにて用意されたテンプレートが表示されます。ここではHello worldを選択します。 Pass、Choiceなどのステートを含んだテンプレートが作成されます。VSCode上のStep Functionsのアイコン（Render
DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか | Amazon Web Services
Amazon Web Services ブログ DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか 本ブログは、DAZN の Russ Johnson と、AWS の Corneliu Croitoru、Chris Fane によって共同執筆されています。 このブログ記事では、グローバルなスポーツエンターテイメントプラットフォームである DAZN が、ライブスポーツストリーミングイベントを自動化するために、軽量でモジュラー式かつ拡張可能なオーケストレーターを構築するために、Amazon Web Services（AWS）の AWS Step Functions をどのように使用したのかをご説明します。DAZN はこのアーキテクチャにより、イベントの分類設定と耐障害性の要件に基づき、ジャスト
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでバッチ処理を実装する際の選択肢とサービス比較
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO
AWS Step Functions: What Can They Be Used For? | Dashbird
新機能 – Step Functions が動的並列処理をサポート | Amazon Web Services
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
Monthly AWS Serverless Update 202010 - Sweet Escape
Serverless Microservices - Saga Transaction - Qiita
AWS Step Functions をゼロからざっくり理解する | DevelopersIO
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
【Serverless】写真のアップロード速度を爆速にした話 - Qiita