マッハバイトのモノリシックなアプリケーションをオンプレからAWSに移行しました - LIVESENSE ENGINEER BLOG
移行の背景 どんなアプリケーションを移行したのか 移行後の構成 移行で直面した課題 認証・認可機構が複雑になっている 処理に時間がかかるエンドポイントがあり、ALBのIdle Timeoutのデフォルトでは足りなかった 非同期処理用のdelayed_jobのワーカーがバッチサーバー上で起動している AWS移行による副次的な効果 おわりに 移行の背景 インフラストラクチャーグループの @mom0tomo です。ここ2年ほど、マッハバイトのクラウド移行に取り組んでいます。 リブセンスでは長年データセンターを借りてオンプレミスでサーバーを運用してきました。ただ最近のクラウド化の流れを受け、いくつかのサービス（転職会議や転職ドラフトなど）はオンプレからクラウドへ移行し、また新規事業であるknewやbatonnなどは、初めからクラウドサービスを利用しています。 しかし、創業期からの歴史のあるマッハバ
AWS Step Functionsのワークフローへ承認フローを追加する方法(AWS Systems Manager Automation編) - NRIネットコムBlog
小西秀和です。 AWSで承認フローの機能を提供するサービスにはAWS Systems Manager AutomationやAWS CodePipelineの承認アクションなどがあります。 今回はこれらのうち、AWS Systems Manager Automationの承認アクションを使用してAWS Step Functionsのワークフローへ承認フローを追加する方法を試してみたいと思います。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修正することもありますのでご了承ください。 今回の記事の内容は次のような構成になっています。 本記事で試す構成図 AWS CloudFormationテンプレートとパラメータの例 AWS CloudFo
本番環境のデータをマスクしてステージング環境に自動同期する仕組みを作りました【AWS CDK/SDK】1 ~CDK編~
この記事は以下Advent Calendarの記事です。 AWS CDK Advent Calendar 2021 - 12月9日 airCloset Advent Calendar 2021 - 12月9日 はじめに 株式会社エアークローゼットでエンジニアをしている三好 @miyomiyo344_ です。 本番環境のデータをマスクしてステージング環境に自動同期する仕組みを作った話しです。 長編になりそうなので3部作に分けようと思います。 第1部ではAWS CDKで全体の構成を構築したところを書いています。 第2部: 本番環境のデータをマスクしてステージング環境に自動同期する仕組みを作りました【AWS CDK/SDK】2 ~SDK編前半~ 第3部: 本番環境のデータをマスクしてステージング環境に自動同期する仕組みを作りました【AWS CDK/SDK】3 ~SDK編後半~ 目的 なぜ本番環境
おやつのサブスクリプションサービス・「snaq.me」 司会者：では、続きまして、株式会社スナックミーCTO & co-founderの三好さんにご登壇いただきます。では、よろしくお願いします。 三好隼人氏（以下、三好）：これから、「AWS Step Functionsによるおかしのアサインシステム」について発表させていただきます。スナックミーの三好と申します。よろしくお願いします。 スナックミーについて簡単にご紹介させていただきたいと思います。スナックミーとは、Real Foodで作った、おいしくてカラダに優しい、一人ひとりにカスタマイズしてお届けするサブスクリプションのサービスです。よく最近耳にすると思うんですけど、B2Cの会社です。 特徴の1つとして、製造から発送の準備まで一貫して行っている点があります。 どうやってカスタマイズするかといいますと、ユーザーからフィードバック、評価やリ
Amazon EventBridgeルールでAWS Step Functionsステートマシンを定期実行する | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、Amazon EventBridgeルールでAWS Step Functionsステートマシンを定期実行してみました。 Amazon EventBridgeとは Amazon EventBridge は、コードを作成せずに、AWS のサービス、独自のアプリケーション、サービス型ソフトウェア (SaaS) アプリケーションのデータの変更にリアルタイムにアクセスできるサービスです。使用を開始するには、Amazon EventBridge コンソールでイベントソースを選択し、AWS Lambda、Amazon SNS、Amazon Kinesis Data Firehose といった数々の AWS のサービスの中からターゲットを選択します。Amazon EventBridge により、イベントがほぼリアルタイムで自動的に送信されます。
[AWS Step Functions / AWS CDK] 任意のJavaScript表現を実行できるEvaluateExpressionタスクを使って文字列置換をしてみた | DevelopersIO
[AWS Step Functions / AWS CDK] 任意のJavaScript表現を実行できるEvaluateExpressionタスクを使って文字列置換をしてみた こんにちは、CX事業本部 IoT事業部の若槻です。 今日もいつものようにAWS Step Fucntionsのドキュメントやソースコードを見ていたところ、EvaluateExpressionなるものを見つけました。 class EvaluateExpression (construct) · AWS CDK 内容を見てみると、なんと任意のJavaScript表現を実行できるタスクのようです...！！！ そこで今回は、EvaluateExpressionタスクを使って文字列置換を行うステートマシンを実装してみました。 やってみた 実装 AWS CDK v2（TypeScript）で次のようなCDKスタックを作成します。
StepFunctionsを用いてBIツール用のAthena集計テーブルを1日1回更新していますが、実行結果をSlackで知りたいと思いました。 以下のような形で機能を作ってみたので、構成までの手順を書こうと思います。 設定 Slack まずはincoming-webhookアプリを設定します。 設定方法はこちらのページを見ていただければと思います。 通知対象としたい「チャンネル名」「チャンネルID」と「Webhook URL」をメモします。 SNS AWSコンソールで「Simple Notification Service」を開きます トピック→トピックの作成でトピックを作ります。 タイプ スタンダート 名前 お好きな名前 として、トピックを作成します。 Lambda AWSコンソールで「Lambda」を開きます 関数→関数の作成から関数を作ります 関数名 お好きな名前 ランタイム Py
キーワード検索をリプレイス&独立した検索サービスを立ち上げた - nakamura244 blog
はじめに ようやく、ユーザ向けにリリースが終わった様子なのでここで一つまとめておこうと思います。 どこの部分をリプレイスしたのか？ この部分です PC SP おことわり フロントのHTMLの組み込みのところは別のチームのエンジニアにお願いしていて、自分はバックエンド側のみになります 今までの課題感や要件的なもの 今まではmysqlのLike検索だった。サービスが成長して、Like検索だとSlow Queryが多く出はじめたでこれを対応したい mysqlのチューニングやプラグインで対応していく方向性でも出来ないことはないと思うけど、手数がいるし、スケール難易度が上がるのでその方向性はやめたい feed検索サービスとして、既存のシステムからなるべく切り離して独立性を保って運用していきたい マイクロサービス化の流れですね〜 せっかく、新しくするのなら、サジェストとかは入れたいな〜 対応チーム 自
こんにちは、メディアサービス開発部サービス分析課の佐藤です。推しTRPGはD&D5版です。今年4月に入社し、事業横断データ基盤を構築しています。 今回はブックウォーカー社内でデータ基盤を構築するにあたって身につけたAWS関連の知識、主にRDSのexport snapshot to S3、Glue Job、AWS Serverless Application Model （以下SAMと略します）周りについて書いていきます。 背景 手法1. 定期的なデータ抽出 手法2. 外部接続 手法3. Change Data Capture システム構成の詳細 Export Snapshot to S3 AWS Glue Job Step FunctionsとEvent Bridge SAMとCI/CD 最終成果物とシステム運用 課題 parquetのデータ型 データの更新頻度 最後に 背景 株式会社ブッ
AWS CDKで既存のASLファイルを使ってStep Functionsをデプロイする | DevelopersIO
「AWS CDKで既存のASLファイルを使ってStepFunctionsをデプロイしたい」 「既存のASLファイルを活かしつつAWS CDKでStep Functionsをデプロイしたいけど、L2 ConstructのStateMachineではファイルを渡せなさそう。」 ということがあり、少し調べたのでブログにします。 結論: L1 Construct(CfnStateMachine)を使えばできる。 // 結論部分の抜き出し // コード全文はブログ中にあります const file = fs.readFileSync('./step-functions/HelloWorld.asl.json') new stepfunctions.CfnStateMachine(this, 'HelloWorldStateMachine', { definitionString: file.toSt
CircleCI + AWS(StepFunctions)でmigrationの成功を待つ - Qiita
commands: start_migration: parameters: state_machine: { type: string } steps: - aws-cli/setup - run: name: Start State machine command: | EXECUTION_ARN=$(aws stepfunctions start-execution \ --state-machine-arn arn:aws:states:${AWS_DEFAULT_REGION}:${AWS_ECR_REGISTRY_ID}:stateMachine:<< parameters.state_machine >>\ | jq -r ".executionArn") STATUS="RUNNING" while [ "$STATUS" = "RUNNING" ] do echo "実行
迅速にクラウド上へ変更を反映出来る、AWS SAM Accelerateがパブリックプレビューになりました | DevelopersIO
迅速にクラウド上へ変更を反映出来る、AWS SAM Accelerateがパブリックプレビューになりました いわさです。 SAM CLIにSAM Accelerateというベータ機能が公開されました。 本日は以下のAWSブログを触ってみて、今までと比べて何が違うのかなどをまとめてみました。 最初に、まとめ いままで AWS上でSAMを実行・テストする場合に、sam buildとsam deployを行う必要がある 開発とテストを繰り返すフェーズにおいて、上記のビルドとAWSへのデプロイの時間はボトルネックになる 上記開発サイクルを効率的に循環させるためにSAMにはsam localというローカル実行機能を使うことが出来る 今回のアップデート 今回のベータ機能ではビルドとAWSへのデプロイを効率的に繰り返すことが出来るオプションが用意された sam syncを使って、samconfig.to
[AWS Black Belt Online Seminar] AWS Batch 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS Batch 資料及び QA 公開 先日 (2019/9/11) 開催しました AWS Black Belt Online Seminar「AWS Batch」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190911 AWS Black Belt Online Seminar AWS Batch AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS Batch と Amazon ECS、AWS Fargate の使い分けについて教えて下さい。 A. AWS Batch では内部的に Amazon ECSを使用しつつ、キューイングされた計算処理を順次実行していくようなバッチコンピューティング環
![[AWS Black Belt Online Seminar] AWS Batch 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/1c83c4654ab91f4c90657ddeda6041c25631a1c9/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F10%2F02%2FThumbnail-1120x630.png)
[アップデート]Step FunctionsでAWS PrivateLinkがサポートされました | DevelopersIO
Step Functionsにアップデートがあり、PrivateLinkがサポートされました！ AWS Step Functions now supports AWS PrivateLink これにより、AWSサービスからパブリックインターネットを経由せずにAWS Step Functionsにアクセスできるようになりました。AWS Step Functionsが利用可能なリージョンでサポートされているので、早速試してみたいと思います。 やってみた 事前確認 VPCエンドポイント経由での確認の前に、インターネットへの経路をもたないプライベートサブネット上のEC2から、ステートマシンを実行してみたいと思います。 ステートマシン実行のインプット等は指定せず以下のコマンドを実行しました。 [ec2-user@ip-172-31-89-176 ~]$ aws stepfunctions start
AWS Step Functionsステートマシンからステートマシンを実行する際に両実行を紐付けてトレースしやすくする（AWS CDK v2） | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step Functionsステートマシンからステートマシンを実行する際に両実行を紐づけてトレースしやすくしてみました。 やってみた 実装 AWS CDK v2（TypeScript）で2つのステートマシンリソースの作成を行います。次のようなCDKスタックで実装をします。 lib/process-stack.ts import { Construct } from 'constructs'; import { aws_stepfunctions, aws_stepfunctions_tasks, Stack, StackProps, Duration, } from 'aws-cdk-lib'; export class ProcessStack extends Stack { constructor(scope: Con
[レポート] 診断員と考えるサーバーレスアプリケーションのセキュリティ #devio2022 | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 この記事では、2022年7月19日〜29日開催の技術カンファレンス「DevelopersIO 2022」で公開されたセッション動画『診断員と考えるサーバーレスアプリケーションのセキュリティ #devio2022』をレポートします。 「DevelopersIO 2022」では今回ご紹介する動画以外にもたくさんのセッション動画が投稿されました。ご興味のある方は是非ご覧ください。↓ 動画 目次 00:00 導入 04:35 サーバーレスとは？ 07:21 サーバレスのセキュリティってどうしたらいいんだっけ？ 12:23 FaaSをセキュアに実装する 15:47 クラウドサービスをセキュアに設定する 19:33 クラウドサービスをセキュアにつなげる 25:11 まとめ セッション概要 サーバーレス（FaaS）アプリケ
![[レポート] 診断員と考えるサーバーレスアプリケーションのセキュリティ #devio2022 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/aabf3c59736ed8a9f3f2268b58169497882151d7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fierae_logo_eyecatch.png){kind=logo}
[アップデート]Step FunctionsでCodeBuild統合がサポートされました | DevelopersIO
Step Functionsにアップデートがあり、AWS CodeBuildとの統合がサポートされました！早速試してみたいと思います。 Step FunctionsでCodeBuildとの統合がサポートされました。 Announcement: AWS Step Functions now supports AWS CodeBuild service integration 今回のアップデートにより、Lambda Functionsなどを介さず直接、CodeBuildの制御が行えるようになります。ここでは、統合でサポートされている操作の一部（StartBuild）を試してみたいと思います。 事前準備 以下ドキュメントをベースに、CodeBuild（ビルドプロジェクト）を作成しました。 Getting started with AWS CodeBuild using the console や
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS Systems Manager Automation編) - NRIネットコムBlog
小西秀和です。 以前書いた次の記事でAWS Systems Manager Automationの承認アクションを使用してAWS Step Functionsのワークフローへ承認フローを追加する方法を試してみました。 AWS Step Functionsのワークフローへ承認フローを追加する方法(AWS Systems Manager Automation編) 今回はこのAWS Step Functionsの承認フローをコンポーネント化し、別のAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法を試してみたいと思います。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修正することもありますのでご了承く
Deploying state machines incrementally with versions and aliases in AWS Step Functions | Amazon Web Services
AWS Compute Blog Deploying state machines incrementally with versions and aliases in AWS Step Functions This post is written by Peter Smith, Principal Engineer for AWS Step Functions This blog post explains the new versions and aliases feature in AWS Step Functions, allowing you to run specific revisions of the state machine instead of always using the latest. This allows for more reliable deploym
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） | DevelopersIO
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step FunctionsステートマシンからAmazon DynamoDBテーブルに対して26件以上のUpdateItem操作を行う構成をAWS CDKで作成してみました。 TransactWriteItemsで一度に更新処理できる件数は最大25件 以前の下記エントリでは、ステートマシンからDynamoDBテーブル上の複数アイテムのUpdateItemをTransactWriteItemsを使って行いました。 Step FunctionsステートマシンからDynamoDBテーブル上の複数のアイテムをUpdateItemしたい（AWS CDK） | DevelopersIO しかしこ
【アップデート】AWS Security Hub のセキュリティ標準に新たに6個のチェック項目が追加されました(2023/6/6) | DevelopersIO
AWS Certificate Manager [ACM.2] RSA certificates managed by ACM should use a key length of at least 2,048 bits 重要度：High Configルール: acm-certificate-rsa-check AWSドキュメント： https://docs.aws.amazon.com/securityhub/latest/userguide/acm-controls.html#acm-2 概要： ACMによって管理される RSA 証明書が少なくとも 2,048 ビットのキー長を使用しているかどうかをチェックします。キー長が 2,048 ビット未満の場合、違反となります。 暗号化の強度はキー長のサイズと直接関係があるため、AWSリソースを保護するためにキー長は少なくとも2,048ビットに
AWS Step Functionsで起動ソースのEventBridge Ruleに応じて処理を分岐させる（AWS CDK v2） | DevelopersIO
AWS Step Functionsで起動ソースのEventBridge Ruleに応じて処理を分岐させる（AWS CDK v2） こんにちは、CX事業本部 IoT事業部の若槻です。 最近の業務で、実行された時間によって処理を分岐させるAWS Step FunctionsのState Machineを作りたいことがありました。 そのState MachineはEventBridge RuleのCronスケジュールを起動ソースとしていたため、分岐させたい時間毎にRuleを分けて、起動ソースのRuleに応じてState Machine内で分岐がさせられないか？と考えました。 そこで今回は、AWS Step Functionsで起動ソースのEventBridge Ruleに応じて処理を分岐させる実装をAWS CDK v2で作ってみました。 やってみた 実装 AWS CDK v2（TypeScri
Introducing Amazon Neptune Serverless – A Fully Managed Graph Database that Adjusts Capacity for Your Workloads | Amazon Web Services
AWS News Blog Introducing Amazon Neptune Serverless – A Fully Managed Graph Database that Adjusts Capacity for Your Workloads March 2, 2023: Post updated because Amazon Neptune Serverless now scales down to 1 NCU to save costs. Amazon Neptune is a fully managed graph database service that makes it easy to build and run applications that work with highly connected datasets. With Neptune, you can us
AWS CDKでStep FunctionsステートマシンのRemoval policyを設定できるようになっていました | DevelopersIO
こんにちは、CX事業本部 Delivery部の若槻です。 AWS CDKのリリース履歴を見ていたところ、v2.66.0でAWS Step Functionsステートマシンの削除ポリシー（Removal policy）を設定できるようになっていることに気が付きました。 Features - stepfunctions: removal policy for state machines (#24105) (5f33a26) 対応はこちらのPull Requestでなされたようです。 何が嬉しいのか Step Functionsのステートマシンを削除（物理削除）すると、そのステートマシンの実行履歴（Execution histories）も合わせて削除される挙動となります。 そのため削除ポリシーを設定することにより、、「ステートマシンのリソースをCDK（CloudFormation）スタックの
Amazon GuardDuty ECS Runtime Monitoringで脅威を検出したECSタスクを自動停止してみた | DevelopersIO
こんにちは。AWS事業本部トクヤマシュンです。 先日、Amazon GuardDuty ECS Runtime Monitoringが発表されました。 詳細は下記エントリでまとめてますのでご参照ください。 本機能はECSのランタイムセキュリティに関する脅威の発生をGuardDutyで検知する、というものでした。 ただ、検知するだけではなく防御もしたい、という方もおられるのではないでしょうか？ そこでECS Runtime Monitoringで脅威を検出したECSタスクを自動停止する仕組みを構築しましたので、本エントリで紹介します。 構築の前提 構築にあたり、下記を前提としています。 Amazon GuardDuty ECS Runtime Monitoringを東京リージョンで有効化し、脅威検出が可能な状態になっている 有効化方法はこちらのアップデートブログをご参照ください。 ECSタス
Build workflows for Amazon Forecast with AWS Step Functions | Amazon Web Services
AWS Compute Blog Build workflows for Amazon Forecast with AWS Step Functions This post is written by Péter Molnár, Data Scientist, ML ProServe and Sachin Doshi, Senior Application Architect, ProServe. This blog builds a full lifecycle workflow for Amazon Forecast to predict household electricity consumption from historic data. Previously, developers used AWS Lambda function to build workflows for
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS CodePipeline ＆ Amazon EventBridge編) - NRIネットコムBlog
小西秀和です。 本題に入る前にSNSで反応があったので、本当は記事を一通り書いてからまとめで書く予定でしたが、多段階の承認フローのシステム化に関して書いている意図をこちらで説明しておきます。 承認フローについて記事を書き始めた背景にはChatGPT(GPT-4)の登場があります。 個人的には人間がおこなう不要な多段階の承認フローはなくすべきだと考えています。 ただ、一方で承認フローは承認に必要な知識、分析能力、権限をもつ者が意思決定をおこなえる最後の砦であるとも言えます。 そのため、次のような考えから現在、人間がアナログベースでおこなっている承認フローはAPIが介入できる形でシステム化するべきではないかという実験的な意図で多段階の承認フローに関する記事を書いています。 承認フローをAPIが介入できる形でシステム化すれば人間でもChatGPTでも意思決定のステップを柔軟に切り替えられる 最初
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
Step Functionsステートマシンの実行のイベントソースをコマンドで確認する | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step Functionsステートマシンの実行のイベントソースをコマンドで確認する方法のご紹介です。 確認してみた AWS Step Functionsステートマシンは、手動実行、EventBridgeルール、S3イベントなど様々なイベントソースから実行できます。マネジメントコンソールからであれば[Execution Input]タブから確認できます。下記だとEventBridgeルールから実行されていることが分かります。 一方で、イベントソースをプログラムなどからコマンドで確認したい場合はDescribeExecution APIを使用する必要があります。 DescribeExecution - AWS Step Functions まずステートマシンの実行のArnであるexecutionArnをAWS CLIのste
New: Improved flexibility when configuring endpoint URLs with the AWS SDKs and tools | Amazon Web Services
AWS Developer Tools Blog New: Improved flexibility when configuring endpoint URLs with the AWS SDKs and tools The AWS SDKs and Tools team is excited to announce improvements for configuration of the endpoint URL used for API service requests through the shared SDK configuration file and environment variables with the AWS SDKs and Tools. Previously, you could specify the endpoint URL used for AWS r
AWS Step Functionsで実行履歴をCloudWatch Logsに記録してみた（AWS CDK v2） | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 AWS Step Functionsでは、State Machineの実行履歴で各State TransitionのEventを確認することができます。 しかしこのState Machineの実行履歴は、保持期間は最大90日間となります。（Standard Workflowの場合） service-limits-state-machine-executions - Quotas - AWS Step Functions 90 days. After this time, you can no longer retrieve or view the execution history. There is no further quota for the number of closed executions that Step Functi
AWS Step Functions Express WorkflowをAWS CDKで作ってみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 AWS Step FunctionsのWorkflowには、STANDARDとEXPRESSの2種類があります。 Standard vs. Express Workflows - AWS Step Functions 既定のSTANDARDは非同期実行ですが、EXPRESSは同期実行となり、Workflowを同期的に呼び出して出力を取得することができます。 今回は、AWS Step Functions Express WorkflowをAWS CDKで作ってみました。 やってみた 環境構築 AWS CDK v2（TypeScript）で次のようなCDKスタックを作成します。 lib/cdk-app-stack.ts import { Construct } from 'constructs'; import { aws_stepfunct
Amazon Web Services ブログ AWSの機械学習を活用したライブ・放送ビデオモニタリングの自動化 放送およびオーバーザトップ（OTT）ライブストリームのサービスプロバイダーは、大量コンテンツの品質チェックを行う必要があります。品質チェックの範囲は、低レベルの信号エラーからコンテンツ自体のエラーなど高レベルの問題にまで至ります。従来のライブメディア解析ソフトウェアは、ETSI TR 101 290 プライオリティチェック1および2など、信号レベルでの品質チェックに重点を置いています。番組内容、字幕、音声言語の検証など、より高レベルな品質チェックは、放送ストリームで問題がないか人間のオペレーターによって常にモニタリングが行われています。放送ビデオストリームの数が増加するにつれて、追加のチャンネルや番組をサポートするために、手動のモニタリング作業をスケールすることは困難であり、コ
Orchestrating Amazon S3 Glacier Deep Archive object retrieval using AWS Step Functions | Amazon Web Services
AWS Compute Blog Orchestrating Amazon S3 Glacier Deep Archive object retrieval using AWS Step Functions This blog was written by Monica Cortes Sack, Solutions Architect, Oskar Neumann, Partner Solutions Architect, and Dhiraj Mahapatro, Principal Specialist SA, Serverless. AWS Step Functions now support over 220 services and over 10,000 AWS API actions. This enables you to use the AWS SDK integrati
これはなに？ EC2やLambdaなどのリソース情報をCSV形式で取得するAWS CLIコマンド群。 コスト削減を目的としてデータ集めていたので、課金に関連するパラメータが多いです。 実行環境はWindows。 目次 これはなに？ 目次 実行環境 コマンドリスト EC2 EBS EBS スナップショット Lambda Glue Jobs CloudWatch Logs CloudWatch Events S3 Stepfunctions ステートマシン Cost IAM User github 実行環境 Microsoft Windows 10 Pro jqコマンド コマンド内では、 ”jq” で実行できるようにしています。環境に合わせて読み替えてください。 以下から実行ファイルダウンロードできます。 jq コマンドリスト --profile <your_profile_name> の箇所
AWS Control Tower でアカウント作成する際の AWS SSO への権限セット割り当てを自動化してみた | DevelopersIO
AWS Control Tower のアカウント発行イベントを利用して、AWS SSO 権限セットの自動割り当てをやってみました。 こんにちは、大前です。 AWS Control Tower を利用してマルチアカウント環境を管理している場合は AWS SSO もセットで利用する事になりますが、Control Tower が自動的に割り当てる権限セットやグループの他に独自の権限セットやグループを割り当てたい場合、現状は AWS アカウントが追加されるたびに手動で実施する必要があります。 AWS Single Sign-On によるユーザーとアカウントの管理 - AWS Control Tower AWS アカウント毎に割り当てる権限が異なる部分については都度手動作業が必須とは思いますが、例えば全アカウントに対して閲覧権限をもつ権限セット/グループを適用したい場合などは、AWS アカウントが作
AWS API GatewayのWeb Socket機能を使ってAmazon Athenaのクエリ結果を非同期にReactで受け取る
はじめに おはようございます、加藤です。API GatewayとLambdaを使ってサーバーレスなWeb APIを構築していると、バックエンドに時間がかかる処理をさせたい時にAPI Gatewayのタイムアウトである29秒が障壁になることがあります。また、タイムアウトに収まるとしても長時間レスポンスを返さず拘束してしまうことはユーザー体験の観点で好ましくありません。 この課題をAPI GatewayのWeb Socket機能とStep Functionsを使って解決するアーキテクチャを検討してみました。 前提 AWS CDKを使って環境構築を行います。CDKの書き方及びデプロイ方法について本記事では説明しません。 Node.js(TypeScript)を使用してWeb APIを構築します。React(TypeScript)を使用してフロントエンドを構築します。フロントエンドは動作を確認する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
おやつのサブスクリプションサービス「snaq.me」のサービス解約率を下げる仕組み
【AWS】Step Functionsの実行結果をSlackへ通知する - Qiita
いくつものDBからデータをかき集めるには - BOOK☆WALKER inside
AWSの機械学習を活用したライブ・放送ビデオモニタリングの自動化 | Amazon Web Services
AWS CLIでAWSリソース情報をCSV形式で取得する - 雲のメモ帳