2021/09/29 AWS Devday Online Japan 2021の登壇資料です
AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl
2021/09/29 AWS Devday Online Japan 2021の登壇資料です
こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデータ基盤の一部であるBigQuery+StepFunctionsで作ったデータレイクの仕組みについてご紹介します。 内容は、ざっくりとこんな話を書こうと思います。 データ基盤作りに至った経緯 AWS→BigQueryにデータ移送するアーキテクチャのpros&cons StepFunctions+Embulk(Fargate)を利用したデータレイクの仕組み データ基盤作りに至った経緯 コネヒトには大きく分けると2つのデータセットがあります。 DB(Aurora)にあるアプリケーションのデータ(業務データやマスターデー
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO
[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた Control Tower上でよく初期セットアップとして利用される機能をStepFunctionsからまとめて実行する仕組みをCDKで実装してみました。 リポジトリはこちら。あくまでサンプルなので、ご利用の環境に合わせてカスタマイズしながらご利用ください。 前提 Control Tower有効化済み Security HubのOrganizations統合で新規アカウントの自動有効化が設定されている 構成 EventBridgeでControl Towerのアカウント発行イベント(ライフサイクルイベント)を取得して、ターゲットとして指定したステートマシンを実行します。 ステートマシン内はLambdaが複数タスクとして定義されていて、各Lambda内で新規アカウン
![[AWS CDK]Control TowerのアカウントセットアップをStepFunctionsから実行するフローを実装してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1486b2da4d87633e58aebde2114c02dc06f61935/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-control-tower.png)
サーバレスアーキテクチャーを AWS CDK で作ってみた #AppSync #StepFunctions | DevelopersIO
韓国のAWSイベントで登壇した内容を日本語で共有します。主に 分散トランザクションと AWS CDK で Step Functions と AppSync をデプロイしたコードについて話させて頂きます。 こんにちは！コンサル部のテウです。 先週末に韓国のAWSイベント AWS Community Day Online 2020 に登壇しました。 セッションの内容は、今年の3月にブログ登壇させて頂きました JAWS DAYS 2020 での以下の記事とほぼ一緒ですが、 API Gateway をメインAPIエンドポイントとして利用する既存のアーキテクチャーに変化をかけ、GraphQL ベースの AWS AppSync をメインAPIエンドポイントとして利用することにしました。なお、全ての AWS リソースを AWS CDK でデプロイすることで、サーバーレスアーキテクチャー開発時に参考になれ
【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります | DevelopersIO
皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [StepFunctions.1] Step Functions ステートマシンではログ記録が有効になっている必要があります [StepFunctions.1] Step Functions state machines should have logging turned on 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説明 このコントロールは、AWS Step
![【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba983f76286d716c33249c5cd7c5d87259ff98a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-security-hub.png)
[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO
こんにちは、平野です。 StepFunctionsを使っていて、ステート間を流れていく変数を追っていたんですが、 ParametersとかResultPathって、何度理解したと思っても忘れてしまうんですよね。 出来るだけわかりやすい一覧の図にできればいいなぁ、と思ったので作ってみました。 その過程で理解もだいぶ深まったので自分的には決定版になったかなと思います。 取り上げる範囲 取り上げる機能 今回取り上げる機能は以下の4つのみです。 ので、かなり基本的なことしか解説していません。 InputPath OutputPath ResultPath Parameters 説明に使用するステート StepFunctionsのステートにはいくつかの種類がありますが、 今回はLambda関数を呼ぶTaskステートを使って説明します。 これは、Lambdaは使ったことがある人も多いだろうし、一番わか
![[StepFunctions]ParametersやらResultPathやら…。ステート間のパラメータ受け渡しって結局どうなってるの？を１つの図にしてみた。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
StepFunctions の Waitステートによる Lambda の遅延実行 | DevelopersIO
渡辺です。 こういった小技、意外と検索しても出てこないですね。 一定時間または特定日時に処理を実行したい Lambdaを 定期実行 するには、cronのように設定できる CloudWatch Eventsが便利です。 一方、 特定時間後 、もしくは 特定日時 に 1回だけ Lambdaを実行したいこともあります。 例えば、注文を受けて一定時間後に自動キャンセル、ブログの時限投稿などです。 このようなユースケースでは、Step Functions の Waitステートがベストです。 Wait ステート Step FunctionsのWait ステートは、名前の通り、待機状態を作るステートです。 実行がWait ステートの時、料金は一切かかりません（厳密には状態遷移に料金はかかるが、1,000 回の状態遷移あたり 0.025 USD）。 待機時間は、最大で約1年待機することができます（厳密には
CircleCI + AWS(StepFunctions)でmigrationの成功を待つ - Qiita
commands: start_migration: parameters: state_machine: { type: string } steps: - aws-cli/setup - run: name: Start State machine command: | EXECUTION_ARN=$(aws stepfunctions start-execution \ --state-machine-arn arn:aws:states:${AWS_DEFAULT_REGION}:${AWS_ECR_REGISTRY_ID}:stateMachine:<< parameters.state_machine >>\ | jq -r ".executionArn") STATUS="RUNNING" while [ "$STATUS" = "RUNNING" ] do echo "実行
StepFunctionsのPassステートでできることを整理してみました。 既存のパラメータをすべて捨てて、Passステートで返す新たな値だけを使う Resultフィールドで新たな値を定義するだけです。シンプル。 ステートマシンの定義 { "StartAt": "PassTest", "States": { "PassTest": { "Type": "Pass", "Result": { "Fuga": "FugaValue" }, "End": true } } } 入力 { "Hoge": "HogeValue" } 出力 { "Fuga": "FugaValue" } 既存のパラメーターを残したまま、Passステートで新たな値を追加する ResultPathフィールドで新たな値の位置を指定すれば、他の場所には既存のパラメーターが残ります。 ステートマシンの定義 { "StartA
StepFunctions 導入を悩んでいる方必見！StepFunctions の概要・メリットデメリットをエキスパートがまとめます😎！ | Ragate ブログ
StepFunctions 導入を悩んでいる方必見！StepFunctions の概要・メリットデメリットをエキスパートがまとめます😎！ こんにちは！ サーバーレスの導入相談が増えている昨今、Step Functions に関する開発相談が増えてきています。本記事では Step Functions について、概要からその用途や使い方、メリットやデメリットをまとめてご紹介します。 想定する読者 Step Functions の導入を迷っているヒトStep Functions について詳しく知りたいヒト はじめに Step Functions は、Finite-State Machine (FSM) モデルを使用する AWS 管理下のサービスです。 Finite State Machines は、理論計算機科学のモデルを元にしたソフトウェアシステムのワークフローをモデル化（可視化）する方法で
CloudWatchEvents (EventBridge) + StepFunctionsを使ったCron処理で同時起動を防ぐ方法 - Qiita
CloudWatchEvents (EventBridge) + StepFunctionsを使ったCron処理で同時起動を防ぐ方法AWSDynamoDBlambdaCloudWatchEventsstepfunctions コンテナ化やサーバレス化が進み、従来実装していた方法が通用しない場面が出てきています。 その代表的なものの一つがバッチ処理です。 従来はバッチ処理を行うサーバが存在し、crontabコマンドで設定などを行っていました。 しかしコンテナ化、サーバレス化の影響でバッチサーバというものは存在しなくなります。 AWS上でサーバレスなバッチ処理システムを構築するための方法の一つにCloudWatchEvents（最近、EventBridgeになりました。以下CWEと略します）を利用する方法があります。 しかし、このCWEにはイベントが多重に発生するという仕様があります。なお、K
StepFunctionsを使って大容量データを捌く🥳🎉🎉 - KAKEHASHI Tech Blog
すっかり秋めいてきましたね🍁 プラットフォームチームの石黒です。 我々プラットフォームチームでは、顧客向けのアカウント管理機能を提供しています。その中にはユーザーの新規登録機能もあるのですが、薬局の規模が大きくなるにつれ所属する薬剤師の数も増えるということで、ユーザー管理にかかるお客様の時間を少しでも減らすべく、CSVでユーザーを大量登録できる「ユーザー一括登録機能」を提供しています✨ CSVでのデータ取り込みは業務用システムでは馴染みのある機能かと思いますが、サーバーレスで実現しようとするとなかなか難しく、躓きポイントがたくさんありました。。 その中でも、大容量データを扱うためのアーキテクチャについて工夫したことと直面した問題をご紹介します！ 実現したいこと プロダクトマネージャーと相談して決めた要件は、大まかに以下の3つになりました。 ① ユーザーがCSVファイルをアップロードできる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
家族ノートを支えるBigQuery+StepFunctionsで作るデータレイク - コネヒト開発者ブログ
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
StepFunctionsのPassステートでできることあれこれ | DevelopersIO