Snowflake への ELT ワークフローを AWS Step Functions で実装してみた
こんにちは！シンプルフォームの山岸です。 皆さん、ETL / ELT のワークフローエンジンには何を利用されているでしょうか？ Apache Airflow や、その AWS マネージドサービスである Amazon MWAA を利用されている方も多いかと思います。もしくは TROCCO や Fivetran のようなマネージドなワークフローツールを利用されているかもしれません。 当社では多くのワークフローで AWS Step Functions (SFN) を利用しています。今回、Snowflake への ELT ワークフローを SFN で実装してみたので、本記事ではその内容についてご紹介できればと思います。 背景・課題感 背景 少し前に、「Snowflake × dbt で構築する ELT アーキテクチャ」というタイトルの記事を投稿しました。詳細な説明はそちらに譲りますが、AWS 環境か
Step Functions の新機能「変数」と「JSONata」を AWS と LocalStack で試す - kakakakakku blog
2024年11月22日に AWS Step Functions で新機能「変数 (variables)」と「JSONata」がサポートされた❗️ aws.amazon.com 特に「変数」は待望の機能なんじゃないかな〜と思う．今までは AWS Step Functions でタスク結果を引き回すときにどうしてもバケツリレーが必要で，正直 ResultSelector / ResultPath という構文も難しく（何度書いても忘れてしまう😇）ある程度複雑なワークフローを実装するときはデータシュミレーターがないと無理に思えるほどだった．個人的には AWS Step Functions は動くようになったら最高に便利だけどイメージ通りに実装するまでの過程が結構大変〜というイメージがある💨 Step Functions でタスク結果を引き回すときにバケツリレーするの本当に大変だったし Resu
【AWS】起動方法から考えるStep Functionsでの定期ジョブシステム
概要 AWS の Step Functions といえば簡易に順序だった複数タスクを実行するワークフローを実装できるサービスです。 Amazon States Language という JSON ベースの言語によるワークフローの定義と出来上がるワークフローの抽象化された見た目により実装自体は簡単ですが、起動方法やタスク間でのデータ管理、フロー設計等悩むポイントも度々発生するというのが所感です。 特に最初につまずくポイントとしてワークフローを組む際に起動をどのように行うかということがあります。 定期的にワークフローを実行するにはどの様にワークフローを起動するのか、大規模なジョブシステムを組む際にはどの様に複数ワークフローを連携して起動させていくのか、AWS 外のサービスからワークフローを起動するにはどのように起動するのか等、起動方法について考える点はいくつか挙げられます。 そこで、今回は一般
AWS Step Functionsで、音声ファイルがS3バケットに保存される度にAmazon Transcribeで文字起こしし、内容をメール送信してみた | DevelopersIO
はじめに AWS Step Functionsを利用し、音声ファイルがS3バケットに保存されるたびにAmazon Transcribeで文字起こしを行い、文字起こし内容をメール送信する方法を紹介します。 今回構築する構成は以下の通りです。 処理の流れは以下の通りです。 音声ファイル（WAV）をS3バケットにアップロードする アップロードをトリガーにEventBridgeからStep Functionsステートマシンを起動する 音声ファイルからAmazon Transcribeで文字起こしし、文字起こした内容をAmazon SNSでメール送信する この構成を構築するきっかけは、以前執筆した「Amazon Connectでエージェントの介在がない場合でも電話中の発話を録音する」記事の構成に、録音ファイルに対して文字起こしとメール通知機能を追加する必要が生じたためです。 執筆した記事の構成図は以
AWS Step Functions で同時実行数制御を行う方法
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO
こんにちは、muroです。AWS事業本部 サービス開発室でopswitchの開発・運用を担当しています。opswitchは今年の1月にApache Airflowベースのアーキテクチャから、AWS Step Functionsに移行しました。 今回 re:Invent で Amazon MWAA と AWS Step Functions のそれぞれの長所短所を学ぶセッションがあったので、自身の理解度を確認するために受講してきました。 セッションの概要 タイトル Comparing Amazon MWAA and AWS Step Functions 概要 Organizations looking to orchestrate ETL data pipelines on AWS are looking for tools that best meet their requirements.
![[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
Step Functionsを使って初めてループや分岐をやってみた！ ｜ DevelopersIO
こんにちは。芳賀です。 入社してから３カ月間、オンプレ畑で育ったエンジニアがひたすらAWSと格闘して、初めてサーバレスなアプリケーションを作り、Step Functionsを覚えたので、ちょっとブログにしてみました。 AWS Step Functionsとは？ AWSのサーバレスサービスのLambdaを使った事はあるでしょうか？ サーバレスなLambdaですが、Lambda関数から別なLambda関数を呼ぶ場合にはプログラムコードで次に呼び出すLambda関数名を設定したり、何らかのアクションを間に挟む必要がありました。このため、ちょっとしたカスタマイズでもプログラムの改造が必要になりました。今回、ブログへ書いたAWS Step Functionsを利用すれば、その必要がなくなります。雑な言い方をすれば、個々のLambda関数を簡単につなぐためのAWSサービスになります。 Lambda関数
Step Functionsの動的並列処理をローカルで実行する | フューチャー技術ブログ
はじめにこんにちは、TIG/DXユニット所属の宮永です。 今回はAWS Step Functionsの動的並列処理をローカルで実行する方法をハンズオン形式でまとめました。ソースコードはこちらに格納していますのでご参考にして下さい。 https://github.com/orangekame3/stepfunctions-demo 本記事はPipenv+LocalStackで作るLambda開発環境で作成したLambda関数をベースに実装しています。本記事の実装に取り組まれる方はこちらの記事が参考になると思います。 Step FunctionsとはStep FunctionsとはAWSの各種リソースをオーケストレーションするサービスです。 類似のサービスにAirflow等があります。AirflowとStep Functionsの比較をした多賀さんの記事はとても読み応えたあるのでぜひご覧くださ
Step Functions を利用して感じた Airflow との比較 | フューチャー技術ブログ
サービス比較各サービス別に、Good/Challenge に分けて記載しています。 GoodMWAA Pythonで実現できることは基本すべて実装可能で、実装の制約が少ない UI が充実しており、実行履歴、ログ、実行時間等の様々な情報を参照することが可能 UI 上でワークフローの任意の位置からリトライ可能 各種クラウドSDK/OSS API を呼び出しを簡易化するための provider がサードパーティ提供されている Providers packages reference — apache-airflow-providers Documentation provider を pip でインストール後、各 provider に実装されている operator 関数を呼び出すことで実現可能 Step Functions AWS サービスの呼び出しをローコード(パラメータ指定程度)で実現可能
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
StepFunctionsの入力方法サンプルメモ集 - Qiita