エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
[AWS Glue]SparkとPython Shellのジョブを組み合わせたETLフローを作ってみた | DevelopersIO
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
[AWS Glue]SparkとPython Shellのジョブを組み合わせたETLフローを作ってみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 AWS Glueは、データ変換処理(ETL)をサーバーレスで実装できるAWS... こんにちは、CX事業本部の若槻です。 AWS Glueは、データ変換処理(ETL)をサーバーレスで実装できるAWSサービスです。 AWS Glue - Managed ETL Service - Amazon Web Services 今回は、AWS GlueでSparkとPython Shellのジョブを組み合わせたETLフローを作ってみました。 2つのジョブタイプの違い AWS GlueのジョブにはSparkとPython Shellの2つのジョブタイプがあります。 Sparkタイプは、Apache Sparkを使用したデータの分散処理が可能なため、大規模データのETL処理に向いています。 Python Shellタイプは、Python3.6(または2.7)環境を使用したスクリプトの実行が可能なため、Sparkタイプを使う程ではないがGlueジョブとして実行させたい処理に向いています。