AWS GlueのDynamicFrameの動きを見てみる | DevelopersIOこんにちは、小澤です。 AWS Glueでは、SparkのDataFrameではなく、DynamicFrameというものが使われているようです。 今回はこのDynamicFrameがどのような動きをするのかやGithubで公開されているライブラリからtransform処理が行われた際にどのような動きになっているのかなどをみていきたいと思います。 GitHub - awslabs/aws-glue-libs: AWS Glue Libraries are additions and enhancements to Spark for ETL operations. DynamicFrameとは DynamicFrameについては、公式ドキュメンに記載があります。 DynamicFrame Class - AWS Glue DynamicFrameはAWS Glueで独自に定義されたデータ構造
