はじめに 新しいジョブタイプ『Python Shell』は、単にPythonスクリプトを実行する目的のジョブです。AWS Glueを使っている人であれば、このありがたみが身にしみて感じるはずです。 AWS Glue での Python シェルジョブの概要 AWS Glue の Python Shell とは Python Shellは、Glueジョブに追加されたジョブの種類の一つです。従来は、Apache Sparkのスクリプトのみでしたが、今回新たにPython Shellが追加されました。 従来のジョブタイプ「Spark」は、Sparkのクラスタを制御して大規模分散処理します。このジョブタイプは、ジョブを起動すると1つのDriverと複数のExecutorが起動され、スクリプトはDriverで実行されます。 新たに追加されたジョブタイプ「Python Shell」は、単にPythonス
![AWS Glue の新しいジョブタイプ『Python Shell』を実際に試してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e53d6610eeae76d0eeadff68fa8f9ae2cdb30b49/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_aws-glue_1200x630.jpeg)