エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS Glueジョブで変換後のファイルが複数出来る際に見るページ - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS Glueジョブで変換後のファイルが複数出来る際に見るページ - Qiita
はじめに AWS Glueジョブ実行後の結果を見ると、複数ファイルが出来てしまいました。 1つでいいんだが!... はじめに AWS Glueジョブ実行後の結果を見ると、複数ファイルが出来てしまいました。 1つでいいんだが!と思い、1つにまとめる方法について調べました。 repartitionをしよう DynamicFrameでもDataFrameでも同じやり方でOKです。 どちらのクラスにもrepartitionという分割し直しをしてくれるメソッドがあり、それを使うことで変換後のファイルもその数で出力してくれます。 自動生成したスクリプトを修正した例を載せておきます。 glueContext.create_dynamic_frame.from_catalog(database = "default", table_name = "data_source", transformation_ctx = "datasource0").repartition(1)