エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【AWS Glue】PySparkでjsonを読み込む際、スキーマ定義を別ファイルで定義しておく方法 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【AWS Glue】PySparkでjsonを読み込む際、スキーマ定義を別ファイルで定義しておく方法 - Qiita
はじめに GlueのDynamicFrameを使わない場合、スキーマを定義してデータを読み込みたいときってあります... はじめに GlueのDynamicFrameを使わない場合、スキーマを定義してデータを読み込みたいときってありますよね。 そんな時、スキーマがめちゃくちゃ長くなると、別ファイルに切り出したくなると思います。 その方法のうちの1つを試したので、共有します。 方法 準備するデータ 実際にロードするjsonのデータsample_data.jsonと、カラム定義ファイルschema.jsonを準備します。 今回は、これらのファイルをS3に格納しています。 {"Name": {"First name": "Taro", "Last name": "Tanaka"}, "Age": 23} {"Name": {"First name": "Hanako", "Last name": "Yamada"}, "Age": 18} {"Name": {"First name": "Ichiro", "Las