PySparkにて階層されているStructTypeを単一のカラムにフラット化する方法 - Qiita

概要 PySparkにて階層されているStructTypeを単一のカラムにフラットする方法を共有します。 階層されているStructTypeとは、下記のデータフレームのstruct列のことです。 今回紹介するのは、structのカラムをstruct.strintg.in.structという単一のカラムにする方法です。 検証環境 databricks runtime: 8.3.x-cpu-ml-scala2.12 Python version: 3.8.8 pyspark version: 3.1.2.dev0 手順 1. データを準備 json_data =""" { "array":[ { "strintg.in.array": "値①"}, { "strintg.in.array": "値②"}, { "strintg.in.array": "値③"} ], "number":100,