Databricks にて 値の前後に空白を含むすべてのカラムを trim する Python関数の作成方法 - Qiita

概要 Databricks にて 値の前後に空白を含むすべてのカラムを trim する Python関数を共有します。 from pyspark.sql.functions import expr def trim_space_values( tgt_df, trim_option='BOTH', ): cur_dtypes = tgt_df.dtypes # `string`のカラムのみを対象とする tgt_cols = [] for tgt_dtyp in cur_dtypes: if tgt_dtyp[1].lower() == 'string': tgt_cols.append(tgt_dtyp[0]) for tgt_col in tgt_cols: case_state = f"trim({trim_option} FROM {tgt_col})" tgt_df = tgt_d