代码之家 › 专栏 › 技术社区 › Enrique Benito Casado

Databricks Pyspark写入增量格式模式覆盖无法正常工作

delta-lake databricks

Enrique Benito Casado · 技术社区 · 1 年前

我有以下代码

以前我有一个三角表 180 中的列 my_path ,我选择一列并尝试覆盖

    columns_to_select = ["one_column"]
    df_one_column = df.select(*columns_to_select)
    df_one_column.write.format("delta").mode("overwrite").option("mergeSchema", "true").save(my_path)
    
    new_schema = spark.read.format("delta").load(my_path).schema
    target_column = [field.name for field in new_schema.fields]
    print(len(target_column)) # return 180

我希望返回1,因为我只从数据框中选择了一列,但返回了180列

1 回复 | 直到 1 年前

Sharma 1 年前

你需要使用 option("overwriteSchema", "True") 写作时

以下是示例

df.write.format("delta").mode("overwrite").save(my_path)
df_first = spark.read.format("delta").load(my_path)
print(df_first.columns, len(df_first.columns))

columns_to_select = ["firstname"]
df_one_column = df.select(*columns_to_select)
df_one_column.write.format("delta").mode("overwrite").option("overwriteSchema", "True").option("mergeSchema", "true").save(my_path) 
df_second = spark.read.format("delta").load(my_path)
print(df_second.columns, len(df_second.columns))

oversiteSchema: https://docs.databricks.com/en/delta/update-schema.html#explicitly-update-schema-to-change-column-type-or-name

推荐文章

Danylo Kuznetsov · 如何在PySpark Rancher中将DataFrame转换为整数?

1 年前

JFlo · 在PySpark笔记本中读取多个Parquet文件

1 年前

Enrique Benito Casado · Databricks Pyspark写入增量格式模式覆盖无法正常工作

1 年前

Patterson · 无法从Visual Studio代码创建用于Databricks的Python控制盘

1 年前

Aaron · Databricks SQL中行到列的动态转换

2 年前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

2 年前

Patterson · 将T-SQL重构为Databricks SQL以从子查询返回结果

2 年前

Desert Spider · 使用多个分隔符拆分sql

2 年前

Idiot · Spark-处理后移动文件

2 年前

Sarath Subramanian · 处理来自cat命令的错误消息

2 年前