可以 dynamic partitionOverwriteMode 有选择地覆盖未划分为Hive风格分区(即不同目录)的拼花文件?在拼花地板中使用行组过滤,可以选择性地忽略拼花地板文件,因为I/O中不可能包含您正在过滤的数据。我想知道 partition重写模式 动态 在选择性覆盖拼花地板文件时,可以利用类似的优化。
dynamic
partitionOverwriteMode
partition重写模式
动态
根据文档,“在动态分区覆盖模式下,操作会覆盖每个分区中的所有现有数据 符合逻辑的 写入操作提交新数据的分区。写入不包含数据的任何现有逻辑分区保持不变。" https://docs.databricks.com/en/delta/selective-overwrite.html#dynamic-partition-overwrites
然而,我不确定逻辑分区在这种情况下意味着什么