代码之家  ›  专栏  ›  技术社区  ›  Matthew Thomas

partition覆盖动态和“逻辑”分区

  •  0
  • Matthew Thomas  · 技术社区  · 1 年前

    可以 dynamic partitionOverwriteMode 有选择地覆盖未划分为Hive风格分区(即不同目录)的拼花文件?在拼花地板中使用行组过滤,可以选择性地忽略拼花地板文件,因为I/O中不可能包含您正在过滤的数据。我想知道 partition重写模式 动态 在选择性覆盖拼花地板文件时,可以利用类似的优化。

    根据文档,“在动态分区覆盖模式下,操作会覆盖每个分区中的所有现有数据 符合逻辑的 写入操作提交新数据的分区。写入不包含数据的任何现有逻辑分区保持不变。" https://docs.databricks.com/en/delta/selective-overwrite.html#dynamic-partition-overwrites

    然而,我不确定逻辑分区在这种情况下意味着什么

    0 回复  |  直到 1 年前
    推荐文章