代码之家 › 专栏 › 技术社区 › Shankar

对ORC文件进行Spark数据帧分区修剪

orc pyspark-sql partitioning apache-spark-sql

0

Shankar · 技术社区 · 8 年前

我们有一个 DataFrame 具有 Transaction Date 列 timestamp .

当我们把df写为 ORC 我们在事务日期值上应用分区逻辑的文件 (不只是时间戳日期值) ,我们创建了一个单独的字段,仅用于对该字段应用分区。

如果我们用where条件作为事务日期(timestamp)值再次读取ORC文件,它会删除分区吗?

1 回复 | 直到 8 年前

1

2

Ged 8 年前