如何通过数据帧操作保留分区

这是Spark的一个众所周知的问题。即使您重新分区了数据,Spark也会洗牌数据。

有什么问题

重分区确保每个分区包含关于单个列值的数据。

很好的例子 here

val people = List(
   (10, "blue"),
   (13, "red"),
   (15, "blue"),
   (99, "red"),
   (67, "blue")
)
val peopleDf = people.toDF("age", "color")
colorDf = peopleDf.repartition($"color")

Partition 00091
13,red
99,red

Partition 00168
10,blue
15,blue
67,blue

但是,Spark在后续操作中不记得这些信息。另外,不同分区之间分区的总顺序也不会保持在spark中。i、 Spark知道单个分区有一个分区的数据,但不知道其他分区有同一列的数据。此外,还需要对数据进行排序,以确保不需要无序排列。

你需要使用火花 扣合特征

我找到这个了 Wiki 是非常详细的扣功能。

Bucketing是sparksql中的一种优化技术,它使用bucket和Bucketing列来确定数据分区。

其动机是通过避免参与连接的表的无序(即交换)来优化连接查询的性能。Bucketing导致更少的交换(以及更多的阶段)。