数组列的spark聚合

我有一个带有数组列的数据帧。

val json = """[
{"id": 1, "value": [11, 12, 18]},
{"id": 2, "value": [23, 21, 29]}
]"""

val df = spark.read.json(Seq(json).toDS)

scala> df.show
+---+------------+
| id|       value|
+---+------------+
|  1|[11, 12, 18]|
|  2|[23, 21, 29]|
+---+------------+

现在我需要对value列应用不同的聚合函数。 我可以打电话 explode groupBy

df.select($"id", explode($"value").as("value")).groupBy($"id").agg(max("value"), avg("value")).show

+---+----------+------------------+
| id|max(value)|        avg(value)|
+---+----------+------------------+
|  1|        18|13.666666666666666|
|  2|        29|24.333333333333332|
+---+----------+------------------+

这里让我困扰的是,我将我的数据帧分解成一个更大的数据帧,然后将其还原为原来的调用 groupBy公司 .

有没有更好(即更有效)的方法来调用数组列上的聚合函数?也许我可以实现自定义项,但我不想自己实现所有聚合自定义项。

编辑。某人引用 this SO question size 工作正常吗

scala> df.select($"id", size($"value")).show
+---+-----------+
| id|size(value)|
+---+-----------+
|  1|          3|
|  2|          3|
+---+-----------+

avg 或 max 不要工作。