使用数字范围数组创建新列

你可以使用 map 函数使用 lit 内置函数 array 函数作为

df.withColumn("range", array((1 to 100).map(lit(_)): _*))

对于 火花2.2 新功能 typedLit 介绍了在不使用 .map(lit(_)) 在阵列上。从文档中:

此函数与lit的区别在于,此函数可以处理参数化的scala类型,例如list、seq和map。

使用如下:

import org.apache.spark.sql.functions.typedLit

df.withColumn("range", typedLit((1 to 100).toList))

在Spark 2.2.0版中测试了此解决方案

请用这种简单的方法来做同样的事情:

val df = spark.range(5).toDF("id")
df.withColumn("range", lit(1 to 10 toArray)).show(false)

代码输出:

+---+-------------------------------+
|id |range                          |
+---+-------------------------------+
|0  |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
|1  |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
|2  |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
|3  |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
|4  |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
+---+-------------------------------+