Spark scala数据框udf返回行

自spark 2.0以来,您可以创建返回 Row / Seq[Row] ,但必须为返回类型提供架构,例如,如果使用一个double数组:

val schema = ArrayType(DoubleType)

val myUDF = udf((s: Seq[Row]) => {
  s // just pass data without modification
}, schema)

但我真的无法想象这在哪里有用,我宁愿从UDF返回元组或case类(或其Seq)。

编辑:如果您的行包含22个以上的字段(元组/case类的字段限制),则该选项可能很有用

这是一个老问题,我只是想根据Spark的新版本进行更新。

自从Spark 3.0.0以来,@Raphael Roth提到的方法就被弃用了。因此,您可能会得到 AnalysisException 。原因是使用此方法的输入闭包没有类型检查,并且当涉及到 null 价值观

如果你真的知道自己在做什么,你需要 spark.sql.legacy.allowUntypedScalaUDF 配置到 true 。

另一个解决方案是使用 case class 而不是架构。例如

case class Foo(field1: String, field2: String)

val convertFunction: Seq[Row] => Seq[Foo] = input => {
    input.map {
        x => // do something with x and convert to Foo
    }
}

val myUdf = udf(convertFunction)