ScalaTestFailureLocation需要StructField(value1,ArrayType(StringType,true),false)实际StructField(val2,ArrayType(StringType,true),true)

var etalon = spark.sparkContext.parallelize(data).toDF()

val newSchema = agg.schema

etalon = spark.createDataFrame(etalon.rdd, newSchema)

assertDataFrameEquals(etalon, agg)

回答你关于如何用空数组填充任意值的问题。你可以做一个自定义项:

val replaceNulls = udf{ theArray: Seq[Int] => if (theArray==null) Seq.empty[Int] else theArray }

之后,您可以使用它:

yourDF.withColumn("nameColumn", replaceNulls(col("arrayColumn")))

nullable 参数(StructField构造函数( StructField ): StructField(String name, DataType dataType, boolean nullable, Metadata metadata) 上面给出的答案(使用彼此模式来创建数据帧应该是可行的)。