代码之家 › 专栏 › 技术社区 › user1393608

检查空列值,并在Spark DataFrame中将其替换为常量

user-defined-functions apache-spark-sql apache-spark scala

-2

user1393608 · 技术社区 · 7 年前

DataFrame 从火花中的csv。生成的列表中有一列 数据帧 其中某些行的值为空。

我怎样才能在Spark中做到这一点?

下面是我从csv创建数据帧的示例代码。

val DFCsv = spark.read.format("csv") .option("sep", ',') .option("inferSchema", "true") .option("header", "true") .load("/tmp/my.csv")
 DFCsv.show()

1 回复 | 直到 7 年前

1

-2

Chaitanya 7 年前

最简单的方法之一是用一个选项包围空值,然后对其进行模式匹配。

Option(null) gets converted to None
Option(null).getOrElse("Hello)