spark filter out columns和create dataframe with remaining columns和create dataframe with filtered columns

使用“选择”,可以选择所需的列。

val df2 = OriginalDF.select($"col1",$"col2",$"col3")

使用过滤器,您应该能够过滤行。

val df3 = OriginalDF.where($"col1" < 10)

另一种过滤数据的方法是使用where。过滤器和where都是同义词,因此可以互换使用它们。

val df3 = OriginalDF.filter($"col1" < 10)

注意:选择和筛选将返回一个新的数据帧。