我的spark代码被这样的代码弄乱了
object Transformations { def selectI(df:DataFrame) : DataFrame = { // needed to use $ to generate ColumnName import df.sparkSession.implicits._ df.select($"i") } }
或者
object Transformations { def selectI(df:DataFrame)(implicit spark:SparkSession) : DataFrame = { // needed to use $ to generate ColumnName import sparkSession.implicits._ df.select($"i") } }
我真的不明白为什么我们需要一个 SparkSession 只是为了导入这些隐式转换。我宁愿做这样的事情:
SparkSession
object Transformations { import org.apache.spark.sql.SQLImplicits._ // does not work def selectI(df:DataFrame) : DataFrame = { df.select($"i") } }
这个问题有什么好的解决办法吗?我使用隐式不限于 $ 而且 Encoders , .toDF() 等。
$
Encoders
.toDF()
我真的不明白为什么我们需要一个sparksession实例来导入这些隐式转换。我宁愿做一些像
因为每 Dataset 存在于特定的范围内 SparkSession 一个星火应用程序可以有多个活动的 火花会议 .
Dataset
火花会议
从理论上讲 SparkSession.implicits._ 可以与会话实例分开存在:
SparkSession.implicits._
import org.apache.spark.sql.implicits._ // For let's say `$` or `Encoders` import org.apache.spark.sql.SparkSession.builder.getOrCreate.implicits._ // For toDF
但这将对用户代码产生重大影响。