代码之家 › 专栏 › 技术社区 › Georg Heiler

从RelationalGroupedDataset访问SparkSession

apache-spark-sql apache-spark

0

Georg Heiler · 技术社区 · 7 年前

一个常规的Spark数据帧允许访问 sparksession 通过 df.sparksession

class RelationalGroupedDataset protected[sql](
    df: DataFrame,
    groupingExprs: Seq[Expression],
    groupType: RelationalGroupedDataset.GroupType) {

我怎样才能进入 RelationalGroupedDataset 是吗?似乎只是私人的。

我的动机是获得火花的暗示,而不需要通过火花会议周围。

1 回复 | 直到 7 年前

1

2

user9990281 7 年前

除非依赖于在作用域中有多个会话实例,否则使用 implicit 论点

def f(gds: RelationalGroupedDataset)(implicit spark: SparkSession) = ???

或使用生成器

def f(gds: RelationalGroupedDataset) = {
  import SparkSession.builder.getOrCreate.implicits._
}

通常已经足够好了。如果不是,你可以一直这样使用hack:

def f(gds: RelationalGroupedDataset) = {
  import gds.count.sparkSession.implicits._
}