代码之家  ›  专栏  ›  技术社区  ›  Raphael Roth

导入不带SparkSession实例的隐式转换

  •  4
  • Raphael Roth  · 技术社区  · 8 年前

    我的spark代码被这样的代码弄乱了

    object Transformations {   
      def selectI(df:DataFrame) : DataFrame = {    
        // needed to use $ to generate ColumnName
        import df.sparkSession.implicits._
    
        df.select($"i")
      }
    }
    

    或者

    object Transformations {   
      def selectI(df:DataFrame)(implicit spark:SparkSession) : DataFrame = {    
        // needed to use $ to generate ColumnName
        import sparkSession.implicits._
    
        df.select($"i")
      }
    }
    

    我真的不明白为什么我们需要一个 SparkSession 只是为了导入这些隐式转换。我宁愿做这样的事情:

    object Transformations {  
      import org.apache.spark.sql.SQLImplicits._ // does not work
    
      def selectI(df:DataFrame) : DataFrame = {    
        df.select($"i")
      }
    }
    

    这个问题有什么好的解决办法吗?我使用隐式不限于 $ 而且 Encoders , .toDF() 等。

    1 回复  |  直到 8 年前
        1
  •  6
  •   user9977445    8 年前

    我真的不明白为什么我们需要一个sparksession实例来导入这些隐式转换。我宁愿做一些像

    因为每 Dataset 存在于特定的范围内 SparkSession 一个星火应用程序可以有多个活动的 火花会议 .

    从理论上讲 SparkSession.implicits._ 可以与会话实例分开存在:

    import org.apache.spark.sql.implicits._   // For let's say `$` or `Encoders`
    import org.apache.spark.sql.SparkSession.builder.getOrCreate.implicits._  // For toDF
    

    但这将对用户代码产生重大影响。