在使用scalatest和before/after时,如何避免“null”?

您可以使用 before 只需使用 lazy val 相反,因此当第一个测试调用上下文时,上下文被初始化:

class SparkExampleSpec extends FlatSpec with BeforeAndAfter {

  private val master = "local[2]"
  private val appName = "example-spark"

  private lazy val conf = new SparkConf()
    .setMaster(master)
    .setAppName(appName)
  private lazy val sc = new SparkContext(conf)

  after {
    sc.stop()
  }

更新:

所以我以前遇到过类似的事情,我们最终得到了如下的特征模式:

trait SparkAddOn {

  val conf:SparkConf

  def withSpark(f: SparkContext => Unit) ={
    val sc: SparkContext = new SparkContext(conf)
    try{
      f(sc)
    } finally {
      sc.stop()
    }
  }
}

因此,在测试中,您只需使用“withSpark”:

class SparkExampleSpec extends FlatSpec with SparkAddOn {

  private val master = "local[2]"
  private val appName = "example-spark"

  val conf = new SparkConf()
    .setMaster(master)
    .setAppName(appName)

  "test" should "do something" in withSpark { sc =>

  }
}

最后,我要说的是,我更喜欢Spec2而不是Scalatest,它的设计完全不同,更妙的是,很抱歉你不能切换。