使用spark提交运行spark应用程序

如果你使用的是scala, spark-submit sbt 作为依赖/构建工具, sbt公司 guide . -python和java也有类似的方法

更新1: spark-shell 用于进行快速实验,当 被调用时 SparkSession 自动实例化,所以当你想通过编程实现这个目标时,你需要用程序调用它。

例如:

val sparkSession: SparkSession = 
SparkSession.builder.appName("awesomeApp").getOrCreate()

// This import is needed to use the $-notation, and imported automatically in `spark-shell` by default
import sparkSession.implicits._

...
//code to generate/import/build your `movieTable` view/table
...

val queryOutputDf=sparkSession.sql(""" SELECT userid AS userid, rating AS rating, movieid AS movieid FROM default.movieTable""");

//the above output is a `dataframe`, it needs to be written to a file
queryOutputDf.rdd.map(_.toString()).saveAsTextFile("/path/to/a/file/with/good/name")

这将实现您对单个查询的意图,您必须循环查询并将其传递给上面的内容。