代码之家 › 专栏 › 技术社区 › Pawan

Spark Streaming中setJars()方法的输入应该是什么

spark-streaming apache-spark

0

Pawan · 技术社区 · 8 年前

val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))

假设我正在创建一个Spark流应用程序

“your app.jar”文件的内容应该是什么?我是否必须在本地文件系统中手动创建它并传递路径,或者这是一个使用sbt的Scala编译文件。

如果这是一个scala文件,请帮助编写代码

因为我是一个初学者,所以我只是想运行一些示例代码。

1 回复 | 直到 8 年前

1

0

Soumyadip Ghosh 8 年前

SparkConf类的setJars方法接受需要在集群上分布的外部jar。任何外部驱动程序,如JDBC等。

如果这是您的要求,那么您不必在此传递您自己的应用程序JAR。