代码之家 › 专栏 › 技术社区 › MetallicPriest

火花路径配置在Windows上无法正常工作

apache-spark windows

0

MetallicPriest · 技术社区 · 7 年前

所以,我想为Spark提供一个额外的jar文件类路径Windows。用于为了达到这个目的,我在我的报告中增加了以下两行 spark-defaults.conf 文件。对于linux,这些添加可以正常工作,但对于Windows则不行。知道为什么吗?

spark.executor.extraClassPath   C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

我也试过了,但还是没有成功。

spark.executor.extraClassPath   "C:\spark-2.3.2-bin-hadoop2.7\extrajars\*"

0 回复 | 直到 7 年前

1

m-bhole 7 年前

请尝试使用\\而不是\

spark.executor.extraClassPath   C:\\spark-2.3.2-bin-hadoop2.7\\extrajars\\*

scala> spark.conf.getAll.mkString("\n")

应该有

spark.executor.extraClassPath -> C:\spark-2.3.2-bin-hadoop2.7\extrajars\*

希望,这有帮助!