如何在HADOOP\u CONF\u DIR中指定集群位置?

HADOOP_CONF_DIR 是包含Hadoop库用于各种Hadoop特定内容的配置文件的目录。我写道 各种特定于Hadoop的东西 要强调的是,这里没有太多与Spark相关的内容。

更重要的是 HADOOP\u CONF\u目录 也可以指向一个空目录(表示采用默认值)。

要回答您的问题,可以在中定义集群位置 yarn-site.xml 使用 yarn.resourcemanager.address 如果 yarn-site.xml 未找到,纱线簇可在本地主机上使用。

我应该放在哪里 纱线现场。xml 所以 spark-submit 会使用它吗?

我以前用过 YARN_CONF_DIR 指向目录 纱线现场。xml 。

YARN_CONF_DIR=/tmp ./bin/spark-shell --master yarn