在dataproc上找不到有效的SPARK\u主页

谷歌云上Dataproc集群执行的Spark作业在任务中卡住 PythonRDD.scala:446

错误日志显示 Could not find valid SPARK_HOME while searching ... 路径位于 /hadoop/yarn/nm-local-dir/usercache/root/

问题是,默认情况下,应该在dataproc集群上设置SPARK\u HOME。 其他不使用RDD的spark作业也可以正常工作。

在集群初始化期间,我没有重新安装spark(但我已经尝试了,我以前认为这是问题的根源)。

我还发现,在运行任务一分钟后,我的所有执行者都被撤职了。

是的,我尝试运行以下初始化操作,但没有任何帮助:

#!/bin/bash

cat << EOF | tee -a /etc/profile.d/custom_env.sh /etc/*bashrc >/dev/null
export SPARK_HOME=/usr/lib/spark/
EOF

有什么帮助吗?