代码之家 › 专栏 › 技术社区 › vijay

从Spark作业执行sudo命令

sudo apache-spark

0

vijay · 技术社区 · 7 年前

我试图在集群模式下从Spark scala作业执行python脚本,如下所示。

import scala.sys.process._

Process("sudo -n python helloWorld.py").!!

我收到“sudo:需要密码”消息。

link 通过在文件末尾使用“sudo visudo”添加一行,供用户使用,如下所示:

<username> ALL=(ALL) NOPASSWD: ALL

但是它没有起作用。我还是犯了同样的错误。怎么了?

2 回复 | 直到 7 年前

1

barbsan Cibi 7 年前

我在使用时遇到了这个问题 dmidecode 在我的python程序中使用sudo来运行一些命令。我跑了 dmidecode码

我认为这是因为docker在根模式下运行,我的python程序的每个包和需求都设置在根模式下。但在“ubuntu”中,我在“sudo user”中做了所有的设置,其中引用了根来执行“sudo”命令,而我的根用户没有任何设置。

sudo ~/spark/bin/spark-submit --name tets --master spark://10.28.10.9:5050 --executor-cores 4 
                              --executor-memory 6G --files use.npy --py-files a.zip main.py

但在docker是:

~/spark/bin/spark-submit --name tets --master spark://10.28.10.9:5050 --executor-cores 4 
                         --executor-memory 6G --files use.npy --py-files a.zip main.py

我希望这对你有帮助

2

0

Juhong Jung 7 年前

这个过程是从火花驱动开始的吗?您应该以sudo用户身份运行spark应用程序。