代码之家 › 专栏 › 技术社区 › Thomas Decaux

在纱线上运行Spark,无需Spark submit,但使用java

yarn apache-spark

2

Thomas Decaux · 技术社区 · 7 年前

在hdp2.4hadoop集群中,使用YARN,我想知道是否可以不使用就运行javaapachespark程序 spark-submit --master=yarn 程序,但直接由Java编写?(或者如果这真的是个坏习惯)。

我的用例是有一个Java守护进程,它带来一个httpapi来在不同的HDP集群上执行Spark作业。

0 回复 | 直到 7 年前