代码之家 › 专栏 › 技术社区 › jk1

纱线是否计算过执行器数量?

hadoop-yarn apache-spark

1

jk1 · 技术社区 · 8 年前

如果我只是提供

u'--executor-cores', '5',
u'--executor-memory', '20G'
u'--driver-memory', '20G',

纱线是否会自动计算可以放置在集群中的火花执行器的最大数量?

1 回复 | 直到 8 年前

1

Jacek Laskowski 8 年前

TL;DR公司 不。Hadoop纱线不会计算num执行器(因为当您 spark-submit Spark应用程序)。

处决 spark-submit --help 阅读的说明 num-executors (突出显示我的):

仅纱线:

--num executors要启动的执行器数( 默认值:2 )。

因此,除非指定数字,否则最终将有2名执行人。

请注意 --num-executors 适用于单个和整个Spark应用程序,与使用中的工人数量无关(由纱线集群管理)。