代码之家 › 专栏 › 技术社区 › jk1

纱线是否计算过执行器数量?

hadoop-yarn apache-spark

jk1 · 技术社区 · 8 年前

如果我只是提供

u'--executor-cores', '5',
u'--executor-memory', '20G'
u'--driver-memory', '20G',

纱线是否会自动计算可以放置在集群中的火花执行器的最大数量?

1 回复 | 直到 8 年前

Jacek Laskowski 7 年前

TL;DR公司 不。Hadoop纱线不会计算num执行器(因为当您 spark-submit Spark应用程序)。

处决 spark-submit --help 阅读的说明 num-executors (突出显示我的):

仅纱线:

--num executors要启动的执行器数( 默认值:2 )。

因此,除非指定数字,否则最终将有2名执行人。

请注意 --num-executors 适用于单个和整个Spark应用程序,与使用中的工人数量无关(由纱线集群管理)。

推荐文章

Pasq · 将远程目录发布到远程Repo Github工作流

3 年前

Surender Raja · 纱线如何在集群模式下了解Apache spark中的数据位置

8 年前

user3725190 · JAVAlang.ClassCastException:组织。阿帕奇。hadoop。无法将配置转换为组织。阿帕奇。hadoop。纱线配置文件配置

8 年前