代码之家 › 专栏 › 技术社区 › Cassie

如何在本地模式下更改执行者的数量?

spark-streaming apache-spark scala

2

Cassie · 技术社区 · 7 年前

是否可以使用一些Spark Conf设置在本地模式下为Spark流应用程序设置多个执行器? 目前,我看不到Spark UI在性能方面有任何变化,或者在我改变时执行者的数量会增加 spark.executor.instances实例 例如,将参数设置为4。

3 回复 | 直到 7 年前

1

4

vvg 7 年前

本地模式 根据定义,是在单个JVM中运行的“伪集群”。这意味着执行者的最大数量是1。

2

9

user10321164 7 年前

本地模式是一种开发工具,所有组件都在一台机器上进行模拟。因为单个JVM意味着单个执行器不可能改变执行器的数量,而且 spark.executor.instances 不适用。

你能做的就是 local 模式是通过修改主URL来增加线程数- local[n] n 是线程数。

3

moriarty007 7 年前

"spark.executor.instances实例“在本地模式下不受尊重。

本地模式:在这种非分布式单JVM部署模式中,Spark在同一个JVM中生成所有执行组件—驱动程序、执行程序、LocalSchedulerBackend和主程序。默认并行度是主URL中指定的线程数。这是使用驱动程序执行的唯一模式。

因此,您可以通过将主url作为local[n]传递来将JVM中的线程数增加到n。