代码之家 › 专栏 › 技术社区 › Tanin

如何确保Spark使用每个阶段使用的集合执行器的数量?

apache-spark

Tanin · 技术社区 · 4 年前

我发现一些中间阶段使用的执行器数量(远远)少于的值 spark.executor.instances .

目前, spark.executer.instances 设置为 spark.dynamicAllocation.enabled 设置为false

我们还尝试启用 spark.dynamicAllocation.enabled 到true和set spark.dynamicAllocation.minExecutors 达到一定的价值。

但是在这两种情况下, spark.dynamicAllocation.min执行程序 和 spark.executer.instances 似乎被忽视了。

我想知道是否有人知道如何进一步调查,或者根本原因是什么。

编辑:当启用动态分配时,我们还设置 spark.dynamicAllocation.maxExecutors

0 回复 | 直到 4 年前

walker_4 4 年前

尝试设置

spark.dynamicAllocation.max执行程序

推荐文章

user3579222 · 阅读以前的Spark API

6 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

7 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

11 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

1 年前

Nakeuh · 从数组列中新建数据帧列

1 年前

maximodesousadias · 如何根据条件删除日期后的记录

1 年前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

SUBHOJEET · 如何使用pyspark读取rds文件?

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前