num off switch containers在纱线资源管理器用户界面中的含义是什么?

1.num off switch containers是什么意思? 以上情况为 off switch locality 延迟调度程序:

                | router|
              +-----------+
             /             \
    +-----------+        +-----------+
    |rack switch|        |rack switch|
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+

这是数据位置(1.node local 2)最糟糕的情况。机架局部3。关闭开关 延迟调度程序 存储器和VCORE通过交换机被分配到不同的机架上,带宽更高。

延迟调度程序将传入任务分配给位于不同机架上的关闭开关节点,以避免任务不足。

对于纱线配置变量中的不同调度程序,节点和机架阈值存在:

容量Sch - 有这个财产 yarn.scheduler.capacity.rack-locality-additional-delay ,关闭开关容器分配的松弛位置完成。

容量调度程序.xml

<property>
  <name>yarn.scheduler.capacity.node-locality-delay</name>
  <value>-1</value>
  <description>Number of missed scheduling opportunities after which the              CapacityScheduler attempts to schedule rack-local containers.
Typically this should be set to number of racks in the cluster, this
feature is disabled by default, set to -1.
 </description>
</property>

https://issues.apache.org/jira/browse/YARN-4189 -JIRA改进 如果集群使用公平调度程序:

https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

yarn.scheduler.fair.locality.threshold.rack

https://cs.stanford.edu/~matei/papers/2010/eurosys_delay_scheduling.pdf 用于延迟调度。

2.如何识别这些“关闭开关”容器及其运行的节点?

要查看应用程序的容器,我认为我们需要通过尝试ID转到特定的应用程序尝试,在那里我们可以找到conatainer及其节点。我在RM UI中找不到任何与关闭开关容器的直接链接

3.关闭开关容器是否会导致作业处理时间变慢?

是的,从上面我们可以得出结论,网络开销将减慢工作处理。