Hadoop中的作业和任务调度

万一 公平调度 ,当有一个作业正在运行时,该作业将使用整个集群。当提交其他作业时,将空闲的任务槽分配给新作业,这样每个作业获得的CPU时间大致相同。

与 默认Hadoop 调度器,它形成了一个作业队列,这样可以让短作业在合理的时间内完成,而不会让长作业挨饿。这也是在多个用户之间共享集群的一种简单方法。公平共享也适用于作业优先级——优先级被用作权重,以确定每个作业获得的总计算时间的比例。

这个 电容式时间表 旨在允许共享一个大型集群,同时为每个组织提供最低容量保证。核心思想是Hadoop Map Reduce集群中的可用资源在多个组织之间进行分区,这些组织根据计算需求共同为集群提供资金。还有一个额外的好处,一个组织可以访问其他组织没有使用的任何多余容量。这以一种具有成本效益的方式为组织提供了弹性。