Hadoop中的作业和任务调度

作者: 无思
发布时间: 2025-02-07 11:47:19 (1月前)
转自：

2 条回复

0#
回复此人
特狼普 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 的情况下 <EM> 公平的调度程序 </EM> ，当有一个作业运行时，该作业使用整个集群。提交其他作业时，将释放的任务槽分配给新作业，以便每个作业获得大致相同的CPU时间。 </p> <P> 不像 <EM> 默认Hadoop </EM> 调度程序，它形成一个工作队列，这可以让短工作在合理的时间内完成，同时不会使长期工作挨饿。它也是在多个用户之间共享群集的简便方法。公平共享也可以与作业优先级一起使用 - 优先级用作权重来确定每个作业获得的总计算时间的比例。 </p> <P> 该 <EM> CapacityScheduler </EM> 旨在允许共享大型集群，同时为每个组织提供最低容量保证。中心思想是Hadoop Map-Reduce集群中的可用资源在多个组织之间进行分区，这些组织根据计算需求共同为集群提供资金。组织可以访问其他人未使用的多余容量，这是一个额外的好处。这为组织提供了具有成本效益的弹性。 </p> </DIV>

编辑

登录后才能参与评论