论文部分内容阅读
[摘要]本文主要研究了hadoop的容量调度(CapacityTaskScheduler)策略,改写了hadoop源码,增加了对GPU作业的调度。
[关键词]CapacityTaskScheduler 作业队列
中图分类号:TG333.2 文献标识码:A 文章编号:1009-914X(2013)13-0254-01
一、引言
Hadoop是基于Google搜索引擎的分布式计算技术,利用大量平价的服务器,搭配平行运算架构,在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种,分别为:
(1)默认的调度器FIFO
Hadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。
(2)容量调度器Capacity Scheduler
支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交 的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值 最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。
(3)公平调度器Fair Scheduler
同容量调度器类似,支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。
本文主要针对容量调度器进行了扩展。
三、结束语
由于现在硬件设备的更新换代快,hadoop源码上的调度策略并无对GPU类型作业的支持,本文通过修改扩展hadoop源码,实现了对GPU作业的调度。
参考文献
[1] 《HADOOP学习交流》.
[2] 《hadoop 0.23的容量调度器简介》.
[关键词]CapacityTaskScheduler 作业队列
中图分类号:TG333.2 文献标识码:A 文章编号:1009-914X(2013)13-0254-01
一、引言
Hadoop是基于Google搜索引擎的分布式计算技术,利用大量平价的服务器,搭配平行运算架构,在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种,分别为:
(1)默认的调度器FIFO
Hadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。
(2)容量调度器Capacity Scheduler
支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交 的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值 最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。
(3)公平调度器Fair Scheduler
同容量调度器类似,支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。
本文主要针对容量调度器进行了扩展。
三、结束语
由于现在硬件设备的更新换代快,hadoop源码上的调度策略并无对GPU类型作业的支持,本文通过修改扩展hadoop源码,实现了对GPU作业的调度。
参考文献
[1] 《HADOOP学习交流》.
[2] 《hadoop 0.23的容量调度器简介》.