hadoop容量调度器扩展

来源 :中国科技博览 | 被引量 : 0次 | 上传用户:awper1985
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  [摘要]本文主要研究了hadoop的容量调度(CapacityTaskScheduler)策略,改写了hadoop源码,增加了对GPU作业的调度。
  [关键词]CapacityTaskScheduler 作业队列
  中图分类号:TG333.2 文献标识码:A 文章编号:1009-914X(2013)13-0254-01
  一、引言
  Hadoop是基于Google搜索引擎的分布式计算技术,利用大量平价的服务器,搭配平行运算架构,在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种,分别为:
  (1)默认的调度器FIFO
  Hadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。
  (2)容量调度器Capacity Scheduler
  支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交 的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值 最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。
  (3)公平调度器Fair Scheduler
  同容量调度器类似,支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。
  本文主要针对容量调度器进行了扩展。
  三、结束语
  由于现在硬件设备的更新换代快,hadoop源码上的调度策略并无对GPU类型作业的支持,本文通过修改扩展hadoop源码,实现了对GPU作业的调度。
  参考文献
  [1] 《HADOOP学习交流》.
  [2] 《hadoop 0.23的容量调度器简介》.
其他文献
[摘要]目前油田现已进入高含水开发后期,随着开采程度的提高,地层能量逐年下降,井筒技术状况日益恶化,造成油井的频繁躺井。必须加强油田单元的综合调整,强化工艺技术的推广应用,加大专项治理的资金投入。建立油井躺井预警机制。才能有效控制躺井率,增强稳产基础,实现老油田生产的良性循环。  [关键词]油田;躺井;影响因素;治理措施  中图分类号:TE37 文献标识码:A 文章编号:1009-914X(201
期刊
[摘要]电气自动控制系统是一种以计算机为基础,便于集成和灵活控制的系统。在人们的生产生活中应用的越来越广泛。电气自动化控制系统的设计和应用也被越来越多的人所重视。正在被广泛的应用。  [关键词]电气自动化 控制系统 设计 应用  中图分类号:TU751 文献标识码:A 文章编号:1009-914X(2013)13-0257-01  1、电气控制对象的特点和要求  (1)电气控制系统相对热机设备而言
期刊
[摘要]本文叙述了天然林保护工程的实施方案,为使天然林保护工程工作落到实处,要因地制宜对森林资源实行区划经营,分户管护。  [关键词]为顺利实施天保工程 因地制宜 质量管理 禁伐或限额采伐  中图分类号:TU147 文献标识码:A 文章编号:1009-914X(2013)13-0259-01  一、解放思想 转变观念  实施天然林保护工程,在我们林业的开发建设史上,从指导思想、经营方针到实现目标,
期刊
[摘要]本文通过对SS3电力机车主变压器阻抗电压的分析和探讨,发现在机车牵引工况下,阻抗电压是主变压器二次侧回路也就是机车主回路和辅助回路出现短路故障时,保护机车回路各用电器,进而确保机车行车安全的重要性能指标。  [关键词]主变压器 阻抗电压 短路试验 短路阻抗  中图分类号:TU39 文献标识码:A 文章编号:1009-914X(2013)13-0247-01  (2)对于同一台变压器来说,如
期刊
[摘要]机采系统效率是评价机采系统用能水平的重要指标,也是反映采油用能水平的重要指标。提高机采系统效率是油田降本增效的重要途径,本文从地面、地下、管理三个方面系统分析影响机采系统的因素,并提出了提高机采系统效率的一般对策。  [关键词]抽油机;机采效率;降本增效;途径  中图分类号:TE32.1 文献标识码:A 文章编号:1009-914X(2013)13-0260-01  1 机采效率影响因素 
期刊
[摘要]分析探讨了我厂入炉煤机械采样机系统在使用中出现的问题,并给出了解决措施。  [关键词]火力发电厂;入炉煤;机械采样  中图分类号:TB357 文献标识码:A 文章编号:1009-914X(2013)13-0266-01  我厂所需燃煤基本从外省购入,煤炭成本费用很高,并且随着电煤价格的上涨,成本费用还在不断扩大,因此采取有代表性煤样对于控制煤炭成本,维护电厂利益有重要意义。目前机械采样机在
期刊
[摘要]近年来油田间抽井数不断增加,目前各区基本都是靠经验法确定间抽制度,在节能形势日趋严峻以及确保稳产的双重压力下,进一步探讨和摸索油井合理的间抽制度有着重要的现实意义。本文主要通过深入理论分析,并结合现场数据进行佐证,初步找到了一种合理间抽制度的确定方法,为下步间抽制度调整提供了依据。  [关键词]低液面 间抽 沉没度  中图分类号:TE32.1 文献标识码:A 文章编号:1009-914X(
期刊
[摘要]牵引特性的计算是设计动车组牵引/制动性能的基础,是进行动车组设计必须进行的最基础的工作。以250公里动车组设计为例,进行列车牵引特性的设计以及主要牵引设备参数选型。  [关键词]牵引特性 设计  中图分类号:TM73.2 文献标识码:A 文章编号:1009-914X(2013)13-0267-01  1.概述  对于高速列车的牵引系统设计,首先对牵引功率进行设计;其次根据牵引功率、粘着牵引
期刊
[摘要]重视管理效率提高,是摆在每个企业面前的课题。胜利油田正处于改革攻坚的关键阶段,总的来讲系统效率比较高,但是在某些方面也存在问题。本文就从这些问题入手,谈谈如何使胜利油田系统管理效率更好。  [关键词]油田 效率 研究  中图分类号:TF046.6 文献标识码:A 文章编号:1009-914X(2013)13-0258-01  效益是企业永恒的目标,高效的管理是带来高效益的唯一源泉。所以,重
期刊
[摘要]低电阻率油气层在我国东、西部油田普遍存在,准确识别和评价此类隐蔽储层对油田稳产具有重要意义。目前,在解释低电阻率油气层时,由于模型选择不当或模型中参数选择不合适,使得计算的饱和度误差很大,以致于油层误判为水层。经过对储层大量四性关系的研究和各种化验资料的分析,结合沉积相理论,明确了低电阻率油层的成因和分布规律,总结出了一套行之有效的解释方法。  [关键词]低电阻率 油气藏 储层 孔隙 沉积
期刊