MapReduce作业调度算法优化与改进研究

被引量 : 0次 | 上传用户:skycliff520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的迅猛发展,IT产业已经逐渐趋于消费化、社会化,日益累积的大数据已经开辟了一个崭新的计算时代,而云计算为这个时代带来了无限机遇与挑战。在Google云计算三大论文和Apache开源社区的推动下,Hadoop逐渐发展为应用最广泛的开源云计算平台。作为其中的核心技术之一,MapReduce作业处理框架及其作业调度算法对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准。针对MapReduce原生作业调度算法中的数据本地性问题,论文主要工作如下:首先,对开源云计算平台Hadoop的基础架构和MapReduce相关技术进行研究与分析。重点介绍和分析了MapReduce基本原理、MapReduce作业处理机制和MapReduce作业调度机制等相关内容。其次,详细阐述并分析了目前关于MapReduce原生作业调度算法及其相关改进算法的研究现状,总结出各自的优缺点。针对当前与数据本地性相关的作业调度算法进行了详细的研究分析,总结出当前作业调度算法在数据本地性方面所表现出来的缺陷,为后续研究提供基础。然后,针对原生作业调度算法在数据本地性方面考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术,设计并实现一种基于资源预取的Hadoop MapReduce作业调度算法。在非本地map任务被真正调度之前预先读取其输入数据到待分配的计算节点之上,以一定的网络开销和磁盘空间开销换取数据本地性的提升,从而使作业执行效率更高。最后,通过搭建小型Hadoop实验集群,设计实验场景,分别在集群上配置使用改进调度器与Hadoop原有的三种作业调度器进行对比实验。实验结果表明,改进后的算法不仅在作业的数据本地性方面有较大提升,而且在一定程度上减少了作业的响应时间,对系统的整体性能有较大提升。
其他文献
肖邦和希曼诺夫斯基同为波兰音乐史上最重要的人物之一,肖邦是19世纪欧洲民族乐派的先驱,他善于从民间吸取音乐素材,创造出具有独特风格的浪漫主义音乐语言,将波兰音乐推向了
政务微博的出现对政府形象的塑造是一把双刃剑,稍有不慎,就有可能割伤自己。因此,在新媒体,尤其是微博的舞台上,如何利用好政务微博提高政府部门的公信力和影响力,塑造政府的
改革开放以来,我国市场经济迅速发展,居民生活水平得到提高。2012年城镇单位就业人员平均收入水平为1978年的60多倍,但行业收入差距也在这几年居高不下:1978-2011年间,最低行
<正>非公企业党建是当前党建的重要组成部分,也是基层党建工作新的重要领域。全国各地的非公企业越来越多地积极投身党建,建立起党组织,如火如荼地开展活动。其中,也不乏直销
目的:探讨妊娠期糖尿病(GDM)两种诊断标准对妊娠结局的影响。方法:回顾分析2011年9~11月及2012年9~11月在济南市妇幼保健院分娩的878例和1080例孕妇的临床资料,两时段分别采
自“五四”以来,中国共产党先后领导中国人民进行了新民主主义革命、社会主义革命和建设,革命史迹璀璨熠熠,一批批珍贵的历史遗产和精神财富,筑就了我们今天红色旅游的基石。
随着经济社会的发展,人力资源管理中的绩效管理发挥日趋重要的作用。本文的研究对象H公司在煤化工行业中具有较为领先的地位,针对企业的重要资源——研发类员工,在已有的绩效考
消费者购买行为过程受消费心理活动支配。求廉心理是最常见的消费心理,它是指消费者在选购商品时,希望商品价格便宜。本文在深度剖析求廉心理产生原因的基础上,从商品定价、
<正>11月9日,中共中央总书记习近平在北京人民大会堂会见台湾两岸共同市场基金会荣誉董事长萧万长一行。习近平强调,两岸关系和平发展成果得来不易,需要倍加珍惜。珍惜成果的
一直以来,IBM在IT服务领域扮演的是类似“独孤求败”的角色。随着竞争对手的不断跟进,现在IBM要做的是打响一场服务阻击战。