MapReduce环境下周期性批处理作业调度方法

来源 :东南大学 | 被引量 : 0次 | 上传用户:tangbao1006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作业调度是影响面向大数据应用分布式计算的MapReduce框架性能的重要因素,成为近年来的研究热点。相互独立的周期性执行批处理作业是MapReduce环境下的重要作业类型。本文研究MapReduce环境下周期性批处理作业调度方法,具有重要的理论意义和应用前景。  依据历史信息使用离线分析技术得到周期性批处理作业的属性;分析MapReduce周期性批处理作业的Map、Reduce等操作的特点;通过合理的假设和抽象,将所考虑问题转化成带调度相关准备时间的泛化两阶段混合流水作业调度问题;考虑Map和Reduce任务读取输入数据的准备时间,以最大完工时间为优化目标,建立该泛化两阶段混合流水作业调度问题的整数规划模型;提出两种面向作业的启发式方法和一种面向任务的启发式方法;进一步提出带改进策略的两种启发式方法;分析得到所提出方法最大完工时间下界。  随机生成150个实例,作业和任务的历史信息来自实际生产集群(Yahoo! M45)。分析和评价算法的参数合理取值;在不同的集群配置(slot数、结点数和输入数据副本数等)和作业数下,对提出的三种方法进行比较;验证所提出改进策略的有效性。实验表明:不同集群配置以及作业数对方法的效果有显著影响;应用改进策略后的方法在多数情况下效果更好。针对结点数与输入数据副本数的一种特殊情况进行实验和分析,发现任务输入数据分布会显著影响提出的改进策略效果。
其他文献
矩形件排样问题在很多工业领域都有广泛应用,解决好矩形件排样的布局优化问题,可以提高材料的利用率,节约生产成本,提高效益,从而使企业增强竞争力。 本文针对排样的布局优化问
随着信息技术和移动互联网技术的快速发展,终端远程访问企业内网数据资源的需求日益迫切。但移动互联网的开放特点无法保证其信息通信的安全性,如何实现移动终端与企业网络之
随着语义Web的发展,基于本体的应用越来越多。由于本体开发与存储具有分布式的特点,在信息量庞大的万维网上方便快捷地定位合适的本体是非常困难的。 Falcon—F正是为克服这
Turbo码由于其接近Shannon限的突出纠错能力,成为编码理论的一个重要里程碑。其优异的纠错性能,受到了人们的广泛重视,也成为了目前信道编码领域的重要研究热点之一。本论文就Tu
随着网络及多媒体技术的迅速发展,数字视频的应用越来越广泛,海量的视频信息不断涌现,如何从这些内容丰富的视频中找出自己感兴趣的视频段进行播放和浏览,是人们普遍关注的一个问
最近几年,数字电视和IPTV的概念逐渐被人们所熟悉。这两项业务都希望为通过用户提供更丰富内容并增强与用户的互动性,从而将人们留在电视机前。随着互联网的发展,电视与电脑之间
在油气勘探开发领域的储层识别研究中,神经网络模式识别技术是一种有效的工具.误差反向传播(BP)神经网络作为目前神经网络中最成熟,应用最广泛的网络模型,具有很强的非线性映射能
IMS(IP Multimedia Subsystem)是由3GPP组织定义的基于IP的新一代电信核心控制网络,采用控制和承载、控制和业务互相分离的机制,网络能力得到很大加强,同时支持固定和移动的多种
随着电信业的迅速发展,用户对新业务的需求不断增加,传统的以电路交换为主的电信体系已经不能适应新业务的需求,因此建设以软交换为核心的下一代网络势在必行。 下一代网络通
可执行程序的反编译是逆向工程中一个重要的研究领域,自高级程序设计语言出现之时,反编译就随之出现了。传统的针对过程式语言的反编译的研究已经颇有建树,而如今随着面向对象概