基于改进SAMR异构环境MapReduce资源调度——以农产品安监平台为例

来源 :南京工业大学 | 被引量 : 0次 | 上传用户:jiangyuchao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,农产品安全问题屡见不鲜,已经引起了社会广泛关注,农产品安全监管体系的构建迫在眉睫。通过农村信息化监管平台的建设可以有效地对农产品安全进行监管,传统的相关技术在后端采用单节点数据库的方式对监管数据进行采集与处理,遇到海量数据时处理和响应速度都变得非常慢,很难突破当前对农产品监管过程中遇到的性能瓶颈。因此,将当下云计算的相关技术应用于农产品监管平台之上并系统地提出对构建基于云计算的农产品安全监管平台的整体框架的优化成了文本需要重点研究的问题。  在所有的云计算平台中,Hadoop是最流行的开源云平台架构,其核心技术分布式存储系统和分布式处理框架分别实现了Google云平台中的GFS和MapReduce,它们分别具有对海量数据进行存储和处理的功能。平台监管着大量的农产品,而面对各种各样的的多个安全指标以及的生产环境等进行相应的数据采集,会产生大量的数据,Hadoop是云计算平台中的佼佼者,平台采用Hadoop大大提高了平台的稳定性和安全性。但该平台由于设备更新等原因会处于异构状态,作业无法按时完成,消耗平台资源。为了解决异构环境下的资源调度问题,对比LATE、SAMR等异构调度算法,SAMR调度策略表现出了对异构环境更好的处理能力。SAMR通过历史信息进行学习对节点以及任务的类型进行划分,但是该调度策略沿用了静态时间预测模型,使得该调度算法在时间预测上存在这不足。通过强化对历史信息学习,从而对节点的能力进行等级的划分,并动态更新节点能力从而对时间进行动态的预测。  同时,随着用户的实时性要求的增加,分布式计算的实时调度的难点不仅在于作业实时调度的模型,而且又要考虑到数据的本地性。而对于平台分布式处理框架中的Map端的本地化都是默认实现的,而对于Reduce端的数据本地化却被忽略了,使得作业的完成时间超出预期。为了解决异构环境下数据本地化,采用资源预取与延迟调度相结合并且根据节点的能力,对Reduce端进行节点预选、任务预选和资源预选。而实验结果表明基于该策略的Reduce端执行时间优于其他调度算法。  通过研究集群的异构性,本文提出了一种基于节点能力分类算法,用于划分集群中不同能力的节点。在节点分类算法的基础上,结合节点类型任务类型以及延迟预取技术完成数据本地化,最终提出了对SAMR的改进算法(Improvement of MapReduee adaptive algorithm,IAMR)。IAMR为了实现动态预测任务时间,提出了一种任务剩余时间评估模型;进一步为了实现Reduce本地化,结合了延迟预取技术。通过实验表明IAMR提高了平台上作业的执行效率,降低平台资源的消耗。本文的研究为农产品安全预警体系的高效运行提供了一定的技术层面的支撑。
其他文献
航空物流现如今在深度参与国际分工、服务国家重大战略实施与落地、实现经济结构转型等方面均承载着重要使命。但作为航空物流发展的载体,目前多数机场在其自身规划中尚存在航空物流辐射范围界定不清晰的情况,导致诸如基础设施过度建设、土地浪费、资源过度消耗等现象出现。郑州新郑国际机场作为国内近年来航空物流发展最为迅猛的机场,目前也存在航空物流辐射范围界定不清晰的问题,为避免该问题对其未来发展产生不良影响,因此有
维吾尔语一价动作动词的论元结构中只有一个论元位置.“被动态”和“反身态”能使动词性质发生变化,构成一价动词.一价动词支配的核心论元映现为句法成分时有不同的表现形式.
今年是《汉语拼音方案》颁布50周年,是推广普通话取得巨大成就的50年,值得隆重纪念。《汉语拼音方案》制定成功是中华民族文化建设的一件大事,是汉民族共同语发展过程的一个
2016年是中部崛起战略的第十年,经过十年的发展,中部在全国的地位进一步巩固,经济发展成绩斐然,生产总值年均增长11.6%,但在经济下行压力较大的情况下,保持经济稳定增长的关
岁月倥偬,与新中国同岁的杂志(创刊名为)迎来了她的第60个春天.这60年中,尽管办刊的路走得曲曲折折,刊物几易其名,几次停刊,但它始终坚持了正确的办刊方向.她与祖国同步,为时
随着市场经济结构的调整,电子商务相关政策的完善以及物流、信用、电子支付等支撑体系的不断优化,消费者对电子商务的需求将会更加强烈,运用电子商务的意识会越来越强。未来
2009年,由北京中视、保定中科帷幄共同出资打造的3D动画电影《麋鹿王》,继在国内荣获华表奖等诸多大奖后,又在比利时摘得金水晶奖。制作方代表说,充分利用《麋鹿王》成功契机
传统的车辆路径问题大多从经济效益视角考虑,而从环境效益的角度考虑运输对环境影响的相关研究还比较少。物流和交通运输已成为碳排放的主要来源之一,是落实节能减排的重要领
近年来,随着我国城市化进程的加速和政府对基础设施投资力度的加大,工程机械市场蓬勃兴起,国内主要的工程机械生产厂商都取得骄人的增长业绩,工程机械融资租赁这一新型的业务模式
观动画片,感触颇深,受益匪浅.中国动画要健康发展、持续繁荣,需要有这样的力作说话,而不能期望于“大跃进”式遍地开花的“群众运动”.的可贵,在坚持文化自觉:一是“各美其美