基于Hadoop异构集群的资源调度算法研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:dgjjtjn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据是网络信息时代的客观存在,其产生的意义在于对数据进行专业存储和处理,并从中挖掘和提取所需要的知识和信息。Hadoop作为数据分布式处理系统的典型代表,在数据的分布式存储、计算、分析等多方面性能优越,为提升资源的利用率,Hadoop引入了资源统一管理调度系统YARN。YARN自带了三种资源调度器用于同构集群环境资源的分配,随着虚拟机在各大数据中心的普及,集群异构性凸显,这些内置的调度器性能极速降低,难以满足用户的需求。于是,针对异构集群的资源调度成为大数据领域研究的热点。本文在对Hadoop异构集群资源调度问题进行深入研究后,解决了集群整体任务完成时间过长和负载不均这两个关键问题,主要研究工作如下:(1)针对任务在各个资源节点执行时间估算问题,研究了一种基于多元线性回归分析的资源节点性能预测方法,该方法通过收集到的各资源节点处理每个任务时所使用的CPU、RAM、任务数据是否在本地等历史信息,构建回归模型,预测资源节点计算能力,得到任务执行预计所需时间。(2)任务在不同资源节点执行时间可知的基础上,设计了一种基于混合遗传-蚁群算法的资源调度策略,结合资源调度问题的特点分别对遗传算法和蚁群算法进行了改进。遗传算法阶段,采用了一种新的种群初始化方法,利用贪心算法生成一条适应度较高的染色体加入到初始种群中;引入了时间-负载双优化目标适应度函数;改进了种群变异操作,以贪心算法产生的一组染色体适应度值为基准评判种群个体优劣,针对适应度较高的优秀个体和适应度较低的较差个体采用不同的变异概率。蚁群算法阶段,改进了信息素矩阵初始化方法,利用遗传算法得到的最优解结合资源节点计算性能的评估值来初始化各个资源节点的信息素;设计了一种新的信息素更新方式,通过负载均衡指数和整体任务完成时间来更新资源节点上的信息素,使蚁群算法寻优结果更精确。(3)为了验证本文提出的资源调度算法的可行性,根据Hadoop提供的接口规范实现了一个新的资源调度器。通过与基于标准遗传算法、标准蚁群算法以及Hadoop自带的Fair资源调度算法从算法迭代次数、作业完成时间以及集群负载均衡情况这三个方面分别进行对比实验,证明了本文所提出的基于混合遗传-蚁群资源调度算法的优越性。
其他文献
网络在近年来已经成为各个领域不可或缺的部分,其中无线自组织网络拥有无需架设基础通信设施、可灵活移动快速组网、无中心等特性,因此在现代化军事、应急通信等场景中被大规模使用。天线作为网络节点信息发送与接收的载体是无线自组织网络的重要组成部分,与全向天线不同,定向天线在提升网络容量、提高信道带宽利用率的同时,拥有抵御干扰和监听的能力,因此在对安全性和网络容量等有更高要求的场景中采用定向自组网是必要的。定
同一物体在不同频段的成像结果往往包含和体现出不同的直观信息,将它们有效地融合,可以展示出更丰富的信息,实现信息互补。太赫兹/毫米波无源探测成像技术,是一种通过探测不同物体在太赫兹/毫米波频段自身辐射亮温的差异来成像的技术,可以在成像图像上显示出隐匿的金属和非金属物品。将太赫兹/毫米波图像与可见光图像进行融合,能更好地体现场景、被检人外貌以及隐匿物品的综合信息,便于安检及监控等应用。本论文依托于实际
人脸识别,是一种利用使用者面部的特点实现身份认证的模式识别技术。又名肖像识别、脸部识别。大部分人脸识别系统由四个部分构成,依次为:人脸搜索(在图片中检测出人脸)、预处理、特征提取、分类匹配。在实际中,一个待识别的对象特征、比如人脸图像特征是大量的且不断变化的,为了提高识别的精确度,就需要不断地提取新的特征。在现实情况中,由于收集样本的代价过高或时间过长等原因,及时获取充足的训练样本并不容易。大多数
随着数字化技术的不断发展和成熟,软件化雷达应运而生。软件化雷达是基于标准化、模块化的数字平台,具有开放式体系架构,采用面向应用的开发模式,系统功能通过软件定义、扩展和重构的新型雷达系统,是未来雷达系统发展的重要方向。本文针对传统雷达系统体系架构兼容性和通用性差,软硬件耦合度高的问题,开展了软件化雷达在线可重构技术的研究,重点研究了在线可重构开放式架构、面向服务的组件模型以及重构管理系统。论文的主要
如今,数字成像技术已经被广泛应用于高动态范围成像和低动态范围增强等领域,但在终端设备性能快速迭代的市场环境下,基础图像在效果表现上依然受限于显示屏幕的动态范围。而目前针对图像动态范围优化的研究主要基于软件环境,性能有限,无法满足SOC图像显示系统的实时性要求。基于这一现状,论文对图像显示相关技术进行研究,并针对色调映射算法实现硬件设计与验证。论文首先阐述了色调映射技术的应用背景,并调研了国内外对色
随着世界经济的迅速发展,人们对石油的需求越来越大。因此,如何在石油开采、勘探以及钻井工作中对信息进行传递和分析已经是研究发展的一个热点。电磁式随钻法测量技术主要指的是上个世纪80年代从事石油资源开采、煤炭资源开采等工业应用领域研究而来的一种新型测量方法。采用先进的电磁波传输方式操作简便容易实现,传输的速率相对比较高,传输的可靠性强,在测量工艺过程中针对循环钻井液和循环介质的需求小,可以广泛地适用于
磁约束托卡马克聚变研究涉及众多前沿科学和工程技术难题,理论预测和实验诊断共同发展的状态。然而单独依靠诊断难以满足放电实验数据实时重构的需求,如温度密度长期难以得到完整的剖面数据,分辨率不足导致磁约束托卡马克装置物理剖面无法描述高约束模式(H模)放电的台基物理参数剖面。基于此,本研究基于通用原子能公司(General Atom,GA)为主开发的OMFIT集成模拟平台,结合HL-2A/M实验数据和理论
吸波涂层一般指一种喷覆于材料和器材表面,具有特殊微波性能的材料涂层,其使用的涂料一般又被称为微波吸收涂料,在军用以及涉密航空器应用领域也被称为雷达波吸收涂料。目前被广泛运用于相关领域的涂层材料吸收剂主要分为非金属材料基材与含金属材料基材两大部分,其中运用相对广泛的含金属材料基材可分为导电聚合物系列、多晶铁纤维系列以及铁氧体系列等。涂层本身的材料特性,基材本身的材料特性和涂覆表面的物理特性是影响涂层
随着工艺技术的发展,现代VDMOS可承受的击穿电压值越来越高,常规的VDMOS结构由于极厚的外延层,因此导通电阻值随着耐压的增加而大幅增加,高压VDMOS器件为了降低导通电阻只能通过增加芯片面积的方法,但随之而来的成本的增加又是商业生产不可忽视的因素。目前国内具有优良特性的高压VDMOS产品较少,大多微电子公司选择进口国外的VDMOS器件,而随着半导体进口量超越石油成为进口量最大的商品,自主研发高
随着科学技术与社会向前发展,无人驾驶技术的发展日新月异,登机桥也随之朝着自动对接方向发展。环境感知传感器作为无人驾驶的“眼睛”,一般有毫米波雷达、超声波雷达、激光雷达以及摄像头,但是单一传感器由于各种原因对环境的感知存在局限性。多传感器融合技术能够综合各传感器优势,实现相互之间信息互补,为系统提供信息冗余。因此本文基于两种感知系统中主流的传感器提出一种毫米波雷达与视觉融合的登机桥前方目标识别方法,