云计算环境下供需感知的资源分配及任务调度研究

来源 :武汉理工大学 | 被引量 : 1次 | 上传用户:icnew
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一种新型服务计算模式,其通过Internet向用户按需提供计算服务。得益于云计算的可用性、经济性、便利性等优势,越来越多的公司和个人将业务迁移到云,这进一步扩大了其经济规模。但当前云计算平台粗犷的资源管理和单纯追求计算性能的任务调度方式已遭遇瓶颈。研究如何合理地配置资源,并将用户提交的任务分配到合适的资源上执行是极其关键的问题。然而任务对资源需求的不确定性及资源的异构性,给云资源分配及任务调度加大了难度。本文围绕云计算环境下供需感知的资源分配及任务调度展开研究,主要包括云平台监测数据预处理及特征选择、负载资源需求预测、供需感知的双边匹配调度及多维Qo S调度优化。目的是通过以上研究,使得云计算资源能得到合理地分配、任务被高效地执行,同时在满足服务质量Qo S时,减少云平台的能耗、降低成本,实现绿色可持续计算,并为“新基建”推进提供一点参考。本文的具体研究内容主要有以下几个方面:(1)针对因云平台监测数据异常、冗余问题,分别提出了基于Spark的分布式预处理和启发式特征选择(属性约简)算法。预处理方法包括监测数据采样分析、异常数据辨识、清洗修复及离散化等。其能有效的处理大规模监测数据,为后续特征提取提供了重要保障。所提的属性约简算法结合监测数据特征,对不一致对象进行处理。在计算属性重要性时利用启发式方法减少搜索空间,并引入条件属性和决策属性之间的相关性来进一步优化计算效率。该分布式约简算法能有效提取影响任务调度的关键特征,此外相较其他对比算法,平均运行时间至少缩短了24.83%。(2)针对云平台负载资源需求的不确定性,提出了误差修正的加权随机森林负载资源需求预测方法。该方法结合负载变化的周期性、邻近性、相关性和连续性等特征,提出了加权随机森林负载资源需求预测方法,其权重由融合双重相似因子的权重确定方法计算获得。为进一步适应负载的时变性、波动性和突发性,利用动态自适应误差修正方法对其改进。该负载资源需求预测方法具有良好的预测精度,且有较强的稳定性。(3)针对资源需求的动态性,结合(2)提出的预测方法设计了前瞻式资源分配方法。针对任务的多样性以及资源的异构性,提出了多级供需感知队列MLQ-SD,其主要由多级任务资源需求队列MLQ-TRD,多级资源供应队列MLQ-RS,混合驱动的供需队列滚动更新机制HDRUP-SDQ这三部分组成。MLQ-SD可以根据任务和资源的特征进行队列划分。最后在上述基础上设计了基于前瞻式多级供需感知队列的双边匹配调度算法。该算法根据资源需求动态伸缩资源规模,并帮助任务队列分配给与其执行能力匹配的资源队列,提升了任务及资源的执行效率。此外,相较Bench Mark算法,该算法至少节约了11.08%的能耗。(4)针对云计算服务提供商和云服务用户的多目标优化问题,提出了一种AHP定权的多维Qo S任务调度算法。该算法首先全面量化分析了各维度Qo S评估指标,然后定义了多维Qo S综合效应值VQo S,并利用层次分析法为VQo S确定合适的权重,VQo S可较为客观的评估云计算任务调度的合理性。最后利用VQo S对(3)提出调度算法进行改进,实现更细粒度的优化调度,从而保障云服务提供商和云服务用户的双重Qo S利益。
其他文献
5G的三大业务场景包括增强型移动宽带场景、超高可靠低时延场景和大规模机器类通信场景。这三大业务场景具有差异化的性能需求和较高的资源需求。边云协同多级计算是满足5G业务需求的关键。边云协同多级计算系统通过边缘层、区域云数据中心和核心云数据中心来为5G业务提供充足的资源。但是,该系统内的网络规模较大,包含基站、交换机和路由器等大量的网络设备。当这些网络设备来自不同的供应商时,设备上的控制协议或编程接口
学位
随着图像技术的发展和成熟,视觉数据在各领域中日益普及,并呈爆炸性增长。如何对视觉事件进行识别,自动有效的建模、分析并从中发现有价值的信息和知识,是当今智能时代的难题之一。视觉事件识别的关键之一在于寻求有效的图像表征,突显视觉图像的内在结构和特定特征信息。深度卷积神经网络(CNN)已成为一种有效的图像表征方法,而图像事件的描述极其复杂,图像事件不仅与其所包含的许多视觉线索高度相关,还包含某些特定的概
学位
纳米科技的迅猛发展为人类的认知开启了一扇新的大门,也促成了在以操作单个原子、分子为特征的纳观世界中人类新的思维方式的形成。纳观世界里的事物所呈现出来的多姿多彩的结构和形态,以及由科学家们在实验室里操纵原子、分子而形成的全新的“造物”实践,同时引发了科学家和艺术家的极大兴趣和关注。随着这类“造物”实践的不断深入,由一批“科学艺术家”们创造的新的艺术形式——“纳米艺术”便应运而生了。“纳米艺术”具有科
学位
棘冠海星(Acanthaster planci)是珊瑚的天敌,可以对珊瑚礁生态系统造成重大的危害,但迄今尚未见其重金属含量与生物积累特征的报道。本文以南海珊瑚礁区的棘冠海星为研究对象,利用电感耦合等离子体质谱仪测定其12种重金属(含类金属As)的含量,通过主成分分析、Kruskal-Wallis方差检验的方法解析其分布特征。结果表明,因棘冠海星各组织器官的结构与功能差异,V、Cr、Cu、As、Cd
期刊
由于高光谱图像(Hyperspectral Image,HSI)的成像环境和成像传感器性能的限制,谱混淆、同物异谱及异物同谱等现象普遍存在于HSI中,这些因素增加了人工标注样本类别的难度及收集数据的成本。因此,在现实应用中,采集大量带有正确标注的HSI样本通常是极为困难的,这会导致有监督模型的过拟合现象。另一方面,谱混淆现象导致单一特征对HSI表征难以达到较好的可分性,多特征机器学习为处理HSI中
学位
生物质因其含碳量丰富、来源广泛、成本低、可再生等特点已成为生产碳材料的理想原料。我国作为一个农业大国,农业废弃生物质资源丰富,如何以农业生物质废弃物为原料,采用工艺简单、环境友好的方法制得性能优异的碳基材料,成为了人们普遍关心的问题。同时,近年来针对环境中难降解有机污染物和重金属的去除,生物质碳基催化及吸附复合材料,因其原料来源丰富、污染物去除效果好等优点,而备受人们重视。本研究以油菜秸秆等农业废
学位
不忘来时的路,走好未来的路。对中国共产党领导下的乡村文化建设进行回顾与展望,总结中国共产党领导下的乡村文化建设基本经验,谋划新时代中国共产党领导下乡村文化建设策略,既是对“不忘初心、牢记使命”主题教育的积极回应,也是对党中央提出的文化强国和乡村振兴战略的积极响应,不仅具有重要的理论价值,还具有重要的实践意义。新民主革命时期中国共产党领导下的乡村文化建设。新民主革命时期中国共产党领导下的乡村文化建设
学位
二十一世纪是生命科技的时代,是基因技术迅猛发展的时代,基因技术的应用和发展已经成为业内甚至是广大民众的热门话题。从较早进入人们视野的克隆羊多利,到近年黄军就和贺建奎事件,基因技术不仅仅给人类带来巨大的收益,也带来各种风险和伦理困境。那么,基因技术的应用是否应该持续下去?又该如何运用基因技术以保证得到足够的伦理辩护?这些问题成为专业人员和社会公众关注的重点之一。哈佛大学政治哲学教授迈克尔·桑德尔回答
学位
天然石英资源中普遍存在Al、Na、K等晶格杂质。晶格杂质难以通过常规选矿方法实现有效分离,是我国高纯石英制造业亟待解决的一个技术难题。本文针对石英晶格杂质元素分离问题进行深入研究。重点研究了Al、Na、K等元素在天然石英中可否发生扩散和偏析,并从理论计算和试验研究两方面分析了Al、Na、K元素扩散偏析规律和机制,进而创建并优化了可以有效纯化石英中Al、Na、K等晶格杂质元素的偏析剥蚀工艺,制备出了
学位
随着环境污染、化石燃料短缺、全球变暖等问题的日益加剧,环境问题和能源危机逐渐成为制约人类社会可持续发展的主要因素。其中,二氧化碳(CO2)等温室气体的过度排放已引起一系列的极端气候和环境问题。因此,将CO2转化为有机碳资源,或者将水(H2O)分解成氢气(H2)作为氢能,是实现CO2资源化利用以及开发清洁能源的有效措施之一。光催化技术由于其可直接将太阳能转化为化学能,在能源转化领域极具应用潜力。然而
学位