面向IaaS云计算自适应资源管理机制

来源 :西北工业大学 | 被引量 : 0次 | 上传用户:sulianlwp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算(Cloud Computing)能通过虚拟化的方式,将系统内部多样化的异构资源封装成统一的计算资源池,并按需为用户提供所需的计算资源,是一种面向服务的计算模式。其中,基础设施即服务(Infrastructure as a Service,IaaS)作为云计算服务中的基础服务,主要是为用户提供按需的底层基础设施资源(计算资源、存储空间和网络带宽等)。而作为IaaS研究核心的资源管理和调度策略,对系统的稳定性和服务的可靠性起着非常重要的作用。  本文着重对IaaS中的虚拟资源管理机制,以及其在高性能应用集群、Web服务集群中的自适应资源分配及调度机制等方面进行了深入研究。首先通过现有流行的集群、虚拟化技术、云计算平台等相关研究,针对其资源的特点及现有资源管理策略中的不足,结合面向市场(Marketing-Oriented)的资源调度策略、资源协商(Negotiating)机制、资源预留(Advance Reservation)机制及自适应机制,侧重研究IaaS自适应资源管理机制;其次,针对现有集群资源管理机制在网格应用集群、高性能计算集群、电子商务应用中大量使用的Web集群,对于自适应资源协调机制所存在的不足,研究了基于云计算IaaS服务的资源分配及调度自适应弹性管理机制。最后,由于系统识别部分是自适应控制的关键,鉴于最小成分分析算法在自适应系统识别领域有显著的成效,因此本文结合目前最小成分分析算法在系统识别方面的特点及存在问题,研究IaaS服务的资源自适应识别算法。  本文所论述的研究内容,都是本文作者在Platform公司参与网格和云计算方面的合作课题中所取得的研究成果,这些成果不仅纳入市场上某些主流的商业项目,而且被成功、广泛应用到欧洲原子能(CERN)、美国国家航空航天局(NASA)等研究中心,可以保证研究具有高效性及高可用性。主要研究工作及创新点如下:  1)为了有效地管理虚拟资源,使资源使用率最大化,并能保证用户对资源使用的有效性,本文通过对虚拟资源的划分、预留及调度策略等方面的研究,提出了一种面向虚拟资源的IaaS资源管理机制。该机制实现了资源的按需分配和调度,从而为用户提供有效的IaaS服务。仿真实验结果表明,该方法能够提高虚拟资源的使用率及保证用户对资源使用的有效性。  2)提出了一种面向网格化Web集群的按需IaaS资源管理机制及其分配调度策略。Web集群使用一组作为后端节点的系统资源,能够有效地解决传统Web服务器的负载均衡及故障恢复问题,但是到目前为止,如何使Web集群更有效地利用系统资源尚未见到有效的解决方案。针对这一问题,本章采取一种网格化Web集群的思想,并针对网格化的Web集群后端节点制定了一种按需IaaS资源管理机制及其分配调度策略,此技术路线能够有效地提高Web集群对资源的使用效率。  3)提出了一种面向高性能应用集群的自适应IaaS资源弹性管理机制。高性能计算(High Performance Computing,HPC)集群通过整合并利用一组计算节点的计算能力来处理大量提交到高性能应用系统中的计算作业。吞吐量是高性能计算机群的一个重要考察指标,然而不恰当的容量规划及其相关的资源管理机制,将会严重影响高性能计算集群的吞吐量,从而降低高性能应用集群的效率,同时还会大大浪费投入的成本。为了克服这些问题,本文所提出的弹性管理机制通过动态按需调节高性能应用环境中异构资源的特性,使得高性能应用环境能够针对等待作业进行异构资源的按需切换,从而减少了等待作业以提高系统的吞吐量、提高性能。  4)电子商务应用中,Web集群能够作为一个强大的Web服务器来处理巨大的并发请求。然而,传统的Web集群在对固有的基础设施进行预部署和预配置时,由于不适当的预先计划,可能会导致过多的成本投入或资源冗余、浪费,尤其是面对无法预计的峰值问题。因此本文首先在云计算系统上通过管理虚拟机来部署Web集群,以替代在固定的基础设施上部署Web集群的方法,然后进一步通过基于借入-借出(Lend-Brow)策略的资源预留机制,提出一种自适应IaaS资源管理机制和高低水位线(low-high Water Line)阈值检测负载均衡算法,使Web集群能够按需对集群负载进行计算节点的自适应调节,从而提高了资源的利用率,且有效地减少了投入成本和能耗。  5)提出了两种基于递归最小成分分析的IaaS自适应系统识别算法。由于云计算系统资源的动态性,及自适应控制研究对象的不确定性,常规反馈调节机制的效果往往难以令人满意。针对自适应调节的不确定性所造成的系统波动,需要一个高效、精确的系统识别算法,从而为动态变化的系统负载提供预测的计算资源。近来最小成分分析法被广泛用于系统识别方面,因此本章对其进行分析并优化,进而在此基础上构建了a-RMCA和f-RMCA两种算法。其中a-RMCA算法具有高精度的优点,但是计算速度有待改进;而f-RMCA算法运算速度较快,但精度稍低。最后本文从数学的角度证明了算法的收敛性,并通过数学建模仿真和真实环境测试,证明了算法的有效性。
其他文献
访问控制机制的主要目的在于阻止信息和数字资源的非法访问。从二十世纪六十年代到二十世纪九十年代,有三个主要的访问控制模型用于保护数字资源和信息免于未经授权用户的威胁
随着Linux操作系统在嵌入式平台的广泛应用,一方面Linux被移植到越来越多的平台,另一方面Linux上的应用越来越丰富。SH7751R开发板是Renesas公司开发的32位高性能处理器平台,
Internet自诞生以来不断成长,尤其是最近几年更是得到长足发展,功能不断扩展,信息容量呈爆炸性趋势增长,然而在信息极大丰富的同时,用户也面临着信息过载和资源迷向的问题。Intern
随着计算机网络技术的飞速发展,计算机网络在现代生活中的重要性正不断加强。但随之而来的计算机网络攻击也不断增加,顺应这一趋势,涌现出了许多的网络安全技术,如网络防火墙、病
云计算的高速发展趋势,得益于数据中心能够提供高性能的计算能力和存储能力作为支撑。数据中心将虚拟化后的资源租用给用户以便让用户构建自己的集群计算设施并在该设施上运行
结构化P2P网络现在变得非常流行。然而,当结点加入或退出时,整个网络需要重新组织。为了减小由于网络重组造成的性能降低,我们提出一种上层为Chord下层为群的两层混合P2P网络
移动通信从20世纪80年代进入公众民用通信领域至今,底层通信技术的不断进步和网络架构的逐渐成熟使得移动通信的传统业务需求得到了满足。区别于传统需求的移动通信的其他需
网格(Grid),又称为虚拟计算环境,是近年来兴起的一种重要的网络信息技术,它的出现是为了实现更全面的资源共享。随着开放网格服务体系结构OGSA(Open Grid Services Architecture
延迟容忍传感器网络是近年来新兴的一种无线网络形式,是移动传感器网络和延迟容忍网络的相互融合的结果,具有网络数据传输延迟、错误容忍的特点,可以被广泛应用在车联网、水下数
本体(Ontology)是语义web的核心,它是对概念的规范化,是对概念及其之间关系的描述。本体学习(ontology learning)是产生本体的一种手段,它是从目前不含显式语义信息的资源中