论文部分内容阅读
云计算作为下一代信息技术的载体,其数据的存储、处理、分析、决策、任务的调度、资源的管理都在云中进行,而且其任务繁多、数据量巨大、用户需求不一、资源类型各异,因而对其资源部署与任务调度提出了新的更高的要求:既要满足用户对获取高质量服务的需求,又要尽可能地提高系统的资源利用率、保证服务提供商获得最大收益,从可持续发展和绿色环保的角度出发,还要保持高效节能;所以资源部署与任务调度是云计算研究和实现中亟待解决的关键问题。本文针对云计算环境下的数据部署、任务调度问题,从资源的类型、特点、用户获取高性能体验和任务调度的需求等出发,对数据密集型应用、用户对性能和费用敏感、数据中心性能能耗兼顾等情况下的数据部署和任务调度问题进行了研究,其主要内容包括以下几个方面:(1)云计算环境下基于关联量的数据部署与任务调度方法针对数据密集型应用在数据传输方面存在的数据传输量大、数据传输次数多、网络带宽有限,因而数据传输效率低的问题,本文提出了基于数据间最大关联量的数据依赖模型,利用原始数据形成关联矩阵,对该关联矩阵做有限次的矩阵初等变换即可将其转换成聚类矩阵;设计了基于该模型的键能聚类算法,从而将关联量最大的数据聚集在一起;同时设计了K分割算法将聚类矩阵分割为K个部分,根据该分割结果即可将任务调度到相应的数据中心。仿真结果表明该模型和算法能有效地减少数据的传输次数和传输量,从而提高系统的性能。(2)基于粒子群算法的任务调度优化方法由于不同数据中心的收费标准、通信带宽和处理能力通常存在差异,所以任务调度上的差异会显著地影响用户的使用费用和性能体验。本文研究了多数据中心环境下的任务调度问题,以优化用户的性能体验和使用费用。具体地是将任务调度映射为处理交互图,基于处理交互图提出了任务调度优化的数学模型,进而设计了采用基于最小位置规则的粒子位置矢量离散化映射方法、用于优化数据部署和任务调度的粒子群算法,以优化用户的性能体验;鉴于粒子群算法后期探索能力较弱,为了提高粒子群算法的求解精度,设计了嵌入可变邻域搜索的粒子群优化算法,并且通过大量的实验和分析,找到了其最优的基准值、基准度、步长。仿真结果显示,提出的模型和算法能够显著优化处理时间、传输时间、传输费用和处理费用,提高处理性能和相应的用户体验。(3)云计算环境下能耗性能感知的优化方法针对数据中心普遍存在的资源利用率低、资源和能耗浪费严重的问题,本文研究了虚拟化数据中心环境下的虚拟机动态整合问题,以优化性能和能耗,提高数据中心的综合性能,满足用户的服务质量要求。本文首先研究和改进了主机的能耗模型,提出了指数能耗模型;其次采用了基于局部回归分析的CPU利用率预测方法,以确定主机是否过载和是否需要迁移虚拟机;然后针对轻载检测,提出了基于可变均值、最小利用率和第一四分位数的轻载检查方法,以确定是否需要迁移虚拟机;对于虚拟机的迁移问题,提出了最小迁移时间方法、最大CPU利用率方法和最小CPU利用率方法,以确定应该迁移那个虚拟机;最后设计了能耗性能感知的最佳适应算法,对虚拟机进行部署,以优化性能与能耗。仿真结果表明,可变均值的轻载检查方法、局部回归分析的过载检查方法、最大利用率的虚拟机选择方法和能耗性能感知的最佳适应算法不但提高了用户的性能感受,而且优化了系统的能耗。(4)基于排队论的性能指标动态优化方法顾客的服务质量需求和到达率不同,云计算数据中心所需提供的服务器数量也不同。为了研究最佳的服务器数量随顾客的服务质量需求和到达率等的变化规律,本文研究了多到达、两服务窗能力不等的条件下基于排队论的解决方法,通过分析证明了稳态解的存在条件,理论推导和实验验证了参数Lq、Ls和Wq、Ws的具体表达式。在此基础上研究了多到达、多服务窗能力不等的条件下的排队论模型,并设计了相应的综合优化策略、模型和算法,仿真结果表明其性能明显优于经典的先到先服务方法和短服务优先排队方法,能显著地降低顾客排队等待服务的时间均值和队列长度均值,且在相同时间内能为更多的顾客提供服务。