论文部分内容阅读
云计算是一种计算能力的服务化,一般分为基础设施即服务(IaaS)、平台即服务(PaaS)以及软件即服务(SaaS)三层。随着云服务的快速发展与不断迭代,单数据中心已不足以支撑日益增长的需求规模,云计算基础设施开始逐渐向多数据中心架构演进。然而,在多数据中心架构上提供新型IaaS/PaaS/SaaS服务以及相对应的计算模式,还面临着诸多的问题与挑战,数据中心间的广域网络是其中一个主要瓶颈。由于数据中心间网络资源的稀缺性、动态化以及传输成本高、价格差异大等问题,面向多数据中心部署并提供云服务主要还面临三个方面的挑战:在按需伸缩的IaaS层面,虚拟集群扩展的成本难以降低;在大数据PaaS平台层面,跨域数据分析的性能难以保障;在面向海量会话的SaaS层面,以用户与云服务提供商共赢为目标的请求分配难以实现。基于此,本论文主要围绕多数据中心云服务的网络成本最小化,从数据中心间网络的基础理论和关键技术出发,分别针对虚拟集群扩展、跨域数据分析以及用户请求分配三方面的问题展开研究工作,具体内容及贡献如下。
在按需伸缩的IaaS层面,如何实现高效的虚拟机放置与迁移策略,来支撑云租户和应用的虚拟集群扩展需求,是一个关键问题。现有方法主要关注数据中心内部,很少考虑数据中心间稀缺的网络传输资源以及昂贵的链路带宽成本,并不能简单应用于多数据中心的工作场景。因此,本文研究了跨数据中心的虚拟集群扩展机制,以兼顾数据中心间网络的带宽成本最小化与带宽保障需求。具体而言,本文首先提出了一种动态规划算法,以最低的带宽成本为新增虚拟机寻找一个最优位置。其次,针对不变更初始虚拟机放置就无法进行扩展的场景,本文接着提出了一种虚拟机迁移优化算法来扩展虚拟集群,并同时将带宽成本与迁移成本的总和最小化。实验结果验证了本文算法能够有效降低数据中心间的带宽成本,并同时满足虚拟机对之间的带宽保障需求。
在大数据PaaS平台层面,面向多数据中心的数据分析会引发“成本—时间”和“成本—吞吐量”的性能权衡问题,本文围绕这两个重要问题依次展开研究。首先,跨域数据分析应用在数据中心间网络上传输大量coflow,造成了“成本—时间”权衡问题。现有方法要么仅仅缩短了coflow的平均完成时间,要么只是降低了数据中心间的平均传输成本,二者无法同时兼顾。为此,本文构建了一个以传输成本与完成时间联合最小化为目标的coflow调度与路由问题,并提出了一个coflow可感知的在线控制框架Lever,以实现跨数据中心coflow的“成本—时间”权衡。理论分析与实验结果表明,在没有任何coflow未来信息的情况下,Lever具有良好的近似比,并可以有效地降低数据中心间的平均传输成本、缩短coflow的平均完成时间。其次,在跨域数据分析系统中,大量并发查询请求带来传输成本的激增,而单纯优化传输成本则会进一步导致系统吞吐量的下降,现有方法并未尝试解决该问题。为此,本文联合考虑数据中心间网络传输成本与系统吞吐量构建了一个长期随机优化问题,并基于Lyapunov优化技术提出了一个双时间尺度的在线控制框架2TGDA。该框架通过粗时间尺度调整输入数据在数据中心间的分布,并在每个细时间尺度上决定处理多少个查询请求,从而实现“成本—吞吐量”权衡。理论分析表明,2TGDA能够达到近似最优解,并同时保持系统的稳定性及鲁棒性。实验结果进一步验证了该框架可以有效降低跨数据中心的传输成本、提高系统吞吐量。
在面向海量会话的SaaS层面,如何设计一个有效的自适应请求分配算法,以最小化云服务提供商的带宽成本并同时保障用户的延迟需求,是一个核心问题。现有方法均存在一些局限性:有些方法只专注于优化其中一方的利益;另一些方法则在联合优化时,简单忽略了延迟需求与带宽成本多样性这些实际场景中不可或缺的因素。为此,本文首先将联合优化下的用户请求分配构建为一个整数规划问题,并将其松弛为连续的凸优化进行有效求解。其次设计了一个基于随机抽样技术的请求分配算法,以确保转换后凸优化问题的最优解是原整数规划问题的可行解,从而得出有效的请求分配策略。本文还证明了该算法可以为总带宽成本提供一个紧的上界。实验结果表明,本文所提出的算法在有效降低SaaS云服务提供商总带宽成本的同时,还可以保障最终用户的延迟需求。
在按需伸缩的IaaS层面,如何实现高效的虚拟机放置与迁移策略,来支撑云租户和应用的虚拟集群扩展需求,是一个关键问题。现有方法主要关注数据中心内部,很少考虑数据中心间稀缺的网络传输资源以及昂贵的链路带宽成本,并不能简单应用于多数据中心的工作场景。因此,本文研究了跨数据中心的虚拟集群扩展机制,以兼顾数据中心间网络的带宽成本最小化与带宽保障需求。具体而言,本文首先提出了一种动态规划算法,以最低的带宽成本为新增虚拟机寻找一个最优位置。其次,针对不变更初始虚拟机放置就无法进行扩展的场景,本文接着提出了一种虚拟机迁移优化算法来扩展虚拟集群,并同时将带宽成本与迁移成本的总和最小化。实验结果验证了本文算法能够有效降低数据中心间的带宽成本,并同时满足虚拟机对之间的带宽保障需求。
在大数据PaaS平台层面,面向多数据中心的数据分析会引发“成本—时间”和“成本—吞吐量”的性能权衡问题,本文围绕这两个重要问题依次展开研究。首先,跨域数据分析应用在数据中心间网络上传输大量coflow,造成了“成本—时间”权衡问题。现有方法要么仅仅缩短了coflow的平均完成时间,要么只是降低了数据中心间的平均传输成本,二者无法同时兼顾。为此,本文构建了一个以传输成本与完成时间联合最小化为目标的coflow调度与路由问题,并提出了一个coflow可感知的在线控制框架Lever,以实现跨数据中心coflow的“成本—时间”权衡。理论分析与实验结果表明,在没有任何coflow未来信息的情况下,Lever具有良好的近似比,并可以有效地降低数据中心间的平均传输成本、缩短coflow的平均完成时间。其次,在跨域数据分析系统中,大量并发查询请求带来传输成本的激增,而单纯优化传输成本则会进一步导致系统吞吐量的下降,现有方法并未尝试解决该问题。为此,本文联合考虑数据中心间网络传输成本与系统吞吐量构建了一个长期随机优化问题,并基于Lyapunov优化技术提出了一个双时间尺度的在线控制框架2TGDA。该框架通过粗时间尺度调整输入数据在数据中心间的分布,并在每个细时间尺度上决定处理多少个查询请求,从而实现“成本—吞吐量”权衡。理论分析表明,2TGDA能够达到近似最优解,并同时保持系统的稳定性及鲁棒性。实验结果进一步验证了该框架可以有效降低跨数据中心的传输成本、提高系统吞吐量。
在面向海量会话的SaaS层面,如何设计一个有效的自适应请求分配算法,以最小化云服务提供商的带宽成本并同时保障用户的延迟需求,是一个核心问题。现有方法均存在一些局限性:有些方法只专注于优化其中一方的利益;另一些方法则在联合优化时,简单忽略了延迟需求与带宽成本多样性这些实际场景中不可或缺的因素。为此,本文首先将联合优化下的用户请求分配构建为一个整数规划问题,并将其松弛为连续的凸优化进行有效求解。其次设计了一个基于随机抽样技术的请求分配算法,以确保转换后凸优化问题的最优解是原整数规划问题的可行解,从而得出有效的请求分配策略。本文还证明了该算法可以为总带宽成本提供一个紧的上界。实验结果表明,本文所提出的算法在有效降低SaaS云服务提供商总带宽成本的同时,还可以保障最终用户的延迟需求。