面向多数据中心的云服务优化技术研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:hesur
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一种计算能力的服务化,一般分为基础设施即服务(IaaS)、平台即服务(PaaS)以及软件即服务(SaaS)三层。随着云服务的快速发展与不断迭代,单数据中心已不足以支撑日益增长的需求规模,云计算基础设施开始逐渐向多数据中心架构演进。然而,在多数据中心架构上提供新型IaaS/PaaS/SaaS服务以及相对应的计算模式,还面临着诸多的问题与挑战,数据中心间的广域网络是其中一个主要瓶颈。由于数据中心间网络资源的稀缺性、动态化以及传输成本高、价格差异大等问题,面向多数据中心部署并提供云服务主要还面临三个方面的挑战:在按需伸缩的IaaS层面,虚拟集群扩展的成本难以降低;在大数据PaaS平台层面,跨域数据分析的性能难以保障;在面向海量会话的SaaS层面,以用户与云服务提供商共赢为目标的请求分配难以实现。基于此,本论文主要围绕多数据中心云服务的网络成本最小化,从数据中心间网络的基础理论和关键技术出发,分别针对虚拟集群扩展、跨域数据分析以及用户请求分配三方面的问题展开研究工作,具体内容及贡献如下。
  在按需伸缩的IaaS层面,如何实现高效的虚拟机放置与迁移策略,来支撑云租户和应用的虚拟集群扩展需求,是一个关键问题。现有方法主要关注数据中心内部,很少考虑数据中心间稀缺的网络传输资源以及昂贵的链路带宽成本,并不能简单应用于多数据中心的工作场景。因此,本文研究了跨数据中心的虚拟集群扩展机制,以兼顾数据中心间网络的带宽成本最小化与带宽保障需求。具体而言,本文首先提出了一种动态规划算法,以最低的带宽成本为新增虚拟机寻找一个最优位置。其次,针对不变更初始虚拟机放置就无法进行扩展的场景,本文接着提出了一种虚拟机迁移优化算法来扩展虚拟集群,并同时将带宽成本与迁移成本的总和最小化。实验结果验证了本文算法能够有效降低数据中心间的带宽成本,并同时满足虚拟机对之间的带宽保障需求。
  在大数据PaaS平台层面,面向多数据中心的数据分析会引发“成本—时间”和“成本—吞吐量”的性能权衡问题,本文围绕这两个重要问题依次展开研究。首先,跨域数据分析应用在数据中心间网络上传输大量coflow,造成了“成本—时间”权衡问题。现有方法要么仅仅缩短了coflow的平均完成时间,要么只是降低了数据中心间的平均传输成本,二者无法同时兼顾。为此,本文构建了一个以传输成本与完成时间联合最小化为目标的coflow调度与路由问题,并提出了一个coflow可感知的在线控制框架Lever,以实现跨数据中心coflow的“成本—时间”权衡。理论分析与实验结果表明,在没有任何coflow未来信息的情况下,Lever具有良好的近似比,并可以有效地降低数据中心间的平均传输成本、缩短coflow的平均完成时间。其次,在跨域数据分析系统中,大量并发查询请求带来传输成本的激增,而单纯优化传输成本则会进一步导致系统吞吐量的下降,现有方法并未尝试解决该问题。为此,本文联合考虑数据中心间网络传输成本与系统吞吐量构建了一个长期随机优化问题,并基于Lyapunov优化技术提出了一个双时间尺度的在线控制框架2TGDA。该框架通过粗时间尺度调整输入数据在数据中心间的分布,并在每个细时间尺度上决定处理多少个查询请求,从而实现“成本—吞吐量”权衡。理论分析表明,2TGDA能够达到近似最优解,并同时保持系统的稳定性及鲁棒性。实验结果进一步验证了该框架可以有效降低跨数据中心的传输成本、提高系统吞吐量。
  在面向海量会话的SaaS层面,如何设计一个有效的自适应请求分配算法,以最小化云服务提供商的带宽成本并同时保障用户的延迟需求,是一个核心问题。现有方法均存在一些局限性:有些方法只专注于优化其中一方的利益;另一些方法则在联合优化时,简单忽略了延迟需求与带宽成本多样性这些实际场景中不可或缺的因素。为此,本文首先将联合优化下的用户请求分配构建为一个整数规划问题,并将其松弛为连续的凸优化进行有效求解。其次设计了一个基于随机抽样技术的请求分配算法,以确保转换后凸优化问题的最优解是原整数规划问题的可行解,从而得出有效的请求分配策略。本文还证明了该算法可以为总带宽成本提供一个紧的上界。实验结果表明,本文所提出的算法在有效降低SaaS云服务提供商总带宽成本的同时,还可以保障最终用户的延迟需求。
其他文献
高速移动网络作为“泛在”移动互联网的重要组成部分,受到了广泛的关注。随着网络技术发展,高速移动网络可以融合多个电信运营商提供的网络,为移动用户提供丰富的网络信息服务。然而,传统的高速移动网络因其自身架构的局限性和复杂的无线链路特点,难以灵活地协同异构网络来满足移动信息服务的多维需求,造成服务质量差、用户体验不佳和资源利用率低等弊端。因此,本文在智慧标识网络理论基础下,结合高速移动网络特点与服务多维
光纤光栅是最常见的光学器件之一,基于光纤光栅的光电子器件具有体积小、易集成和易与光纤通信系统相连接等优点,是光网络的重要基础。啁啾相移光纤光栅(PS-CFBG)通过在啁啾光纤光栅(CFBG)上引入相移,使其频谱内打开一个或多个极窄的“窗口”,在多通道窄带滤波方面具有明显优势,能够广泛应用于波分复用、多波长调制以及多参量传感等领域。本论文采用V-I传输矩阵法深入分析了PS-CFBG的频谱特性,并以此
LTE(Long Term Evolution)作为下一代移动通信技术的长期演进,具有传送速率高、时延低、可靠性高、载波带宽可灵活配置等特点。然而高速铁路电磁环境复杂,电气化列车运行时弓网离线放电现象频发,其主要频谱能量范围可达几百MHz,是干扰铁路移动通信系统正常工作的主要骚扰源。此外,根据我国现有的频谱资源分布,需要考虑LTE-R在400MHz范围内的适用性,因此有必要研究分析弓网离线辐射骚扰
学位
双目立体视觉是计算机视觉与图像处理等研究领域的一项重点任务,旨在通过计算左右目视点图像中像素点的视差,进而恢复其场景深度,包含了图像中丰富的几何结构信息。因此,研究双目立体视觉的关键是从立体图像对中提取精准、稠密的视差图,继而为更高级的视觉任务提供可靠的先验信息。21世纪以来,随着计算机硬、软件水平的快速发展,双目立体匹配计算技术已被广泛应用于增强现实、自动驾驶、无人机导航制导与控制、三维重建以及
近年来,小型无人直升机及其相关技术得到了快速发展,被应用于军事和民用的许多领域。小型无人直升机具有可垂直起降,机动性高,续航时间长等特点,但是其内外部结构较为复杂,整体呈现静不稳定性,状态参数之间存在强耦合,系统高度非线性,这些因素都给小型无人直升机飞行控制系统的设计带来了较大的挑战,也制约了小型无人直升机更进一步的广泛应用。本文基于小型无人直升机的飞行动力学结构特性给出了其非线性和线性模型,对于
近年来,随着人工智能技术进入发展的黄金时期,移动机器人领域也迎来了新的发展机遇。作为机器人领域的核心部分,基于SLAM的室内自主导航技术受到国内外学者的广泛关注。本研究以机器人的室内自主导航技术为研究背景,分别对SLAM技术,机器人自定位及路径规划三个部分进行理论的研究,在此基础上利用实验验证导航系统各模块的有效性,并结合ROS的分布式网络完成实际的应用。  首先,详细介绍了移动机器人硬件配置,并
输出调节问题是自动控制领域中的核心问题之一,其包括了系统的镇定、抑制外部的干扰和跟踪参考信号等控制问题。它的研究目标是设计反馈控制器使得系统能够抑制外部的干扰和跟踪参考输入,并且闭环系统的信号是最终一致有界的。然而在大多数文献中,其研究内容中大部分的系统控制方向都是已知的,显然只有较少的系统能满足这个条件,这就限制了其在实际问题中的应用。  本文首先研究具有未知控制方向的不确定非线性系统的自适应输
CNN pruning is a well-known process that is highly recommended in the optimization of neural network performance such as reducing computational costs of neural networks.Nowadays, pruning approaches fo
软件缺陷报告的严重性分析在软件维护过程中起到关键作用。随着软件规模的不断增大,越来越多的软件公司使用Bugzilla和Jira等缺陷跟踪系统管理软件缺陷。这些系统利用缺陷报告记录软件缺陷,并通过分析缺陷报告的严重程度实现软件维护资源的合理分配,降低软件维护成本。  结合缺陷报告的严重性属性,已有研究主要基于缺陷报告的文本信息,通过分类算法完成缺陷报告严重程度的预测。然而,当前研究主要停留在粗粒度的
学位
双关语是一种用来描述和理解词义歧义的修辞表达,主要通过词的多重含义或者同音近音的方式,从而使得双关语在上下文语境中具有双重含义,其语言表达更为含蓄、幽默。双关语不但是一种语言学的修辞现象,也是一种隐式情感表达方式,具有独特的研究风格,给人们留下深刻的印象。近年来,随着互联网及其技术的不断发展,微博、推特、论坛等社交媒体平台成为全球最大规模的公共数据源,而双关语文本出现在更加多元化的社交媒体平台上,