论文部分内容阅读
云计算时代的来临使得传统资源专用模式的数据中心演变成新型资源共享模式的数据中心。一方面,数据中心网络结构从传统的层次化树状结构演变成了新型的扁平化对称结构,网络流量从“南北”流量为主演变成“东西”流量为主。因此,传统的数据中心网络调度机制已经不适应云计算数据中心的网络结构和流量模式。另一方面,资源共享模式的出现使得原有的数据中心应用已经不适用于云计算数据中心,新型的云计算数据中心应用开始大量涌现。本文将主要聚焦于云计算数据中心的网络调度和新型应用研究两大主线,完成了以下三个方面的研究:1.数据中心网络流族调度当前的数据中心网络调度研究常常以流为粒度进行调度,但是这种调度方式在对当前数据中心中大量出现的并行计算框架产生的数据流进行调度时表现并不理想,因为它忽视了这些并行的数据流之间存在的语义相关性,最终的调度结果并不能满足它们期望实现的效果。以流族为粒度的调度方法研究正是着眼于解决这类问题。本文设计了一个集中式的实时动态流族调度系统Seagull++,它着眼于减小平均流族完成时间和提升满足Deadline流族数目两个流族调度主要目标,通过实现流族信息获取模块和网络瓶颈探测模块,结合启发式调度算法,很好的实现了流族的实时动态调度,达到了期望的性能。小规模的真实测试平台实验和大规模仿真实验均证明了Seagull++系统在降低平均流族完成时间和提升满足Deadline流族数目上取得了良好的效果。2.数据中心应用——多租户远程虚拟系统计算机技术的迅猛发展,使得大众对计算资源的需求不断增加,人们通过不断升级个人计算设备以满足这种需求,随之带来了高昂的成本开销和硬件资源的浪费。虚拟化技术的诞生和云计算的发展与成熟为这一问题的解决带来一种行之有效的解决思路:通过远程连接到云计算数据中心中虚拟资源的方式,实现现有个人计算设备共享和复用数据中心中的硬件资源。但是,现实中个人计算设备多种多样(包括个人电脑,智能手机,可穿戴设备等等),如果为每一类设备都设计和实现一种专有的远程虚拟系统则会带来标准混乱,兼容性差,难于维护等各种问题。本文着力于搭建一种通用的多租户远程虚拟系统,它在云计算数据中心与个人计算设备之间架起必要的桥梁。该系统的主要贡献包括:一方面,这是一种通用的系统框架,通过模块化的资源适配,即可实现特定的虚拟系统。通过远程虚拟系统,个人计算设备只需要安装简单的应用程序,便可以直接使用远程数据中心的计算资源,达到降低个人计算设备性能要求,保护了个人敏感数据安全,易于集中管理与部署等目的。另一方面,系统设计了一种基于改进蚁群算法的虚拟计算单元的放置算法来满足多租户同时使用的需求,可以充分利用数据中心的硬件资源,避免浪费。为了验证系统的通用性,本文还分别针对两种不同类型的个人计算设备,即个人电脑和智能手机,构建了实例应用展示。在这两种不同类型设备使用的场景下,进行了大量的基准性能测试与用户体验测试。测试结果表明,本文提出的通用多租户远程虚拟系统,一方面,可以充分发挥数据中心的计算能力,避免硬件资源浪费,并且具有良好的可扩展性;另一方面,完全适用于低配置的客户端计算设备,也为终端用户带了良好的用户体验,比如高质量低延迟的视频显示,较低的电池消耗等等。3.数据中心应用——异构分布式深度神经网络基于深度神经网络的智能应用通常是部署于数据中心中高性能服务器上,相关研究主要关注如何提升深度神经网络性能。由于数据中心的高性能服务器通常以集群的方式存在,因此分布式的深度神经网络也成为了提升深度神经网络的重要方法之一。但是,这类分布式深度神经网络只是限于数据中心内部的同构服务器上采用,忽视了深度神经网络的数据来源采集者——搭载各类数据传感器的终端结点。这种忽视造成了一种研究方向的盲点,层次化的异构型分布式深度神经网络少有人研究。针对此研究盲点,本文提出了一种新型的层次化异构分布式深度神经网络框架HDDNN。它是一种以数据中心为核心,结合人工智能,云计算,物联网,普适计算概念于一体的新型智能应用。HDDNN框架通过将云结点,边缘结点和终端结点连接起来形成层次化的架构,并结合每类结点的特性和能力,最终设计和实现了分布式计算结点异构,分布式神经网络异构,分布式系统任务异构的新型数据中心应用。大量的实验论证了HDDNN框架具有更短的响应时间,高的准确性,更好的硬件利用率,高扩展性,使能隐私保护,使能容错性等特性。