数据中心的网络调度与应用研究

来源 :上海交通大学 | 被引量 : 1次 | 上传用户:Shan417
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算时代的来临使得传统资源专用模式的数据中心演变成新型资源共享模式的数据中心。一方面,数据中心网络结构从传统的层次化树状结构演变成了新型的扁平化对称结构,网络流量从“南北”流量为主演变成“东西”流量为主。因此,传统的数据中心网络调度机制已经不适应云计算数据中心的网络结构和流量模式。另一方面,资源共享模式的出现使得原有的数据中心应用已经不适用于云计算数据中心,新型的云计算数据中心应用开始大量涌现。本文将主要聚焦于云计算数据中心的网络调度和新型应用研究两大主线,完成了以下三个方面的研究:1.数据中心网络流族调度当前的数据中心网络调度研究常常以流为粒度进行调度,但是这种调度方式在对当前数据中心中大量出现的并行计算框架产生的数据流进行调度时表现并不理想,因为它忽视了这些并行的数据流之间存在的语义相关性,最终的调度结果并不能满足它们期望实现的效果。以流族为粒度的调度方法研究正是着眼于解决这类问题。本文设计了一个集中式的实时动态流族调度系统Seagull++,它着眼于减小平均流族完成时间和提升满足Deadline流族数目两个流族调度主要目标,通过实现流族信息获取模块和网络瓶颈探测模块,结合启发式调度算法,很好的实现了流族的实时动态调度,达到了期望的性能。小规模的真实测试平台实验和大规模仿真实验均证明了Seagull++系统在降低平均流族完成时间和提升满足Deadline流族数目上取得了良好的效果。2.数据中心应用——多租户远程虚拟系统计算机技术的迅猛发展,使得大众对计算资源的需求不断增加,人们通过不断升级个人计算设备以满足这种需求,随之带来了高昂的成本开销和硬件资源的浪费。虚拟化技术的诞生和云计算的发展与成熟为这一问题的解决带来一种行之有效的解决思路:通过远程连接到云计算数据中心中虚拟资源的方式,实现现有个人计算设备共享和复用数据中心中的硬件资源。但是,现实中个人计算设备多种多样(包括个人电脑,智能手机,可穿戴设备等等),如果为每一类设备都设计和实现一种专有的远程虚拟系统则会带来标准混乱,兼容性差,难于维护等各种问题。本文着力于搭建一种通用的多租户远程虚拟系统,它在云计算数据中心与个人计算设备之间架起必要的桥梁。该系统的主要贡献包括:一方面,这是一种通用的系统框架,通过模块化的资源适配,即可实现特定的虚拟系统。通过远程虚拟系统,个人计算设备只需要安装简单的应用程序,便可以直接使用远程数据中心的计算资源,达到降低个人计算设备性能要求,保护了个人敏感数据安全,易于集中管理与部署等目的。另一方面,系统设计了一种基于改进蚁群算法的虚拟计算单元的放置算法来满足多租户同时使用的需求,可以充分利用数据中心的硬件资源,避免浪费。为了验证系统的通用性,本文还分别针对两种不同类型的个人计算设备,即个人电脑和智能手机,构建了实例应用展示。在这两种不同类型设备使用的场景下,进行了大量的基准性能测试与用户体验测试。测试结果表明,本文提出的通用多租户远程虚拟系统,一方面,可以充分发挥数据中心的计算能力,避免硬件资源浪费,并且具有良好的可扩展性;另一方面,完全适用于低配置的客户端计算设备,也为终端用户带了良好的用户体验,比如高质量低延迟的视频显示,较低的电池消耗等等。3.数据中心应用——异构分布式深度神经网络基于深度神经网络的智能应用通常是部署于数据中心中高性能服务器上,相关研究主要关注如何提升深度神经网络性能。由于数据中心的高性能服务器通常以集群的方式存在,因此分布式的深度神经网络也成为了提升深度神经网络的重要方法之一。但是,这类分布式深度神经网络只是限于数据中心内部的同构服务器上采用,忽视了深度神经网络的数据来源采集者——搭载各类数据传感器的终端结点。这种忽视造成了一种研究方向的盲点,层次化的异构型分布式深度神经网络少有人研究。针对此研究盲点,本文提出了一种新型的层次化异构分布式深度神经网络框架HDDNN。它是一种以数据中心为核心,结合人工智能,云计算,物联网,普适计算概念于一体的新型智能应用。HDDNN框架通过将云结点,边缘结点和终端结点连接起来形成层次化的架构,并结合每类结点的特性和能力,最终设计和实现了分布式计算结点异构,分布式神经网络异构,分布式系统任务异构的新型数据中心应用。大量的实验论证了HDDNN框架具有更短的响应时间,高的准确性,更好的硬件利用率,高扩展性,使能隐私保护,使能容错性等特性。
其他文献
火针疗法的临床应用农泽宁(广西中医学院第一附院针灸科,南宁530023)主题词义针疗法火针又叫燔针、粹针,采用特制针具在灯焰上烧红后,迅速刺入人体一定部位,而温经散寒、补益阳气、调和气
期刊
随着全球气候变化和人类居住环境遭到破坏,近年来各地自然灾害呈增多扩大趋势,给人民群众生命财产造成巨大损失,成为影响经济社会发展和群众脱贫致富的一大障碍。民兵作为不
很多刚接触地暖的用户,都会对地暖纷繁的报价摸不着头脑,尤其是“分集水器”一项,不同品牌的价格可能会差一倍以上!还有几个回路、分水器和集水器分开报等很多种情况。那么到
依据宝鸡钛业股份有限公司现有的装备和工艺水平,以及对同规格TC4锻坯探伤摸底,用45^#钢进行了预锻工艺试验,拟订了飞机用大型TC4合金锻件生产工艺,并用该工艺试制了飞机用TC4合
剥脱性皮炎型药疹是一种严重变态反应性药疹,表现为严重而广泛的全身或局部皮肤剥脱,可伴有支气管炎、中毒性肝炎、白细胞显著升高或降低,甚至缺乏,严重者因全身衰竭或继发感染而
吉林台一级水电站左岸泄洪、引水发电系统混凝土结构量较大,个别部位混凝土产生了裂缝。通过分析其成因,采取了在入冬前封闭端头避免洞内温度下降和及时调整混凝土配合比等措施
目的 探讨超声造影动态灌注曲线f(t)对原发性肝细胞癌(hepatocellular carcinoma,HCC)与肝局灶性结节增生(focal nodular hyperplasia,FNH)鉴别诊断的价值.方法 对115个HCC和42个FN
创业者的伦理困境是创业公司在资源获取、关系维护、政策制度执行、技术开发与淘汰,以及衍生创业等活动中遭遇到的与伦理选择相关的困难处境,有来自创业者个人、创业组织和社
云环境中如何证明虚拟平台的可信,是值得研究的问题.由于云环境中虚拟平台包括运行于物理平台上的虚拟机管理器和虚拟机,它们是不同的逻辑运行实体,具有层次性和动态性,因此,