面向大规模图数据处理的虚拟机管理系统研究与实现

来源 :东南大学 | 被引量 : 1次 | 上传用户:dyq135621
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子商务、移动互联网、物联网等技术的进一步发展,数据的规模、产生速度、复杂性均日益增长,标志着人类社会已经进入了大数据时代。随着数据之间的联系变得更加紧密、依赖关系更加复杂,部分数据的分布模式逐渐具有图的特征。传统的大数据处理技术,如MapReduce批处理框架不适用于关系复杂、需要多次迭代的图数据。谷歌的Pregel系统通过并行化的思想,并行地进行顶点计算,大大提高了计算性能,为大规模图数据处理提供了新的思路。现有大规模图数据处理的研究工作均基于Pregel的思想,部分解决了大规模图数据处理的问题,但仍存在如下的问题:一方面忽略了未隔离应用间的资源竞争而造成的性能衰减;另一方面则忽略了应用各阶段对资源的弹性需求而造成的性能下降或者资源浪费问题。为了解决以上的问题,本硕士论文将虚拟化技术引入图数据处理中,通过深入分析图数据处理过程的执行特性,并结合虚拟化良好的进程隔离性以及灵活的资源弹性可管理性,提出面向应用的图划分以及资源分配与调度机制,实现根据应用的具体执行模式来进行资源的弹性供给,以提高图数据处理系统的整体执行效率。综上所述,本论文从以下四个方面开展研究工作:首先,研究大规模图数据处理应用执行模式的抽取和分析机制。基于开源类Pregel系统进行二次开发,完成对应用执行模式的抽取,并建立执行模式与底层资源需求间的映射关系,为后续虚拟资源的分配与调度提供可靠的理论依据,是本文研究工作的基础。其次,研究应用感知的大规模图数据划分方法。大规模图数据划分是并行计算的前提。本文在虚拟化环境中,根据应用的执行模式,对图数据进行合理地划分,从而减少网络通讯并且实现负载均衡。对图数据进行合理地划分一方面有助于更好地进行资源分配与调度,另一方面可以提升应用的执行性能。再次,研究面向应用执行模式的虚拟资源分配与调度机制。基于执行模式与底层资源需求的映射关系,设计面向应用的虚拟资源分配与调度机制,根据上层应用执行模式对资源进行细粒度的分配与调度,在保证上层应用性能的前提下提高资源利用率。最后,通过部署Openstack软件以实现虚拟化环境,在此基础上,实现了相关理论的研究工作,设计并开发了大规模图数据处理平台nutcat以集成应用特征抽取模块,应用感知的超块划分模块以及面向应用执行模式的虚拟资源分配与调度模块,并部署于东南大学云计算中心(SEU CLOUD)真实环境中。通过在真实的东南大学云计算中心环境中的实验结果表明,本文提出的应用感知的大规模图数据划分方法以及面向应用执行模式的虚拟资源分配与调度机制可以显著地提高应用的执行性能并提升虚拟资源利用率,并为大数据应用与虚拟化环境相结合提供了面向应用进行资源分配与调度的新思路。
其他文献
最新的国际视频编码标准H.264是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)组成的联合视频组(Joint Video Team, JVT)在2003年提出的。因为H.264采用了许多
随着我国教育事业的发展,对外籍教师(以下简称”外教”)的聘请需求在扩大。但是,聘请外教的工作没有一个稳定的信息化平台,申请来华工作的外籍友人不能利用信息化手段主动求
可视化分析是社会网络分析一个重要的方法。通过对社会网络进行可视化的展示,人们不仅能够对网络的结构以及各节点之间的联系获得直观清晰的认识,并且通过可视化展示效果的处
随着互联网技术的迅猛发展,因特网已经渗入到人们生活的方方面面,对人们的生活和工作产生了积极深远的影响。然而,随着网络技术的发展,当今的网络变得愈来愈复杂并越来越难以
关联规则作为数据挖掘的一个重要分支,目前已经在许多领域得到成功应用。然而,大多数的关联规则只考虑了事务属性之间的正向联系,对于隐藏在数据中的否定联系,却没有引起足够
粗糙集理论是一种处理模糊性和不确定性信息的新的数学理论方法。近年来,粗糙集理论受到许多学者的关注,特别是知识获取和人工智能领域的学者。目前,粗糙集理论已成功应用于模式
随着无线通信的广泛应用,无线通信系统的关键技术成为人们研究的热点问题,其中对码序列的研究是对无线通信技术研究的一个重要组成部分。对码序列的研究主要有两个方面的内容
Web服务是一种基于网络的、分布式的、自描述的模块化组件,它遵循一定的技术规范,采用WSDL, UDDI、SOAP等一套基于XML的标准和协议,使得人们可以不论平台、不论时间和地点的
随着信息时代的发展,信息技术在农业中的作用越来越重要,加强农业技术信息化建设,是提高农业综合生产能力和农村信息化建设的必然要求。开发一个农业技术信息服务平台,既能接
随着我国社会的快速发展,汽车等交通工具数量急剧上升,传统的车辆管理服务已经无法满足现代交通的需求,车辆监控管理系统成为国内外研究的热点。车辆监控管理系统融合三项先