面向分布式图计算的性能优化研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:aji_y
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为现实世界的一种典型抽象,图(graph)在机器学习、人工智能、知识图谱等相关领域都发挥着重要作用。随着图数据规模的不断增长,单机已经无法满足实际计算的需求,分布式图计算领域的相关研究得到了迅猛发展。对于分布式图计算系统而言,如何均衡系统内各个计算节点之间的计算负载、如何减少系统内存在的通信开销,是目前分布式图计算领域面临的重大挑战和难题。所以对分布式图计算框架进行相应优化,减少冗余计算和冗余通信是实现分布式图计算系统性能优化的关键问题。本文主要的研究内容包括:一、深入研究并分析了Graph 500基准测试程序现有的优化技术,在分析其技术优势时,同时揭示了优化技术存在的固有缺陷,提出了相应的优化方法。二、深入研究并分析了现有的RDF查询系统,根据各种不同系统底层数据存储形式的不同,通过分析其存储开销、计算开销以及查询效率,针对各种系统所存在的不足,提出了优化方向。三、本文针对Graph 500基准测试程序存在大量冗余通信的缺陷,分析各类优化算法的不足,提出了基于通信剪枝的图计算优化方法PruX。通过研究Graph 500基准测试程序,分析系统内通信产生的原因,认为系统内存在大量可以去除的冗余通信。通过大量减少系统内固有的冗余通信,达到提升BFS算法性能的目的。具体来说,PruX算法在每个计算节点实现了对顶点状态的记录,通过实现对顶点访问状态的预检测,减少了系统内部的通信开销,提升了算法效率。针对PruX算法带来的额外存储开销过大的问题,提出了基于2D划分的PruX算法,用于解决在大规模图数据中PruX额外存储开销过大的瓶颈,增加了PruX算法的可拓展性,同时提出相应优化手段解决了2D划分过程中产生的额外通信开销。四、本文通过对RDF查询相关内容进行探究,提出了基于数据存储压缩的RDF查询优化方法。在底层数据存储时,重新组织数据的存储形式,同时修改相应的数据访问路径,减少了每次查询时所需的比较次数,减少了工作量,降低了计算负载,从而提升了算法性能。具体来说,主语相同的数据放在相同的数据结构中,所有数据共用相同的主语,将其中谓语相同的数据放在相同的数据结构中,此时,其中所有的数据共用主语和谓语。当执行宾语缺失的查询时,找到对应的主语、谓语共用区域,输出其中宾语即可。对于主语缺失时,所进行的操作时类似的。将谓语按照对应的形式重新存储一次,对于谓语缺失的操作也可以按照同样的路径进行查询,而且可以避免采用谓词索引带来的广播操作,减少了额外的通信开销,同时也降低了查询过程中的计算开销。本文对分布式图计算系统性能优化进行了探索,研究成果对于分布式图计算系统性能提升具有一定的理论价值和指导价值。最后本文通过实验证实了PruX算法以及数据存储压缩的方式的性能优势。
其他文献
随着物联网的发展,及时获取用户位置信息已经成为很多应用提供服务的关键。然而在室内环境中全球定位系统(Global Positioning System,GPS)不能得到良好的定位效果。所以,越
超声检查(Ultrasound,US)和乳腺钼靶X线摄影(Mammography)检查是乳腺癌早期诊断和筛查最常用、常规的技术手段。在超声检查中B型超声和剪切波弹性成像(Shear-wave Elastograp
沸石分子筛自从被人们发现以来就一直被研究人员们所重视,其合成方法主要为水热合成法和同晶取代法。水热合成方法由于使用了大量的溶剂,在制备分子筛的过程中容易造成对环境
电热多物理耦合泛指以电场和温度场为主的多个场相互作用而形成的物理现象。这类物理现象广泛存在于集成电路的运行过程中。尤其随着集成电路设计及制造工艺朝着三维系统级封
采油螺杆泵是一种新兴的人工举升设备。目前采油螺杆泵的应用范围还有诸多限制,如何提高螺杆泵的泵效和举升能力是目前急需解决的技术难题。本文在国家自然科学基金项目(1150
快中子照相作为现有无损检测技术的重要补充,在航空航天和反恐安检等方面具有重要的潜在应用优势,但由于快中子极难被探测,导致快中子照相图像的信噪比极低,在对快中子图像中
自我国股票市场成立20多年来,已经取得了巨大的成就,成为我国资本市场格局中的核心部分。但是我国股票市场存在时间稍短、发展不够成熟、受政策干扰性大等原因,股票市场价格波动幅度剧烈,表现为非线性、非平稳的强噪音市。股市的稳定和国家经济的稳定有很大的关系,研究和把握股市价格波动的规律,对投资者、政府监管和决策部门和学术界来说,有着及其重要的现实意义和理论价值。本文基于中国股票市场实际数据,采用EEMD的
旋转机械是现代工业中的核心设备,由于其结构复杂及运行工况多变,往往导致对其关键部件的故障监测诊断十分困难。近年来基于深度学习算法的智能诊断技术发展迅速,并在旋转机
随着海上航运业的不断发展,人们对海上通信需求日益增长,对船舶间点对点通信的期望也愈来愈高。随着国际电信联盟和国际航标协会提出的甚高频数据交换系统(VHF Data Exchange
近几十年来实现特定功能的集成光波导器件快速发展,成为光通信产业迅速提升的主要推动力,但是光波导器件存在众多技术分支,其结构和形态各异,并且其长时间以来技术标准不统一