分布式环境下的图划分算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:zhoubo1204
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自20世纪80年代开始,复杂系统的研究逐渐兴起,它被认为是解决各个领域研究面临的困难的一个重要突破点。而复杂网络是研究复杂系统的一个重要工具,如物流运输、道路规划、社交网络、生物研究等问题在研究的过程中,都可以抽象成由边和顶点组成的复杂网络,借助于复杂网络的相关技术对其进行研究。但系统中基本单元常常达到成千上万甚至是数以亿计,这就使得复杂网络的研究不得不借助于高效的计算工具来解决实时的、规模足够大的计算问题。分布式计算技术是现在最成熟、应用最广、最可行的计算加速技术之一。因此研究复杂网络的分布式计算技术具有十分重要的意义。在做分布式计算之前,需要将原始复杂网络划分成若干个子网络,保证各个子网络规模相对均衡和网络间的通信开销最小化是分布式计算性能好坏的关键。图划分技术就是解决这一问题的有效手段。图划分算法按照划分方式的不同,可以分为点划分算法和边划分算法。数据量的快速增长对图划分算法的划分质量和划分效率提出了新的要求。本文主要工作体现在以下方面:(1)针对当前点划分算法划分质量较低的问题,本文提出了基于滑动窗口的流式图划分模型(Graph Win),该模型通过引入滑动窗口机制,根据当前划分质量和划分时间,动态调整每次划分时参考的信息量(顶点度信息和邻接信息),以达到允许损失一定划分效率的前提下尽可能提高划分质量的目的。此外,Graph Win模型的评分函数在传统流式图划分算法的基础上做了改进,它包括自适应均衡评分函数、度评分函数、聚类评分函数,综合考虑了分区均衡性、顶点度、分区聚类系数在图划分中起到的作用。实验结果表明,相较于其他算法,Graph Win模型在一定程度上能够有效降低平均复制度。(2)针对当前边划分算法划分效率较低的问题,本文提出了基于GPU加速的图划分模型(Graph GPU),Graph GPU模型分为初始划分阶段和优化划分阶段:在初始阶段,使用Boruvka算法对原始图数据做初始聚类,将亲和度较大的顶点尽可能被划分到同一分区;在优化划分阶段,使用桶交换算法对初始划分结果做进一步的优化。因为Boruvka算法和桶交换算法都具有并行性,所以Graph GPU模型建立在CPU+GPU异构并行计算框架基础之上。实验结果表明,Graph GPU模型相较于现有成熟的图划分算法在提高划分效率的同时,也能够降低割边率。
其他文献
随着计算机技术的发展,无人驾驶已成为当下研究的热点技术之一。随着深度学习与计算机视觉算法的快速发展,无人驾驶的智能程度得到了极大的提高,使无人驾驶利用低成本的图像
在工业领域,服务领域,医疗领域以及搜救领域,机器人都有着广泛的应用前景。机器人可以代替人类去完成一些枯燥的、危险性极大的甚至是一些人类不可能完成的任务。虽然机器人
为了解决日益庞大的数据集与参数量而带来的机器学习训练耗时过长的问题,分布式机器学习(Distributed Machine Learning,DML)成为加速机器学习模型训练的重要手段之一。DML在
石墨烯具有非常多的物理类亦或是化学类性质,例如量子遂穿效应,异常量子霍尔效应,良好的导电性以及延展性。但是石墨烯具有两个很大的缺点,阻碍了其在实际生活中的广泛应用。
交通标志中包含着丰富的道路指示信息,自动驾驶系统需要对其进行正确的检测并进行相应的操作,与行车安全息息相关。本文在国内外交通标志检测技术研究的基础上,用基于深度学
地震动场地效应一直是工程领域在抗震设防当中所要考虑的重点问题,而强震动下土体的非线性反应则是重点中的难点。对于地震动场地效应的研究主要采用数学统计或数值模拟等研
线路变化的核心思想是指击球落点和击球直斜线的变化,它是网球运动战术的核心环节。网球比赛中运动员击球线路和落点深浅变化能有效制约对方运动员技战术意图的实施。充分利
随着中缅天然气管道建成投产,许多民营企业及个体都进入到燃气销售的行业中,使得市场竞争越演越烈。以往燃气企业的项目建设模式将不再适应市场的发展,需积极探索,引进国际先
生活水平的提高使得人们在温饱之余开始关注食品的质量问题,这开始促使食品生产厂家对产品质量加强管控。喷码标记作为产品质量追踪最为关键的信息在各行各业已经得到了广泛
随着人口过度增长、能源危机和环境污染等问题进一步加剧,科学家们需要致力于研究开发更高效的催化剂材料来缓解人们在生活和工业生产中所遇到的困难。一氧化碳(CO)是主要的大