分布式图计算系统的分割方法与处理流程优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiangfeng007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为从大规模图中挖掘出有价值的信息和知识,分布式图计算系统首先通过图分割方法,将图中的顶点和边分配到各计算节点上;然后,执行特定的图处理流程,迭代计算图中的顶点数值,直至图算法收敛。因此,图分割方法和图处理流程在很大程度上决定了分布式图计算系统的整体性能。传统的分布式图计算系统通常基于同构计算集群,并采用静态的、通用的图分析模式。但随着图计算应用在广度和深度上的不断扩展,新型的分布式图计算系统需要能够在异构计算平台上高效执行,同时还要适应实际业务中图的在线更新与快速查询,尤其需要针对流行的二部图进行专门优化。为解决上述关键问题,本文从以下三个方面进行深入研究。
  针对异构的计算集群,优化图分割方法,以实现负载均衡。现实中的计算集群通常是异构的。然而,传统的分布式图计算系统认为计算集群是同构的,因而在图分割阶段中,为所有计算节点分配了数量相当的图数据。作为结果,在图算法的每次迭代中,处理能力强的节点总是比处理能力弱的节点优先完成对本地顶点的数值计算,即图负载在计算节点间分布不均衡的问题。为解决此问题,提出了一种图分割方法Laro,在图算法的执行过程中,对计算节点上的顶点进行迁移,从而均衡计算节点间的图负载。为构建高效的顶点迁移方案,Laro解决了三个难点:(1)量化负载不均衡,因此Laro将计算节点执行时间的相对标准差作为衡量的参数;(2)均衡图负载,因此Laro将最小化执行时间的相对标准差作为迁移目标;(3)降低迁移开销,因此Laro提出了一个阈值和“二次检查”策略来限制迁移频率。具体而言,在每次迭代完成后,主控节点将计算出所有计算节点执行时间的相对标准差。当连续两次迭代中的相对标准差都大于阈值时,则判定为负载不均衡。然后,重负载计算节点并行地迁移顶点到轻负载计算节点上,以使当前的相对标准差低于阈值。最后,每个计算节点更新所有被迁移顶点的位置信息。实验结果表明,Laro的算法执行速度分别是现有图分割方法SkewedHash和GPS-dynamic的1.23倍和1.20倍。
  针对动态的图结构,优化图处理流程,以提升计算效率。现有的分布式图计算系统通常为动态的图结构维护了一系列版本,在当前版本上执行图算法时,把图更新操作缓存在一个缓冲器内。当满足一定条件后,再将所有缓存的图更新应用到当前版本上,以形成一个新的版本,再进行计算。但对于广泛使用的单调图算法而言,图更新可以在缓冲器内被预处理后再应用,以提升系统在新版本上的计算效率。为此,提出了一种图处理流程GraPU,通过三个阶段来预处理缓存的图更新:(1)图更新分类阶段,根据连接部件对图更新进行分类,从而识别出被图更新所影响的底层图数据;(2)图更新预计算阶段,对图更新进行预计算,从而产生一组加快算法收敛的中间数值;(3)高度顶点分割阶段,将图更新中各高度顶点的边分配到多个计算节点上,从而平衡顶点间的计算时间。当图更新被应用后,GraPU采用以子图为中心的计算模型来计算新版本中的顶点数值。另外,GraPU提出了一种数据布局和一种负载均衡策略,来分别提高图数据的读写效率和均衡子图间的负载量。实验结果表明,GraPU的算法执行速度是现有分布式图计算系统KineoGraph的4.55倍。
  针对流行的二部图,优化图分割方法,以降低通信开销。在一个二部图中,顶点被划分为两个不相交的子集,而每条边连接着一对来自不同子集的顶点。二部图已被广泛应用到机器学习和数据挖掘(Machine Learning and Data Mining,MLDM)领域。然而,现有的分布式图计算系统并没有充分意识到二部图特殊的结构。作为结果,这些系统对二部图进行了不合理的图分割,从而在执行MLDM算法时,遭遇了较高的通信开销和不均衡的负载分布。为解决这些问题,首先总结出二部图和MLDM算法的三个主要特点:(1)在大多数MLDM算法中,顶点数值是一个多元素的向量;(2)对于二部图而言,其两个顶点子集中的顶点数通常相差巨大;(3)在单个顶点子集内,顶点的度通常展现出幂律分布。基于以上特点,提出了一种图分割方法GraBi,先对二部图进行纵向分割,再进行横向分割,以取得一个高质量的图分割。首先,在纵向分割中,GraBi将每个向量化的顶点切分为若干个顶点块,从而将二部图切分为若干层。然后,在横向分割中,GraBi优先分配每层中较大顶点子集中的顶点块,并将这些顶点块分解为一个或多个子顶点块。最后,GraBi使用一系列哈希函数将子顶点块均匀地分配到计算节点上。实验结果表明,GraBi的算法执行速度分别是现有三种图分割方法Hybrid-cut、Bi-cut和3D-partitioner的3.12倍、3.41倍和1.30倍。
其他文献
语义分割旨在为图像中的每个像素分配一个预定义的语义类标签,使计算机能够通过视觉的方式对场景进行细粒度地理解。该技术被广泛应用于自动驾驶、城市规划、智能家居等任务中,是计算机视觉领域的重要分支。近年来,基于深度卷积神经网络的分割技术将任务性能提升到了一个新的水平。然而,现有的深度学习方法需要大量的像素级人工标注图像作为训练数据,使得这些方法所需的时间和金钱成本十分昂贵。为了减轻手工标注数据带来的沉重
学位
异构并行系统通常是指由中央处理器(Central Processing Unit,CPU)与图形处理器(Graphics Processing Unit,GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)等协处理器共同组成的计算方式异构的高性能计算系统,因能提供更为高效的应用加速能力而被广泛部署,在大数据、人工智能等众多关键领域得到了广泛应用。当
Android(安卓)操作系统占据了智能终端操作系统的大部分市场份额,搭载Android操作系统的智能设备成为主流。由于移动智能终端携带了较多的用户隐私信息,同时Android应用的安全机制存在一定的局限,导致Android应用可能存在严重的安全隐患。需要对Android应用的安全机制特别是权限机制进行深入的研究,分析Android应用中的权限安全风险。同时关注和研究Android应用的安全漏洞,
学位
由于互联网信息的快速增长,用户面临着信息过载的问题。借助数据挖掘和人工智能领域中的相关技术,推荐系统能够帮助用户快速找到其感兴趣的信息,在社交网络、电子商务、在线阅读和广告投放等领域得到了广泛的应用。随着互联网应用的多元化发展,传统的推荐模型难以直接运用到新领域中以解决相应的问题。  以智能手机,笔记本电脑等为代表的电子产品更新换代通常较为频繁,而用户对于此类产品的消费周期则相对较长。传统的推荐系
学位
随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量N
学位
随着计算机网络的发展以及智能手机等多媒体获取设备的普及,多媒体数据呈爆炸式增长,其中图像和视频数据已经成为大数据时代的主要数据类型。如何在海量的图像中以较小的时空开销准确找到用户感兴趣的图像成为多媒体领域的研究热点。针对图像的底层特征与高层语义间的“语义鸿沟”问题,以及全局图像表示缺乏几何不变性和空间占用较大的问题,利用深度学习、特征编码、哈希学习等方面的知识,论文系统探讨了图像检索系统中的描述符
学位
信息技术的发展促使数据规模急剧增长,进一步推动了云计算技术的发展与成熟,使得越来越多的企业和个人将业务或应用迁移到云计算平台上。在云计算平台中,云服务提供商往往采用共享服务架构,并通过虚拟化技术向用户交付服务。比如将租户应用部署在虚拟机内,而虚拟机共享计算、存储和网络等物理资源。共享服务架构能够提高资源利用率并降低管理成本,但会引入资源竞争,使得租户间的性能相互干扰。云存储系统作为存储服务的载体,
磁盘是数据存储最常用的设备之一,磁盘故障预测是保障数据可靠性的重要技术手段。磁盘故障预测方法一般可以分为两大类:设备级故障(即整盘故障)预测和扇区级故障(即局部磁盘故障)预测。学术界采用一些传统机器学习方法,例如支持向量机、逻辑斯特回归、决策树和随机森林等,预测磁盘故障并取得了一些成果。但是,这些研究仍然存在以下三个方面不足:(1)面对实际数据中心中单一型号数量较少(小样本)磁盘的故障预测问题,预
学位
固态盘(Solid State Drive)因具有高内部并行性、低随机访问延迟、低能耗以及小尺寸等优势,作为主流的存储设备被广泛用于个人电脑和数据中心。近年来,随着5G和大数据技术发展,对存储容量、性能和可靠性提出了更高需求。得益于半导体制程工艺技术、单元多比特技术以及三维堆叠技术的发展,闪存存储密度大幅提升。然而,存储密度的增长是以牺牲可靠性为代价,不可靠的存储介质会引起数据存储可靠性维护开销大
学位
键值存储是支撑数据中心和众多数据密集型应用的关键技术,广泛应用于网页检索、电子商务、云存储、社交网络等领域。大数据时代下,键值存储的发展始终围绕着三大需求,即更高的访问效率、更大的存储容量和稳定可预测的性能。在近些年发展的新型存储器件中,瓦记录磁盘显著提高了磁盘面密度,具有低成本、高存储容量的优势;非易失性内存则能够明显提升访问效率,兼具传统硬盘的持久性和接近DRAM的存取速率。因此,新型存储器件