【摘 要】
:
随着大数据时代的来临,越来越多大数据应用需要以图的形式描述数据,进而通过迭代方式对其加以处理。如何高效利用图结构特性加速图处理,降低大规模图计算系统开销,成为图计算领域亟待解决的问题。然而,现有图处理系统对顶点活跃程度差异缺乏考虑,将活跃顶点(即热顶点)和非热顶点(即冷顶点)混合划分在同一分区,导致加载包含热顶点的分区时,增加不必要的冷顶点加载开销,延长图处理时间,降低图处理系统性能。针对上述缺陷
论文部分内容阅读
随着大数据时代的来临,越来越多大数据应用需要以图的形式描述数据,进而通过迭代方式对其加以处理。如何高效利用图结构特性加速图处理,降低大规模图计算系统开销,成为图计算领域亟待解决的问题。然而,现有图处理系统对顶点活跃程度差异缺乏考虑,将活跃顶点(即热顶点)和非热顶点(即冷顶点)混合划分在同一分区,导致加载包含热顶点的分区时,增加不必要的冷顶点加载开销,延长图处理时间,降低图处理系统性能。针对上述缺陷,提出了图结构感知的图处理算法,并基于目前最先进的图处理系统Gemini实现了该算法(新系统为GGraph)。提出了图结构感知的图划分算法,该算法考虑了图结构的幂律特性,使用具有低开销的逻辑重划分方案,根据迭代过程中顶点间数据依赖的变化自适应划分冷/热图划分片(即含有大量热顶点的分区),使得热顶点能够得到优先处理,同时降低冷顶点的计算频次,减少不必要的数据访问开销。为进一步提高收敛速度,还提出了基于热图划分片的调度算法,将热图划分片赋予更高的处理优先级,使得热顶点能够优先计算,并且得到足够的迭代处理次数,既减少了顶点收敛所需的更新轮次,又降低了每轮迭代所需的计算时间,加速图算法的收敛。实验结果表明,与Gemini相比,GGraph在性能和数据访问开销上都表现出较大优势,性能最大提升69%,平均提升39%。数据访问时间最高缩短77.3%,数据访问量最多节省53.1%。
其他文献
2012年1月1日启动试点的“营改增”(营业税改增值税)改革,由点到面,截止到2015年末已逐步扩大到全国范围内的交通运输业、电信业、邮政业和部分现代服务业等行业。而在“十三五”的开局之年2016年,随着“两会”的召开,国家已确定从2016年5月1号起,将建筑、房地产、金融以及生活服务等四个行业纳入“营改增”的试点范围,“营改增”试点已在全国全行业内展开。融资租赁作为21世纪越发重要的金融创新工具
当下,基于多智能体的协同控制是控制领域的研究热点,其中多智能体一致性控制和编队控制是两个重点研究的领域。考虑到编队控制在航空、无人机编队、农业等众多领域具有广泛应用,选取主从编队控制作为本文的研究重点。在编队控制中,常常有三种基本控制方式:旋转、缩放、平移。研究者对于编队控制的研究常采用距离刚性图论,即目标编队智能体之间采用相对位置或者相对距离约束。在编队平移运动时,智能体间的相对位置约束不变,那
当前,中国特色社会主义进入新时代,民族精神的内涵也在现阶段有了新的丰富和发展,习近平总书记在十三届全国人大一次会议上,对民族精神的内涵首次进行了系统完整的阐释。由此看来,新时代进一步加强和完善大学生民族精神培育工作,有着很强的必要性和重要性,不仅可以提升大学生的精神素养,增强其抵御西方意识形态冲击的能力,长远来看,也对整个国家和民族未来的发展有着巨大的推动作用。本文采用文献研究法,对国内外有关民族
随着微加工工艺水准的不断提升,近年来回音壁模式(Whispering Gallery Mode,WGM)微腔因具有品质因子高、模式体积小等优势得到了广泛关注和应用。在线性光学领域,WGM微腔因为具有光场能量密度高的特点,可以作为腔量子电动力学、腔光力学等基础物理研究的理想载体,也可以作为于高灵敏度传感、滤波器、调制器以及窄线宽激光器等光电子器件。在非线性光学领域,因为光子被束缚在WGM微腔的边界处
在本文中,我们探讨了高维度的机器学习问题。本文分析了高维问题所面临的挑战以及这些导致这些问题的原因。为了解决这些问题,机器学习在高维度下的模型和算法需要相应地重新设计。本文介绍了一些已有的工作,例如L0-正则化方法,L1-正则化方法和逐步回归方法。本文主要工作是基于贪婪逆尺度空间流算法推广得到一种高维机器学习问题的方法——贪婪逆尺度空间流方法。该方法可以被广泛的应用于不同的机器学习模型。特别地,本
驾驶员的驾驶行为是影响道路交通安全的重要因素之一,随着智能手机的终端设备的出现和发展,从终端设备方面为驾驶行为识别的研究更为便捷。智能移动手机作为人们随身携带的终端设备,普及率、使用率较高,且终端内的嵌入式传感器种类丰富,非常适用于驾驶行为的检测识别。因此,在现有的研究基础上,本文对基于终端传感器的驾驶行为识别相关技术进行了进一步的深入研究与探索,对此本文做了以下两方面的研究:第一,提出一种基于终
智慧交通系统(Intelligent Transportation System,ITS)对城市交通的规划、管理和控制具有重要意义。在ITS中,交通流预测是一个重要的部分。目前,主流的交通流预测研究方案建立在对单一道路的时间序列特征的捕捉上,并没有有效的利用交通流的路网空间特征。近几年,随着电子计算机和计算方法的迅速发展,对于深度学习理论的研究也日趋火热。本文利用深度学习算法挖掘交通流的路网空间特
随着经济全球化的进程加速,国际贸易迅猛发展,集装箱运输凭借便捷、安全、效率高的特点成为海上货物运输的主要方式,因此集装箱运输的安全性越来越重要。目前,陆地集装箱货车的监测系统解决方案已经比较完善,多为GPRS和GPS配合完成定位和数据传输。但海上的数据传输方式较少,针对此问题,本文将Zig Bee技术与北斗卫星导航系统相结合,设计一套海运集装箱监测系统,实现集装箱内的环境信息采集,并将数据通过北斗
“创业创新”是社会进步与发展的重要推动力。在“互联网+”的新型模式下,智慧社会网络中流动的人、物、资金、信息将在网络中自动识别、智能匹配,从而使得项目或企业实现快速有效的资源整合。以“互联网+”平台为基础,利用互联网等信息技术的优势,为创新创业活动保驾护航,这种新型的模式有利于推动“大众创业、万众创新”的发展。论文以烟台高新区创业服务平台为例,研究了创业服务平台的技术框架和实现途径。创业服务平台研
网络入侵检测系统采用机器学习算法可以实现良好的检测性能。随着数据量的不断增加,使得网络入侵检测系统的检测速度降低,准确率也随之降低。为了提高网络入侵检测系统的整体性能和检测速度,本文设计了一个基于ADASYN数据均衡和PCA特征降维的Light GBM网络入侵检测系统框架。本文的主要工作如下:设计了一种通用网络入侵检测系统框架。框架分为六层:数据层、特征层、特征构建层、数据预处理层、模型训练层和策