【摘 要】
:
大图计算已成为一种基本计算模式,并被应用到许多实际应用中,如社交网络分析、网页搜索、商品推荐等。以GraphChi为代表的单机图处理系统通过优化IO访问和充分利用多核并行性等
论文部分内容阅读
大图计算已成为一种基本计算模式,并被应用到许多实际应用中,如社交网络分析、网页搜索、商品推荐等。以GraphChi为代表的单机图处理系统通过优化IO访问和充分利用多核并行性等优化技术使其性能足以媲美甚至超过当前大部分分布式图处理系统,并成为了新的研究热点。相比当前主流的单机图处理系统,NXgraph系统有着更全面的优化,使其性能好于当前主流的单机图处理系统。 图处理过程分为两个部分:预处理过程和更新过程。原NXgraph预处理算法存在较大的IO传送量和归并过程比较次数较多等不足,鉴于单机系统IO能力较弱,而原始图数据集通常较大,IO容易成为系统性能瓶颈,故提出双阶段预处理算法,将原始图数据分发到多个碎片文件并采用高效的多路归并算法归并生成最终的边块文件,从而减少了大量的IO传送量和归并过程的比较次数。当内存足以保存两份顶点数据时,NXgraph采用单阶段更新策略(Single-Phase Update,SPU)计算更新顶点属性,SPU更新性能最好,但要求内存最多。为了让更多的图数据集采用SPU计算更新,提出列式单阶段更新策略,在内存中仅保存一份顶点数据,按列异步更新,减少了SPU所需的内存。当内存仅能保存部分顶点数据时,NXgraph采用混合阶段更新策略(Mixed-Phase Update,MPU)。为了减少MPU读写中间结果文件带来的大量IO,提出循环复用更新策略,通过复用内存区间的源数据空间,循环载入保存在磁盘的区间顶点数据,消除了中间结果读写过程,大大减少了计算过程的IO传送量,同时采用异步模式加速算法的收敛速度。 实验表明,相比原预处理算法,双阶段预处理算法有平均27.6%的性能提升,提高了预处理效率,加速图处理过程。相比MPU,循环复用更新策略有最高达18%的性能提升,同时,对大数据集,列式单阶段更新策略显著减少了SPU所需的内存大小,拓展了SPU的应用场景。
其他文献
在全面建设小康社会的伟大实践中,新农村建设作为全面建设小康社会的重要组成部分正在全国广大农村普遍地展开。作为时代发展的记录者和推动者的新闻媒体,如何在新农村建设这
A new numerical simulation algorittan is presented for the elastic wave propagation in hetero-geneous anisotropic media.We make discretization of the computati
新冠肺炎疫情防控期间,在线教育成为学生学习的重要选择.为了探讨当前在线教育的发展态势、发展瓶颈以及解决之道,助推信息技术在教育教学中的融合应用,人民网教育频道于7月1
以新疆玛纳斯湖为研究区,利用1972—2014年间8期遥感影像数据,在提取了湖泊水域信息的基础上对近40 a间玛纳斯湖水域演化进行了研究。结果表明,1972—2014年间玛纳斯湖呈现明显"增加—减小—增加—减小"变化态势,水域重心不断往西南方向偏移。1972—1999年间玛纳斯湖长期处于干涸状态,2000年恢复至研究期间最大水域面积(248.69 km~2),之后经历了2000—2008年和201
突如其来的新冠肺炎病毒危机是大学生防疫教育的最好的活教材,高校应该抓住疫情防控契机,开展大学生国家意识、居家隔离生活、防疫法规、健康中国教育,用实际行动回应疫情防
[摘 要] 性行为在大学生群体中已经不再陌生,大学生性行为所带来的伦理困境不仅是理论问题,更是实践问题,需要给予重视。责任伦理为审视大学生性行为提供了新的维度,即作为善本身的目的、“应当”的责任范型、对未来负责的伦理视域。在此维度下,通过忧患启迪法及构建大学生性行为的伦理教育体系两条路径对大学生性行为的伦理困境进行探索性解决。 [關键词] 大学生性行为;责任伦理;忧患启迪法;教育体系
大学生的就业创业活动,一直是整个社会都比较关注的问题.随着社会的发展,就业创业的机会很多,但是就业创业的难度也与日俱增.本文通过对当前大学生就业创业背景和问题的探讨,
突发事件频繁造成了巨大的经济损失和人员伤亡,随着GIS技术的发展和应用,将GIS技术与突发事件的应急救援相结合,可以在很大程度上提高应急救援效率。通过GIS技术,可以将多种应急
随着大数据时代的到来,每天产生海量各种非结构化和半结构化的数据,传统的存储模式与计算模式很难及时对这些数据进行存储和处理,因此,MapReduce计算框架应运而出。Hadoop作为Map
信息化建设是企业为了生存和发展必然要采取的技术途径,一个良好的、可持续发展的信息系统对于企业实现其战略规划和经营目标有着十分重要的作用。传统的开发方式中,系统分析