【摘 要】
:
随着移动互联网技术、智能终端和社交媒体等技术的高速发展,数据规模呈现爆炸式增长,大规模数据给处理和计算提出了非常大的挑战。基于外存的图计算系统能够利用低廉的硬件资
论文部分内容阅读
随着移动互联网技术、智能终端和社交媒体等技术的高速发展,数据规模呈现爆炸式增长,大规模数据给处理和计算提出了非常大的挑战。基于外存的图计算系统能够利用低廉的硬件资源处理大规模图数据,给这些海量数据的计算带来了解决方案。但是外存图计算系统的性能瓶颈往往在于外存访问效率,在访问外存数据过程中,为了能够适应各种不同的应用负载,系统需要遍历完整外存数据,其中存在大量无效I/O访问,导致资源浪费、外存访问效率低和系统性能较差等问题。针对基于外存的图计算系统I/O效率问题,分析国内外现有图计算系统的外存访问方式,结合图应用运行时的活跃顶点特征,设计了基于索引定位的外存访问优化方案。通过对外存数据组织结构进行重新设计,将相同顶点的数据存放在外存的连续空间中,并为顶点对应的数据块在文件中的偏移地址建立索引,从而快速访问到对应数据块。基于该方案改进了图计算系统的数据加载方式,在数据载入阶段之前计算分析外存中的有效数据,从而实现选择载入计算所需要的顶点相关数据。这种方法能够显著减少I/O数据量,但是会产生额外随机访问开销,因此详细地分析了访问完整数据方式与索引定位方式的开销情况,并以分析结果为依据设计了决策判断模块,能够根据顶点状态在每轮迭代中实时判断并选择最优的数据访问方式。通过将上述两种数据载入方法结合,最终实现了以综合最优的方式执行对外存访问。测试结果表明,该综合方案与并行滑动窗口方法相比,在数据载入性能上有明显提升:运行单源点和多源点随机游走算法性能平均提升89%和67%;运行连通分量算法性能平均提升35%;运行网页排名算法性能平均提升22%。
其他文献
二元多项式矩阵的等价研究可简化许多工程计算,并应用于电路和物理系统等诸多领域。其中,二元多项式矩阵的Smith型因其形式简单,而在过去几十年的研究中占重要地位。但是,至今没有学者能够提出一个容易判别的条件及构造性的方法,来解决一般二元多项式矩阵与其Smith型等价的问题。本文将结合二元多项式环的性质以及已有的研究成果,研究一些新的特殊二元多项式矩阵与其Smith型等价的问题。首先,我们讨论了两类二
新中国六十年漫长曲折的社会主义法治进程中,国内法律制度的建设一度受到“文革”的冲击而中断,直至改革开放才逐步走向复兴。历经磨难的新中国社会主义法治建设进程也不可避免的影响着中国法学界的发展,作为新中国法学界的领军人,被誉为“法学泰斗”的江平,其坎坷的学法历程,不断丰富的法律理念,成为研究江平法学思想最基础的背景和渊源。江平以罗马法思想为指导,对社会主义法治与民主建设进行了不懈的思考与探索,他以实验
棉花是一种重要的经济作物,具有十分明显的杂种优势。但我国棉花细胞质雄性不育系的研究和利用较晚,棉花杂种优势的利用和基础研究相对滞后。植物雄性不育是杂种优势利用的基
网络的局部结构特征能够用于解决网络研究方面的问题。由三到五个节点组成的基本结构单元,以及它们的出现频率,在生物医学、化学、社交领域中有重要的应用。它们的频率可以用
有机磷化合物有着独特的性质和广泛的应用,因此开发更加简洁和绿色的合成方法一直在不断的探索中。脱氢交叉偶联和借氢还原反应是目前合成有机磷化合物最高效的方法。本文主
利用天文周期方法研究地层剖面的完整性问题在地学研究历史中当属首例,其相比较于前人提出的潜穴化石定性估测法、古地磁法、研究剖面的厚度与同时期全球平均沉积厚度的比值、地层剖面长期沉积速率与短期沉积速率的比值法等方法拥有精度高计算方便等优点。本文主要利用东濮凹陷上古生界地层进行研究,通过频谱分析、小波变换等技术方法对与沉积环境变化密切相关的自然伽马测井曲线进行分析,开展对该段地层沉积相分析、沉积时限、沉
中国城镇化进程的加速、医疗改革的不断推进,给中国的医疗行业带来了许多新的机遇。医用胶片也随着医学影像诊断的不断发展,在中国市场迅速扩展,成为近十年最有发展潜力行业,
图处理系统被广泛应用于在线社交网络、社区发现等诸多应用领域,随着图数据集规模的不断增大,图算法的执行时间越来越长,多任务场景也越来越普遍。当前的外存模式图处理系统
本研究首次成功制备出新型三维粒子电极光催化剂Ag-TiO2-MCM-41,并将其应用于光电催化降解有机物领域,对于净化水环境具有重要意义。利用水解法结合银镜法制备Ag-TiO2-MCM-41
滚动轴承作为旋转机械的关键部件,其健康状况对安全生产至关重要。工业生产过程中,可靠的轴承故障诊断和寿命预测技术可以提供充足时间来修复或更换旋转机械设备当中有缺陷的轴承部件,进而降低维护成本、缩短停机时间。目前在大数据和人工智能备受青睐的工业背景下,基于深度学习技术的滚动轴承智能诊断和寿命预测方法越来越受到广泛关注。然而,至少还存在以下问题制约着智能方法的应用:故障数据通常难以获得导致神经网络的训练