【摘 要】
:
近年来,随着信息技术的迅速发展,迫切地需要高效的处理和分析大规模图数据的方法。传统的集中式图划分算法已经处理不了大规模图数据,由此涌现了包括Spark在内的分布式图并行
论文部分内容阅读
近年来,随着信息技术的迅速发展,迫切地需要高效的处理和分析大规模图数据的方法。传统的集中式图划分算法已经处理不了大规模图数据,由此涌现了包括Spark在内的分布式图并行数据处理框架,广泛用于解决分布式的图并行划分问题。尽管已经有很多的解决方法被提出,理论也日趋完善。但是均衡图划分是一个NP难题,现有的一些传统算法不能直接应用于大规模分布式的场景,且传统情况下的图划分大多包含频繁的全局操作,导致巨大的访问开销,以及存在着在分布式机器上的存储优化的瓶颈问题等。如何高效地存储和划分图数据,提高大图划分的运行性能,成为一个新的挑战。基于上述问题,本文提出了改进的JA-BE-JA分布式算法,该算法结合了模拟退火算法和数据迁移算法进行边切割和点切割,利用以顶点为中心的启发式方法解决均衡图划分问题。该算法的优势在于,能够并行处理图数据的每一个顶点数据,每次划分只处理直接邻居顶点,及图的部分随机顶点。本文的主要贡献在于:(1)首先研究了主流的并行大图处理系统的相关图处理技术,并对其进行了对比总结。分析基于BSP(Bulk Synchronous Parallel)整体同步并行模型最大程度地保证了计算的确定性和并行性,适用于分布式大图计算框架。由此提出一个基于BSP模型的BSP-Spark分布式计算框架,并对该框架数据划分模块的进行了性能优化。(2)在原始的JA-BE-JA分布式图划分算法的基础上优化了模拟退火算法,综合模拟退火算法的时间性能和随机过程的参数,有效解决原始JA-BE-JA算法容易陷入局部最优的问题。(3)在原始JA-BE-JA分布式图划分算法的基础上运用了优化的数据迁移算法,考虑图划分的性能和迁移成本以节省带宽和提高资源利用率,实现高效的图划分数据迁移策略。理论分析和实验表明:在处理大规模分布式图划分时,优化过的JA-BE-JA算法在BSP-Spark分布式集群上图划分的边割数和顶点交换数等参数方面得到了提升。尤其是在处理大规模的幂律分布图时,比传统的边分割算法更有效。
其他文献
悬臂浇筑钢筋混凝土拱桥主要是采用交界墩或塔架做为支承结构,一侧将已浇节段通过扣索锚固在临时扣塔上,另一侧张拉锚固于锚碇上,形成斜拉扣挂体系。悬臂浇筑施工过程中扣塔是支撑扣索和锚索的塔架结构,是确保施工过程安全和稳定的重要组成部分,扣塔的高度过高或过矮均不利于对于扣索索力、主拱圈受力线形或施工过程中稳定性的控制,且悬臂浇筑施工周期较长,施工过程中对主拱圈受力影响因素较多,因此探究一个合理的扣塔高度及
RV减速器因其传动比范围大、传动效率高、结构紧凑等特点被广泛应用于工业机器人,机床,医疗等设备。摆线轮的加工精度直接决定RV减速器的使用寿命,成形磨齿法通过砂轮形状的改变实现齿面的柔性修形,能更好的完成修形摆线轮的加工,但在磨削时,磨削工艺参数选取不当会使摆线轮齿面烧伤,出现残余应力,使齿面出现裂纹,影响摆线轮的使用。本文结合摆线轮啮合理论和成形磨削理论,提出摆线轮多齿成形磨削方法,并进行多齿砂轮
钢/铝异种金属焊接接头的设计和应用能够充分整合钢材和铝合金的各自优势和弥补各自的缺点,是目前实现结构轻量化的重要方向之一。但时由于钢/铝之间存在物理、化学性质上的不同,以及在焊接过程中,钢/铝接头界面层容易出现大量脆性相的铁铝金属间化合物层,对接头的力学性能不利。针对钢/铝接头,国内外相关研究机构均在研究传统焊接工艺的改进和新工艺的应用。现如今针对钢/铝深熔搭接焊的研究较少,所以本文利用激光-MI
当今商业银行竞争日益激烈,各商业银行为了抢占市场吸收存款积极完善各自营销战略。乌鲁木齐招商银行作为新疆地区一家具有科技金融优势的股份制商业银行存款增量主要来自当地企业客户,拓展优质存款客源成为亟待解决的问题。随着我国社会保障体制的逐步完善,社保覆盖范围迅速扩大,但仍然存在业务办理效率低、缴费渠道单一、社保基金贬值等问题难以满足公众便利性需求,亟待寻求社会保障发展的金融“解码”。在此背景下,乌鲁木齐
随机混成系统是一类离散、连续与随机动态交织的复杂动力系统。作为信息物理融合系统的数学模型,随机混成系统在能源、医疗、交通、国防等安全攸关领域中有着广泛的应用。因
随着国家出台各种政策鼓励民间资本进入金融领域,上市公司开始以股权投资的方式持有金融机构股份的现象如雨后春笋,产业资本抢滩金融领域的案例层出不穷。在此背景下,本文通
针对污水中COD较低时人工湿地脱氮效果较差等问题,通过向人工湿地中投加植物材料提高系统内电子供体总量,促进人工湿地反硝化进程,进而达到加强同步脱氮除磷的效果。选择麦秆、玉米芯、香蒲作为投加植物,采用简单处理、酸加热处理、碱加热处理三种不同预处理方式,探究植物材料经过预处理后的静态释放特性,实验结束后通过扫描电镜观察植物表面性状变化,分析植物COD释放特性,同时对污染物释放如氮、磷进行特征分析,初步
以“电-气-热”三种能源耦合的综合能源系统,是提高风电接纳能力和可再生能源利用率、支持环境友好以及改善我国冬日供暖“气荒”困局的有效途径。本文以电转气(power to gas,P2G)技术环节为核心枢纽,将风电场与燃气采暖系统互联,构建风电-P2G与燃气采暖多能耦合系统(Wind Power-P2G and Gas Heating Multi-energy Coupling System,WP-
暗纹东方鲀(Takifugu fasciatus)是一种典型的江海洄游性鱼类,在其生活史中对外部生态环境的敏感度较高。近年来,伴随着市场需求量的逐年增长,及养殖规模的不断扩大,暗纹东方鲀在经济鱼类市场占据的地位越来越重要。本实验室前期的研究发现,养殖水体中新型污染物纳米铜(Copper Nanoparticles,Cu-NPs)和传统的硫酸铜(Cu SO_4,简称Cu2+)暴露都影响了暗纹东方鲀肝
本报告所选的翻译实践文本来自《关注二语教师教育》,译者所翻内容的前三章是在关联理论的指导下进行的。本书作者凯伦·约翰逊(Karen E.Johnson)和宝拉·戈洛姆贝克(Paula R.Golombek)希望通过在维果斯基的社会文化理论视角下探讨如何促进教师的专业发展来引起大家对二语教师教育的关注。本书是有关二语教师教育的学术著作,因此专业性较强,这给翻译带来了一定的难度。译者将翻译过程中遇到的