基于BSP的高性能大图迭代计算的研究与实现

来源 :东北大学 | 被引量 : 1次 | 上传用户:cdna3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展与广泛应用,如何有效管理、高效处理大量的信息数据已经成为学术界与工业界面临的重要挑战。如社交网络、传感器网络及电商交易等应用中的数据具有图的结构,并且在科学研究中具有巨大的价值,因此成为了“大数据”研究的热点。Google公司提出的MapReduce分布式计算框架,能够支持各种类型的大数据应用处理,但是对于图应用的算法,如单源最短路径、子图挖掘等,通常需要多次迭代并交换中间结果数据,迭代过程中数据处理并行化的缺失导致MapReduce不适合处理大图计算。以Google提出的Pregel为代表的基于BSP模型的大图处理系统,已经成为目前大图处理的重要手段,但是在消息通信与图迭代磁盘处理等方面仍存在不足。本文以BSP模型为基础,围绕消息通信与磁盘迭代处理两个方面研究如何提高图处理系统的效率。首先,建立一个简单有效的消息传递通信结构,通过控制相关参数保证基本通信性能。其次,在其基础上,结合广播消息类图算法,提出一种基于边聚簇的边界点备份策略(ECBVR),并建立代价估计模型分析消息通信的优化对系统处理性能的作用效果,同时,围绕ECBVR,提出点-边计算模型,并优化边计算过程,设计Hash索引和多队列并行顺序索引两种机制进一步提高系统的处理效率。再次,在图迭代磁盘处理方面,建立内存分配模型以提高数据内存驻留率,提出数据分组迭代(DGI)与消息有序迭代(MSI)两种迭代处理机制避免磁盘随机访问。对于DGI方式,讨论了两种分组算法:随机Hash分组与均衡分组;对于MSI方式,设计了新的数据存储模型OERSV以保证消息的接收有序,同时为避免对顶点有序表的随机磁盘访问建立分页机制。本文的相关技术在BC-BSP大规模图处理系统的框架下实现,并在合成数据集与真实数据集上完成相关实验。对于ECBVR技术,通过分析边聚簇划分阈值对通信规模、处理速度及数据加载时间的影响,可以确定ECBVR的有效性,通过对三种不同的实现方式的对比,验证了索引的有效性,并发现该技术对高出度图数据较为有效。对于磁盘处理技术,验证内存分配参数对数据内存驻留率的影响,参数的实际最优取值接近理论值,并对比分析本文提出的两类磁盘迭代处理方式处理性能和处理能力的差异。最后将本文提出的相关技术集成到BC-BSP系统中,通过与其他系统进行PageRank实验对比,证明BC-BSP是高性能的,其处理效率是Haloop的10倍以上。
其他文献
贝叶斯网络作为一种表达不确定性知识的有效工具,在许多领域都得到了广泛的应用,本文将贝叶斯网络应用到智能评估导学系统中,以实现对学生适应性评估和个性化导学。 本文首先
随着Internet的飞速发展,各种多媒体应用不断涌现,用户数量迅速增加,使得因特网的流量也随之急剧增加,由此而引发的网络拥塞已经成为制约网络发展和应用的瓶颈问题。而且,由于各种
本文介绍了主动数据库系统和目前学术界里较成熟的主动数据库规则——ECA规则,并且在虚拟现实的应用中自定义了一套数据库的规则系统。本文共分为五个部分,首先介绍了课题的研
网格是近年来的研究热点,它的出现为解决超大规模、超级复杂的计算密集或者数据密集的问题提供了途径。任务调度是网格研究的核心内容,主要研究对网格资源及其属性进行统一描
网络安全风险评估是网络安全管理的前提和基础。风险评估方法的合理性、准确性直接影响着需求分析结果和安全策略的准确性。现代网络具有极强的时效性和不断增强的互动性,快
视频编码的主要目标是在信道给定,传输比特受限的情况下,保证一定的重构质量,以尽量少的比特数来表征图像/视频信息。新一代视频编码标准H.264/AVC的宏块编码采用率失真优化,
串行程序并行化的目标是将串行程序转换为等价的可以在并行环境下执行的程序。等价的含义是指串行程序与转换后并行程序的执行结果完全相同。在整个转换过程中,识别出更多的
四川省网络通信技术重点实验室针对现有Internet的三层或两层用户数据传输平台,传输与交换效率低,难以保证实时性数据流的传输和交换服务质量的缺点,提出了以“面向以太网的
由于Internet的飞速发展及其在社会各个领域的渗透,IPv4技术显露出一些局限,其中一个重大局限是难以为网络所承载的业务提供有效的服务质量保障。IPv6技术虽然在报文结构上作了
随着银行业信息化进程的加剧,常用高级语言在解决复杂银行业务时,出现了开发效率低、不能直接被银行业务专家使用的问题。这就需要一种面向银行业务的特定领域语言。针对商业银