基于迭代框架的并行图挖掘平台的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:dellson
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图是计算机科学最常用的一类抽象数据结构,在结构和语义方面比线性表和树更加复杂,更具有一般性表示能力。现实世界中许多应用场景都需要用图结构表示,与图相关的处理和应用几乎无处不在。传统应用如最优运输路线的确定、疾病爆发路径的预测、科技文献的引用关系等;新兴应用如社交网络分析、语义web分析、生物信息网络分析等。但随着信息化时代的到来,各种信息以爆炸模式增长,导致图的规模日益增大,如何对大规模图进行高效处理,成为一个新的挑战。为了解决上述问题,本文设计了一种全新的服务体系。它兼具MapReduce框架的高效批处理和BSP框架的快速迭代计算,使得海量网络图数据的处理变为可行。并且引入了基于OSGi的可扩展可动态部署的插件框架,以及面向并行计算框架的工作流引擎,使得服务体系的可扩展性和容错性有很大提升。最后基于这种服务体系,研究并实现了基于迭代式框架的并行图挖掘平台。本文的主要内容包括:1.基于OSGi的服务体系研究:利用OSGi的动态插件机制实现服务体系的热插拔和容错机制。同时设计了服务节点的接口,使得服务体系可以集成多种计算框架。2.服务体系中的“热插拔”和容错机制:“热插拔”是指服务体系中的所有服务都可以动态的增加和删除。容错机制是基于组件动态增删实现的,提供了多次重跑、挂起和续跑机制。3.基于服务体系的原型图挖掘平台的设计:根据大规模图数据分析的需求,完成系统架构设计,以及系统功能模块的设计。4.基于服务体系的原型图挖掘平台的实现:结合平台的架构设计以及各模块的详细设计,完成原型平台。5.最后,通过真实的手机通话记录,验证了基于服务体系的图挖掘平台的高效性和可扩展性。
其他文献
伴随着互联网的高速发展,各种IM(Instant Messaging,即时消息)不断涌现,凭着其实时交互的特点迅速在网络通信领域中占据一席之地。经过二十几年的发展,IM已经超越电子邮件,成
SOA(面向服务架构)越来越受到人们的关注,特别是Web Services的出现,使SOA走向了实际应用。如何实施SOA是当今的一个热点,与美国很高的企业信息化程度相比,在中国,大量的服务
图像文件不仅占据内存空间,而且也占据大量的传输带宽,这使得许多信息行业必须通过使用图像压缩技术,才能解决因为图像数据量大而带来的存储和传输问题。 过去的三十年里,JPEG
传统的Web服务技术缺乏机器可理解的语义,限制了Web服务的自动化,语义Web研究的兴起为Web服务技术带来了新的活力,这两种技术的结合产生了另一个新兴的研究课题一语义Web服务,语
随着计算机网络技术的高速发展,使得网络教学获得了前所未有的强大技术支持手段。远程教学技术是目前计算机网络应用的一个研究热点。论文在对远程教育与教学管理平台现状充分
支持向量机(SVM)回归算法因其良好的小样本学习能力,方便简洁的非线性处理能力,以及收敛过程无局部最小等优点赢得了学术界的广泛关注。它以最小化结构风险为目标,以求解二次
根据中国石油信息化建设的要求,立足现状,提出一套切实可行的基于面向服务架构(SOA)和业务流程管理(BPM)的流程架构和实现框架,并在此基础上实现了在地域上覆盖中国石油十三大油
随着Web Service技术的发展和应用的普及,Web Service的服务质量(QualityOf Service,QoS)越来越受到关注。近年来,很多研究集中在支持QoS的WebService的组装和调度上。这些研究
本文首先从总体架构的角度研究了OpenOffice.org软件的框架结构,剖析了0penOffic.org应用程序环境,框架的组织编译结构,界面元素的载入与命令的响应执行,文档模型等几个重要的方面,
网络协议是网络中互相通信的实体所遵守的规范,开发人员对于协议规范文本的理解可能不同,为了验证协议实现的行为是否符合协议规范描述及开发需求,在投入网络运行前必须进行