InfoSphere StreamS中图处理中间件的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:vecent
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
众多实际的问题可以抽象为图的模型,如网络拓扑、社交网络、网页超链接等。针对这些应用需求,业界和学术界开发了很多基于图的算法、计算框架、开源软件、函数库,这在一段时间内满足了应用的需求。这些方案的重点是提升离线计算的效率,不关注图数据的实时处理、快速查询,部分方案可处理数据的规模有限,但随着当前图应用规模的扩大和新需求的产生以及分布式处理、流式处理的发展,旧的这些解决方案已经不能适应当前应用的要求,因此设计一个高效的图处理框架或工具是有意义的。基于IBM的流处理系统(InfoSphere StreamS),设计和实现了一个可以处理图的中间件原型,运行于StreamS的应用可以直接调用它的接口来进行与图相关的处理。中间件在功能上,以图的查询为核心功能做设计,综合考虑图的更新、计算、查询和流式处理;在图的表示上,以顶点为核心,并设计了附属结构,加快图的遍历和查询,采用内存预分配和缓回收等技术来优化图的基本操作的性能;在图的计算上,采用Google的图处理框架Pregel;在数据传输和容错处理上,采用StreamS的内部库实现部分数据传输和容错处理;在流处理方面,通过在缓存、通信、并行处理、在线计算方面做优化来满足流处理应用的特点;在接口方面,根据StreamS的规范编写交互接口,内部实现对应用透明。通过实验,验证了原型系统在图的存储、计算和查询方面的功能,并对系统进行了测试。在核心功能查询性能上,中间件(三个工作结点)相对于采用通用函数库实现的单机传统的图处理框架,性能提高130%,相对于其它多机(三个工作结点)并行图处理框架平均性能提高14%。计算对查询性能的影响由64%降为0.5%,减少了计算对查询的影响。高并发查询时,CPU的使用率由单机的100%降为69%,内存使用率由单机的98%降为40%。结果表示,中间件原型在功能上满足了InfoSphereStreamS的需求,在性能上优于传统的单机模型和并行处理框架。
其他文献
在移动计算环境下,用户可以通过移动智能终端随时随地的访问数据,但网络通信具有非对称性,网络带宽也十分有限,因此,提高系统可伸缩性成为一个亟待解决的问题。数据广播技术将用户
大多数通用的视频搜索系统都采用成熟的文本搜索方法,其搜索结果往往需要进行重排优化。现有的基于文本的视频搜索方法往往通过利用视频附加元数据(如视频时长、发布时间等)来辅
伴随着信息技术的飞速发展和全球经济一体化进程的加快,面对繁重的办公事务,企业如何利用信息技术提高自己的办公效率,成为企业信息化建设的一个重要课题,所选代表性企业的办公信
多分辨率仿真是当今仿真研究的重点和难点,在模拟及仿真领域的重要性逐渐显现出来,在该领域也提出过不少建模方法,其中由于聚合解聚法简单易行且通信开销小而引起大家的注意,但该
互联网时代的来临诞生了许多种类繁多的社交应用软件,极大地提高了人们的生活水平。这些社交软件的规模随着信息技术的发展不断扩大,形成了一个个大规模社交网络如QQ、脉脉、微博等,积累了海量具有丰富意义的数据。如何在这些海量数据中进行一些社交网络分析任务去挖掘潜在的社会价值和商业价值,是当前亟待解决的问题。社交网络嵌入学习,即将社交网络节点嵌入到低维空间中,是社交网络分析任务中一个基础问题。尽管目前有许多
学位
随着互联网技术的不断发展和推广,电子政务、电子商务、航天和军工等行业得到了前所未有的提升和发展。伴随互联网技术的蓬勃发展趋势,各国各地的各种文字、图像、音频和多媒
随着计算机网络的发展,网络应用软件为人们提供了各式各样的服务,但软件中存在的脆弱性给人们带来了安全隐患,由于网络应用软件的使用率飞速上升,使得网络应用程序脆弱性检测和修
事务技术用于保障并发事务能够高效、正确地执行。Web服务技术使得互联网上的应用无须借助专门的第三方软件或硬件,就能实现数据交互及功能集成。Web应用所具有的分布性、自治
普通高等院校开设的Visual FoxPro (VFP)程序设计作为非计算机专业学生必修的公共基础课程,参加考试的学生数量大、专业范围广。考试结束后的试卷评阅和成绩统计分析工作使用
颜色作为计算机视觉一个重要且有效的特征,已经被应用到计算机视觉的许多领域中。但是颜色特征很不鲁棒,容易受到场景光照的影响。颜色恒常性计算的目的就是要消除场景中光照