基于InfoSphere Streams的流数据分析及应用

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:nsitbay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,一种被称为流数据的新数据形态在越来越多的应用领域内出现,与传统的静态数据不同,流数据具有持续性、海量性、高时效性的特点。若使用传统数据处理方法则会导致处理延迟太高无法满足实时性的要求,同时尝试将分布式计算引入流数据处理领域也是不可行的,需要寻找一种新的数据处理方法来支持流数据的处理,这种方法就是流计算。现在对智能交通领域的海量实时流数据的处理还主要采用的是传统数据处理方法,这已经逐渐无法满足现实需要。本文提出了一种将流计算和流计算平台引入智能交通领域的海量实时流数据处理的方案,提高处理速度,降低处理延迟,以满足日渐增长的实时性要求。并深入分析了流计算和InfoSphere Streams平台的工作原理,在此基础上设计并实现了基于InfoSphere Streams的实时路况监测系统。为了验证新方案的优势,在本文的研究工作中,分别使用传统数据处理方法、单条流水线的流计算方法和多流水线的流计算方法实现相同业务功能的应用,并对三个案例的实际性能表现进行对比分析。结合流计算所关注的主要性能指标,设定具体的评估项和实验方案,实际进行了实验和对比分析,实验结果表明在处理流数据方面流计算更具有优势,并且使用多流水线可以成倍地提升数据处理速度,从而说明了在智能交通领域使用流计算进行流数据处理的可行性和合理性。
其他文献
为了适应Internet开放环境和用户需求的不断变化,软件系统需要不断地调整自身。这种调整,或称之为演化,通常采取静态或动态的方式。动态演化虽然在技术实现上有很高的难度,但
随着Internet的普及,人们对Internet上信息的各种需求也急剧增加,网格计算也伴随着互联网而迅速发展起来。结合新的Web Service技术,形成了新一代的网格体系结构OGSA。以服务为
物联网是通信网和互联网的拓展应用和网络延伸,它利用感知技术与智能装置对物理世界进行感知识别,通过网络传输互联,从而进行计算、处理和知识挖掘,实现人与物、物与物信息交互和
互联网的发展越来越贴近生活、服务生活,越来越多的用户使用互联网预订预定火车票、酒店、航班等等出行服务。作为订票商会向用户发送通知邮件以确认订票的相关信息。但是用户
随着“以用户为中心”为主要理念的Web2.0的深入发展,Folksonomy秉承了这一重要思想因而得到广泛推广,同时也因其自由性、灵活性和共享性等特点逐渐成为当前网络最流行的应用之
随着三维获取设备以及个人计算机性能的飞速发展,通过互联网浏览高精度三维模型成为了可能,而这不论对于各个领域专家的研究或者普通用户的参观都具有较大意义。本文通过基于
目前,随着多媒体正在成为信息传送的重要组成部分,视频会议系统作为一种新型的通信和交流工具,突破了地域的限制,可以提供更为便捷、灵活、全面的音、视频信息的传递和服务,
在经济飞速发展、人民生活水平日益提高的今天,信息资源的地位越来越高,信息的流动也倍受重视,尤其是与衣食住行密切相关的气象信息更是成为了人们生活中不可或缺的一部分。
随着Internet技术的高速发展,Web已经成为人们获取信息的一个重要途径,由于Web上的文本信息日益增长,如何有效地检索用户所需信息成为一个非常重要的研究课题。信息检索是指信息
无线技术和移动计算设备的迅速发展,改变了传统的分布式计算。与固定网络计算不同,移动计算在无线环境中运行,其资源有限且可用资源经常变动,应用需要感知并适应环境变化以保证服