基于压缩与并行技术的数据流处理方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:bigrobbin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机的应用领域不断扩大,数据的类型在不断地发生着变化,需要处理的数据量也与日俱增.从早期的单一数据,到以集合形式存在的文件和关系表数据,再到海量数据和无限数据流,每一种类型的数据都有不同的应用背景和处理方法.数据流这种数据形式,在多种实际应用中的广泛出现,而且对其的处理,在计算、存储和通信等方面都对成熟的数据库管理技术提出了极大的挑战.所以,数据流的处理方法越来越受到数据库研究领域的专家学者的关注.数据流的处理是实时处理,处理算法多为内存算法.而数据流无限性的特点使实际中有限的内存空间根本不能满足某些处理的需要,只能进行近似.利用滑动窗口将无限的数据流限制在有限的区间内是一种常用的数据流近似处理方法,但其仍存在内存问题.基于滑动窗口的查询处理方法都基于一个假设:"滑动窗口能够全部存储于内存中".一旦此假设不再成立,那么,一些现有的处理方法将不再正确.由此可见,内存问题是数据流处理中一个重要而亟待解决的问题.本文提出了利用基于滑动窗口的数据流压缩方法和并行处理方法,在一定情况下能够解决内存问题,提高对数据流的处理能力.首先,利用基于滑动窗口的数据流压缩技术减少数据流对内存的实际需求,提高内存的"利用率",解决了滑动窗口内存溢出的问题.提出两种基于滑动窗口的数据流压缩方法:SLZW和SALZW.并给出了在压缩的数据流滑动窗口上的连续查询处理方法.另外,利用并行处理的方法,可以提供更多的主存空间和更多的计算资源进行数据流查询处理,从而提高了数据流整体查询处理能力.文中作者给出数据流并行查询处理框架,并根据不同情况给出不同的数据流数据分发策略,以及不同分发策略下的滑动窗口连续查询的并行处理算法.理论分析和试验结果表明,这些方法都能够有效的缓解内存紧张,提高对数据流的处理能力和处理的精确性.
其他文献
单片机自20世纪70年代问世以来,以极其高的性价比受到人们的重视和关注,所以应用很广,发展很快。由于单片机的集成度高,功能强,通用性好,特别是它具有体积小、重量轻、能耗低、价格
本论文中主要介绍数据仓库与数据挖掘技术在网管中的应用,首先介绍数据仓库相关技术的基本概念,讲述该技术在各个领域中的应用及成果,强调数据仓库相关技术在网管系统中的价值;详
视频跟踪是计算机视觉的重要分支,通过计算机视觉实现对目标的检测和跟踪在智能监控,视频压缩,自动导航、人机交互、虚拟现实等方面都有广泛应用前景。而对于很多拥有视觉的
随着车载系统、手机和笔记本电脑等通信产品的广泛应用,如何在移动ad hoc网中进行数据传输成为目前重要的研究课题,基于地理位置的GEOCAST数据传输协议是其中的一个重要分支
客户关系管理(CRM,customer Relationship Management)是适应现代管理思想发展起来的一种新型管理模式,可以分为协作型、操作型、分析型三种类型.分析型CRM将操作型CRM中有价
空间基础设施的建设对国民经济和国家安全起到的作用是至关重要的。因此,对以不同种类卫星组网为核心的空间基础设施建设的研究方兴未艾。卫星综合信息网作为空间基础设施的具
随着计算机的普及,计算机网络已成为许多行业必不可少的办公工具。而目前各行业仍利用邮电系统提供的程控交换网络进行电话通信,需支付大量的电话费,占用了各部门很大一部分
目前,负载均衡技术广泛应用于服务器集群当中,集群负载均衡技术主要分为三方面的研究内容:一、资源的重定向机制,包括:基于客户的重定向方法,基于DNS方法,基于分发器方法和基于服务
随着企业信息化进程的不断深入,把ERP引入生产管理已成为一种趋势。库存管理作为ERP的核心部分,对它的正确管理和科学决策能给企业的经营带来巨大的利润空间。 本文针对企业
Ad Hoc网络是一种无中心、自组织的、由移动节点组成的动态变化的多跳无线网络,每一个节点也兼备路由器功能。随着Ad Hoc网络的进一步发展,关于其网络中所使用的路由协议的性