历史数据流存储管理技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:kingper
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着硬件、网络与通信技术的飞速发展和实际应用需求的持续推动,数据流作为一种新的数据形式在众多领域有着广泛的应用。目前对于数据流管理的研究成果主要集中于近期数据流的在线管理与远期数据流概要结构的动态维护,而针对历史数据流存储及管理技术的研究成果还不多见,现有数据流管理系统的历史数据流存储及管理性能还比较弱。然而在一些实际应用领域里,人们往往不仅需要近期数据流,还需要结合大量历史数据流来共同解决问题。本文从历史数据流存储模型角度出发,研究提高历史数据流存储管理效率的技术与方法。   已有的组织大量历史数据的技术有:多元存储模型(NSM模型)和分解存储模型(DSM模型)。在大坝安全监测、火山状态监测等数据流应用场景下,在每个采样时刻,传感器结点同时向数据流管理系统传送若干指标的采样数据。把每个时刻的所有采样数据作为一个记录存储起来,不作其它更多的分解处理(即采用NSM模型),则可以获得比较高的首次存储效率,但不利于后期数据的访问。为了提高对存入历史库中数据流的后期访问效率,一般需要建立相应的索引结构。然而在每次数据流存入历史库的同时,都进行索引更新操作,会严重降低首次存储的效率,甚至会发生宕机现象,不能满足高速数据流的历史存储。本文设计适用于历史数据流存储及管理的节律存储模型(The Rhythm Storage Model,RSM),不但具有较高的首次存储效率,还可以通过所设计的新索引技术改善后期访问效率。   已有研究表明,硬件技术(特别是缓存技术)的发展,使CPU和内存之间的缓存失效现象成为数据管理系统新的主要性能瓶颈之一,于是,缓存器(Cache)敏感的索引技术相继问世。本文对Cache敏感的索引技术进行深入研究,提出一种适合历史数据流的高效的Cache敏感的索引结构-BHB-树(B+&Hash&Bitmap-Tree)。BHB-树采用分层结构,将B+-树和Hash技术相结合,能有效降低树的高度,减小索引项的规模,从而提高索引数据的Cache命中率,减少缓存失效现象;在BHB-树的叶子节点层,采用位图(Bitmap)技术提高索引的空间效率及相应的数据操作效率。   本文还设计了基于RSM模型与BHB-树索引结构的相关历史数据流操作算法;并在STREAM原型系统基础上设计和实现历史数据流管理系统原型MyStream;基于该原型进行了历史数据流管理性能对比分析研究。   理论分析和实验结果表明,BHB-树在一般历史数据流查询性能上略优于B+-树,在基于特定值的查询时具有明显优势。本文所研究的RSM模型与技术能有效应用于历史数据流的存储和管理。
其他文献
蛋白质与配体相互作用以及蛋白质的结构与功能关系是后基因组时代研究的核心内容。研究蛋白质受体与配体间相互作用与识别对于揭示细胞中蛋白质的分子生物学机理具有重要的意
作为无线自组织网络的一个特例和典型应用,车辆网络近期成为一个研究热点。按照是否存在路边基础设施可分为有基础设施的车辆网络和无基础设施的车辆网络。由于无基础设施的
区块链技术在2008年比特币提出后得到了快速发展,并逐渐被作为一个可信的分布式账本应用在金融和数字内容保护领域。随着许可类区块链的应用变得更加广泛,一些分布式系统中的
植物的颜色是由于植物中的有机色素对光的选择性反射与吸收造成的。植物叶片中的色素主要有3大类:叶绿素类,主要有叶绿素a、叶绿素b;类胡萝卜素类,主要有类胡萝卜素和叶黄素;类黄
进入21世纪以来,多核处理器的出现预示了CPU芯片行业未来的主要发展方向。多核处理器具有低主频,高性能,低功耗等优点,它解决了传统处理器体系结构技术所面临的瓶颈。   DNA序
基于视频的目标检测与跟踪识别技术在军事、航空航天、科学探测、天文观测以及智能视频监控等领域具有越来越广泛的应用。由于它涵盖了计算机视觉、人工智能、模式识别等多个
航空、航天、航海相关技术一直是衡量一个国家实力的重要指标之一,惯性导航技术作为一项涉及到机电,电子,计算机,自动控制,光学,精密仪器等多个学科的交叉学科,在航空航天航海领域有
学位
随着网络的普及和深入应用,Web从一个静态内容提供平台逐渐演化成为一个协同应用的发布和使用环境,使得将软件以服务的形式交付给用户(SaaS)成为可能。多租户SaaS架构作为一种
植物是自然界最常见的景观之一,对植物形态及生长发育进行建模,一方面对于探索植物生长过程的规律,深化对农学、植物学的研究具有重要的意义;另一方面,植物建模技术已在艺术设计、
为软件项目构造合适的过程模型对提升软件质量和生产率具有重要意义,但这也是一个知识密集,耗时费力的工作。为此,北京大学软件工程研究所提出了一种基于模式的软件过程构造方法