时序数据的高效存储与检索

被引量 : 11次 | 上传用户:sunto0724
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序数据被广泛应用于生产生活中的众多领域,由于时序数据具有时间累积特性,因而,其数据量通常十分庞大。而现有的存储方法在空间利用、查询速度上存在不足,因此,时序数据的高效存储与检索成为一个重要的课题。时序数据具有时间性、局部性、累积性、不可预测性等数据特征,本文的研究目标即针对上述特征,设计实现一种编码压缩算法,在保证数据准确性和完整性的情况下,对时序数据进行无损压缩,尽可能地减少数据冗余,提高存储空间利用率,同时保证数据检索效率,并最终将该算法应用到时序数据处理系统当中。本文设计实现了适于时序数据特征的行列存储结构。该结构针对时序数据不同阶段的应用需求,将行存储与列存储进行有机结合,为不同数据操作提供合适的数据结构。本文提出并实现了针对整型时序数据的TSDAC算法。该算法通过直接取址编码,实现了整型数据的变长高效编码压缩和直接访问。此外,TSDAC算法还通过相异数存储策略有效减少连续冗余数据的存储;通过LGAP压缩算法,以差值代替原数据进行存储,有效减少数据存储所需的空间;通过限制层数的动态规划提高数据的随机访问效率;通过连续数据查询算法,提高数据的连续读取效率。本文提出并实现了针对浮点型时序数据的FTSDAC算法。该算法通过浮点数小数点的移位操作,将浮点型数据转换为整型数据,并结合TSDAC算法以整数形式实施编码压缩,从而实现了浮点数的高效无损压缩存储和快速查询。实验结果表明,TSDAC算法和FTSDAC算法可以有效地实现时序数据的高效存储与检索,其压缩率和检索速度等性能显著优于DAC算法及Bzip2算法。本文还设计实现了时序数据高效存储与检索系统,通过实现分治存储、分层存储等存储策略,从系统结构层面提高了时序数据的压缩效果和检索速度。
其他文献
机动车交通事故责任主体包括物件责任主体和行为责任主体。前者仅在《侵权责任法》中有规定,对机动车负有管理责任但并不直接使用机动车参与交通运行活动,一般承担过错责任;
为促进社会主义新农村建设,加快城乡客运一体化进程,分析了国内大部制背景下构建城乡客运一体化所面临的管理机制多元分割、财政资金投入不足、道路客运城乡政策差异等问题;
<正> 传统发酵乳生产工艺越来越难以适应人们对发酵乳的数量和质量的要求。预发酵罐的出现应用,给发酵乳在其工艺操作、产品质量及经济效益等方面都产生了积极的影响。预发酵
该文浅谈线描在古彩装饰中的应用,谈及古彩古色古香的赋彩合苍劲雄健的线描。并重点分析了古 彩线描的三大要素,点、线、圈的形成及应用。
无行为则无犯罪,刑法处罚的是犯罪行为,但刑事责任最终必须由特定的行为人承担。近代以来,为了在共同犯罪领域内更好地贯彻责任主义,世界各国都对参与共同犯罪的行为人进行了
之所以做儿童发展这一块,是因为一种理念。我们的调查统计发现,农村孩子的身高和城里孩子的身高差出三个年龄段,13岁只相当于城里10岁孩子的身高,营养不良的比例达到40%,这样
期刊
摩尼教是一个起源于波斯的世界性宗教,在产生和发展阶段时借鉴许多西方宗教思想,其传播过程中又吸收了包括佛教在内的多种宗教因素而形成的。当摩尼教传入中国后,为了与中原
目的评价右佐匹克隆和佐匹克隆治疗失眠症的疗效和安全性。方法将183例失眠症患者随机分成2组,治疗组92例,对照组91例。治疗组给予右佐匹克隆片3 mg.d-1,睡前服;对照组给予佐
高校既是培养高级创新专门人才的摇篮,又是科学研究的重要基地。然而随着经济和社会环境的变迁,学术不端行为开始不断地滋生扩大,它严重破坏了高校学术研究的有序发展。同时学术
关于宋元以来公案作品的代表《错斩崔宁》、《窦娥冤》中冤案产生的原因,有学者认为主要是由于当时科技水平不发达或没有无罪推定导致。然而,仔细检视上述案件的文本,并比对