【摘 要】
:
近年来,由于科学数据的数据量急剧增大,导致科学数据管理系统难以有效管理数据和快速检索数据。数据库领域中的索引技术,尤其是多维索引技术,能够有效管理数据和快速检索数据
论文部分内容阅读
近年来,由于科学数据的数据量急剧增大,导致科学数据管理系统难以有效管理数据和快速检索数据。数据库领域中的索引技术,尤其是多维索引技术,能够有效管理数据和快速检索数据。由于科学数据具有数据量大、产生速度快、无修改删除操作、数值型数据类型居多的特性,所以非常适合选择使用索引技术中的位图索引进行数据管理和数据检索。大部分位图索引技术是在单节点下构建索引,该方式具有索引构建速度慢,存储扩展性差的问题。又因科学数据存储在分布式存储系统中,因此科学数据研究领域迫切需要一种在分布式环境中快速构建位图索引的方法。为满足该需求,本文设计了一种基于分布式环境加快位图索引构建的方法。在各节点上构建位图索引,然后节点间进行协同处理,通过索引追加合并的方式快速构建全局位图索引。构建索引后,为了提高索引数据的安全性,对索引数据做冗余备份,然后设计并实现保证多副本一致性的系统;使用位图索引查询执行时,需要保证索引文件的数据一致性,如果出现数据不一致,将导致查询结果出错,因此设计了查询执行中保证索引数据一致性的方法。在系统运行过程中,如果发生存储节点宕机或者数据文件损坏,将影响系统的正常使用。为提高系统稳定性和数据安全性,设计与实现了分布式环境下的数据容错系统。存储节点宕机或者数据文件损坏时,可以通过冗余副本,找回丢失的数据。主要内容包括:(1)设计了一种利用分布式环境加快位图索引构建的方法;(2)设计并实现了保证索引副本的数据一致性系统;(3)设计了查询执行中检测与恢复位图索引的数据一致性的方法;(4)设计并实现了一个在分布式环境下的数据容错系统。
其他文献
网络视频监控作为计算机视觉领域的研究热点,被广泛应用于公共安全、智能交通等领域。行人再识别是网络监控系统的核心任务,研究其相关的算法与技术具有重要的学术意义和巨大
随着房地产相关经济活动越来越频繁,对房地产估价的需求也随之增大,对房地产价值的精确衡量已成为一个令人关注的话题。而目前市场上使用较多的三种传统估价方法市场法、成本
一维空心纳米复合材料具有比表面积大、孔隙率高、扩散距离短等独特的性质,在染料废水处理、蛋白吸附和锂离子电池等领域表现出广阔的研究空间和良好的应用前景。然而,一维空
形选系统是一种物料自动分选系统,依据物料的形状特性,对同种物料进行分类挑选,并且分选速度快,精度高,能够有效的提高物料分选的效率。分选系统的种类繁多,但是一般都仅仅针
类胡萝卜素是存在于生物体中的一种十分重要的色素。它不仅是光合作用的捕光色素和光保护色素,还是脱落酸和独脚金素等植物激素的合成前体,对植物的生长发育至关重要;人类和
本文研究了Top-k文档检索问题,即对给定的文档集D={d1,d2…,dn},对D构建索引,通过相关的打分函数给每个文档进行打分,使得对任意给定的模式P,返回文档集中与该模式最相关的前
盐碱土壤是我国土地资源的一部分,尤其在中国的东北部,荒地资源中盐碱土壤占有很大比例。土壤中多量的可溶性盐溶液会造成植物细胞壁两侧体液渗透压的不同,使细胞内部不同程
近年来,基于维基百科的知识库构建得到人们的大量关注,维基百科中各种不同的语义信息被挖掘出来,而其中最重要的语义信息之一就是实体类别(Type)信息。目前在维基百科中推断
在现实生活中,集体决策制度被个别单位异化的运用,背离了群策群力的制度设置初衷。同时,集体决策往往导致责任分散,这使得对单位犯罪进行追责时常常面临着因果关系认定的困难
从2002年《中华人民共和国政府采购法》颁布开始,通过不断探索,全国政府采购规模逐步扩大,政府采购流程也趋于规范。但在政府采购绩效评价上,至今尚未形成系统的政府绩效评价