DWMS中元数据以及缓冲区的设计和实现

来源 :东华大学 | 被引量 : 0次 | 上传用户:liaoquanya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着ERP、电子商务的迅速发展,越来越多的企业开始重视数据仓库的建设,以从大量数据中获得有用的信息,为企业带来经济效益。相对于数据库管理系统,数据仓库系统具有面向主题、集成的、不可更新的特点,是一种支持对大量数据进行分析的决策性系统。在数据仓库上进行数据分析时,常常要求进行ad-hoc查询操作,这就会在短时间内读取大量新数据。因此,与数据库管理系统相比较,数据仓库系统更偏重于读操作的性能。列存储是一种保证高效读性能的新型存储技术。在列存储中,数据以列的形式存储在磁盘块中,在查询时,只需读取与查询相关的列数据,从而减少磁盘I/O,提高了读操作的效率,所以列存储已成为目前数据仓库的主流存储架构。元数据和缓冲区是数据仓库的重要组成部分,元数据和缓冲区的设计和实现关系到数据仓库的运行效率和稳定性,元数据保存了数据字典中各项基本数据,是数据仓库数据的数据,而缓冲区是为了减少磁盘I/O而产生的内存管理结构,因此元数据和缓冲区的设计好坏直接关系到数据仓库的性能。对于数据仓库,其数据较少更新。但是对于元数据来说,系统需要频繁的对其进行更新、删除操作,由于列存储的局限性,无法很好的支持数据更新,这也给系统实现带来了很大的麻烦。本文作者的研究目标是如何设计出数据仓库中元数据的逻辑结构以及存储结构,并根据其存储结构设计出与其相对应的缓冲区。本文的研究内容主要包括:1.根据数据仓库的定义,分析了数据存储底层管理和实现机制,并对其实现机制,设计出了适合数据仓库底层存储的物理存储结构:2.由于元数据具有广泛性,因此本文只采用了一种元数据即——数据字典作为研究重点,并对数据字典进行了详细的设计,以符合数据仓库上层模块的需求;3.针对数据仓库列存储更新效率上的缺点以及数据仓库对数据字典的高效定值查找、更新的需求,本文设计出了适合数据仓库数据字典的存储结构——Hash B+树索引存储结构,该索引结构可很好地满足了数据仓库的定值查找和数据更新;4.对于数据字典的Hash_B+树底层存储结构,本文为适应此结构,设计出了此结构在共享池的管理方式;5.通过实验,验证了Hash_B+树索引的效率问题,很好地满足了列存储数据仓库元数据管理的实际需求。总之,本文对数据仓库元数据以及缓冲区进行研究和设计,并同时提出Hash_B+树索引结构。此外,通过实验验证,所提出的元数据与缓冲区设计满足了数据仓库的实际需求,提高了元数据中数据字典的定值查找效率。
其他文献
空间数据查询处理技术是数据管理的关键技术,一直受到学术界和工业界的大量关注。作为空间数据的一类重要查询,反向最近邻查询(RNN)及其变种在决策支持、资源分配等重要领域
随着移动通信、互联网通信技术的不断推陈出新,用户移动业务需求的日渐提升,移动互联网时代悄然到来。新时代对嵌入式技术、微系统技术和无线接入技术的标准都提出了新的挑战
随着计算机网络技术的飞速发展,越来越多传统的商业模式被转化至电子商务系统中实现,这些电子商务系统对身份认证提出了强大的需求。公钥基础设施(Public Key Infrastructure
随着票据数字化管理模式的推广,票据图像成为了信息管理的主要载体。而在图像采集设备分辨率不断提高的影响下,图像包含的数据量呈海量增长。巨大的信息量对存储容量和信道带
21世纪经济全球化,人才争夺日益激烈,各国纷纷把人才培养上升为立国战略。学生评估模型作为检验和帮助学生成长的关键因素之一,却一直存在着主观性强、公平性低、全面性不足等问
随着现代传感技术与现代信息处理技术的高速发展,现代遥感技术在社会生活的诸多方面得到了广泛的应用和发展。由于不同传感器获得的遥感图像具有地物场景不同的影像特征,高空间
随着各种交通车辆的增多,以及人们出行增多,使得交通压力日益增大,为了改善高速公路路网的交通性能,一方面需要增加道路、拓宽路面、增添交通设施等硬件投入,另一方面更需要
随着社会的发展以及科技的进步,Web社区的影响力日渐增大,社区强大的用户网使得重要信息能迅速得到社会关注,用户针对产品、话题、政策等发表的观点和建议也为企业营销、政府网
随着计算机技术的快速发展,传统的人机交互方式已经无法满足日趋复杂的交互需求,笔式交互等新型人机交互方式逐渐成为研究的热点。在移动互联网的时代,智能手机、家庭娱乐系统等
随着多媒体业务和实时业务的快速普及,在无线Mesh网络中提供更好的服务质量(QoS,Quality of Service)保障变得越来越重要。无线Mesh网络QoS路由实质上是满足多约束的优化问题,已