数据库增量转换模型研究

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:gouridzmhuiyouren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算、移动互联网、物联网等新兴技术的快速发展促使数据的规模爆炸式的增长。丰富的数据来源和多样的数据结构使得半结构和非结构化的数据比重越来越大。大数据环境下充分挖掘数据的价值,需要快速高效的对海量的异构数据进行存储、计算和分析。关系数据库的性能瓶颈和扩展瓶颈使其不能很好的应对海量数据的高效存储、高并发读写、高扩展性和高可用性的需求。  NoSQL数据库具有易扩展、高灵活性、高性能和高可用的特征,适用于对海量数据进行处理,因此可将现有的存储系统从关系数据库迁移至NoSQL数据库。但NoSQL数据库对连接查询没有提供很好的支持,若仅将数据迁移至NoSQL数据库而不消除表之间的依赖关系将会极大的影响NoSQL数据库的查询性能,因此在迁移的过程中需要对关系数据库进行模式转换。数据库模式转换和迁移完成后,若关系数据库新增加了表或者产生了增量数据,需要将增量模式或数据同步至NoSQL数据库中,以维持两个数据库的一致性。  基于上述的应用需求和问题挑战,本论文对关系数据库到NoSQL数据库的增量转换模型进行研究,并在此基础上提出了数据库增量转换系统框架。通过建立增量转换模型,对增量模式转换和增量数据转换的一般过程进行分析,提出增量转换算法来完成关系数据库增量信息的增量转换,保证数据库间的信息一致性。本文完成的主要工作如下:  首先,本文提出了一个用于增量模式转换和增量数据转换的数学模型。数学模型中对关系型数据库和NoSQL数据库建立图模型。在图模型的基础上,定义模式转换模型、增量模式转换模型和增量数据转换模型。在数学模型的基础上,分析增量模式模型和增量数据模型的性质,研究增量模式转换和增量数据转换的一般过程,提出增量模式转换算法和增量数据转换算法。算法分别实现了将关系数据库的增量模式和增量数据完整、正确的转换迁移到NoSQL数据中。此外,本文对也对该算法进行相应的理论描述和分析,并通过实验证明其可行性和有效性。  其次,本文在增量模式转换模型和增量数据转换模型的基础上提出了增量转换系统框架。该框架对关系数据库到NoSQL数据库的增量转换进行了完整的模块和流程描述,实现了非关系数据库的模式定义、关系数据库的增量模式和增量数据监测、增量模式转换和增量数据转换、查询映射、结果校验等功能,能够准确的检测增量模式和增量数据,并对其进行转换,保证了数据库间的信息一致性。  再次,本文实现了关系数据库的增量模式和增量数据的检测,设计NoSQL数据库的模式,并将关系数据库的增量模式和增量数据转换、迁移至NoSQL数据库。同时,将关系数据库的查询语句映射为模式转换后的NoSQL的对应的查询语句。数据库增量转换的过程中,对转换和映射的过程进行监控和分析,确保转换的正确性和数据的完整性。  最后,设计并开展实验,完成增量模式转换和增量数据转换的实验及相关的实验结果分析,验证增量模式转换算法和增量数据转换算法的正确性以及增量转换系统框架对新增模式和新增数据的增量转换能力。实验结果显示该框架能够正确的检测关系数据库的增量模式和增量数据,并完整的将增量信息转换至NoSQL数据库。
其他文献
人脸识别是近年来模式识别、图像处理、机器视觉、神经计算以及认知科学等领域研究的热点课题之一,还受到了工业界的极大关注,并已取得了丰硕的研究成果。人脸识别系统的性能不
实时系统在各领域尤其是嵌入式领域有着广泛的应用,它一般被用在对时间要求非常高的装置上。对于很多实时系统,如果其设计在逻辑、时序方面出现偏差,将会引起严重的后果。随着实
本文在大量调研的基础上,论述了国内外城市地质信息系统数据组织与管理发展状况和趋势,重点论述了当前我国城市地质数据组织与管理技术的发展遇到的问题,而后提出了基于城市地质
本文提出了在客户端采用动态反馈缓冲的算法。该算法的原理是在客户端动态划分一段内存空间作为来自发送端的流媒体的数据缓冲,根据不同网络情况动态改变该缓冲区的大小,使得客
互联网行业的不断发展壮大所带来的数据风暴充斥着人们的生活,特别是由此而带来的商业价值吸引着众多人的眼球,而巨大的商业价值来源于对海量数据的提取分析,但是传统的数据挖掘
本文以湖南省国土资源厅电子政务建设为研究背景,以系统科学理论为指导,综合运用信息学、计算机科学、土地资源管理学等多学科知识,应用软件工程的理论和方法,通过对湖南省国土资
本文论述了LINUX内核结构及其开发实践。 1991年,linus torvalds开发出最初的Linux,这个操作系统适用与基于intel 80386微处理器的IBM PC兼容机。现在,linus依然不遗余力的改
地图能对真实世界进行模拟,是一种高度抽象化、概括化的模型。随着科学技术的不断提高,地图技术的发展也在飞速前进。地图符号作为地图的语言,能直观地表达地理事物和可视化展现
随着计算机的不断普及,互联网的快速发展,人们对传统的教学模式不再满意,而此时网络课程应运而生。传统教学模式以老师为主,老师和学生同时处在教室,老师主动向学生授课,学生则被动
World Wide Web(简称Web)自诞生起,其规模在短短十几年间呈指数级增长。由于Web的存在,人们可以方便得获得大量信息。但同时Web信息的海量性、复杂性、分布性以及非结构性,使人