论文部分内容阅读
云计算、移动互联网、物联网等新兴技术的快速发展促使数据的规模爆炸式的增长。丰富的数据来源和多样的数据结构使得半结构和非结构化的数据比重越来越大。大数据环境下充分挖掘数据的价值,需要快速高效的对海量的异构数据进行存储、计算和分析。关系数据库的性能瓶颈和扩展瓶颈使其不能很好的应对海量数据的高效存储、高并发读写、高扩展性和高可用性的需求。 NoSQL数据库具有易扩展、高灵活性、高性能和高可用的特征,适用于对海量数据进行处理,因此可将现有的存储系统从关系数据库迁移至NoSQL数据库。但NoSQL数据库对连接查询没有提供很好的支持,若仅将数据迁移至NoSQL数据库而不消除表之间的依赖关系将会极大的影响NoSQL数据库的查询性能,因此在迁移的过程中需要对关系数据库进行模式转换。数据库模式转换和迁移完成后,若关系数据库新增加了表或者产生了增量数据,需要将增量模式或数据同步至NoSQL数据库中,以维持两个数据库的一致性。 基于上述的应用需求和问题挑战,本论文对关系数据库到NoSQL数据库的增量转换模型进行研究,并在此基础上提出了数据库增量转换系统框架。通过建立增量转换模型,对增量模式转换和增量数据转换的一般过程进行分析,提出增量转换算法来完成关系数据库增量信息的增量转换,保证数据库间的信息一致性。本文完成的主要工作如下: 首先,本文提出了一个用于增量模式转换和增量数据转换的数学模型。数学模型中对关系型数据库和NoSQL数据库建立图模型。在图模型的基础上,定义模式转换模型、增量模式转换模型和增量数据转换模型。在数学模型的基础上,分析增量模式模型和增量数据模型的性质,研究增量模式转换和增量数据转换的一般过程,提出增量模式转换算法和增量数据转换算法。算法分别实现了将关系数据库的增量模式和增量数据完整、正确的转换迁移到NoSQL数据中。此外,本文对也对该算法进行相应的理论描述和分析,并通过实验证明其可行性和有效性。 其次,本文在增量模式转换模型和增量数据转换模型的基础上提出了增量转换系统框架。该框架对关系数据库到NoSQL数据库的增量转换进行了完整的模块和流程描述,实现了非关系数据库的模式定义、关系数据库的增量模式和增量数据监测、增量模式转换和增量数据转换、查询映射、结果校验等功能,能够准确的检测增量模式和增量数据,并对其进行转换,保证了数据库间的信息一致性。 再次,本文实现了关系数据库的增量模式和增量数据的检测,设计NoSQL数据库的模式,并将关系数据库的增量模式和增量数据转换、迁移至NoSQL数据库。同时,将关系数据库的查询语句映射为模式转换后的NoSQL的对应的查询语句。数据库增量转换的过程中,对转换和映射的过程进行监控和分析,确保转换的正确性和数据的完整性。 最后,设计并开展实验,完成增量模式转换和增量数据转换的实验及相关的实验结果分析,验证增量模式转换算法和增量数据转换算法的正确性以及增量转换系统框架对新增模式和新增数据的增量转换能力。实验结果显示该框架能够正确的检测关系数据库的增量模式和增量数据,并完整的将增量信息转换至NoSQL数据库。