论文部分内容阅读
随着互联网技术的快速发展,我们正在进入大数据时代:新的数据来源渠道不断出现,数据复制和传输更加容易,不断积压的历史数据有待存储和处理。现有的关系型数据库和非关系型数据库存储方案各具优势,所以SQL与NoSQL混合数据库方案应运而生。但这种存储方案需要将同一应用的数据进行分离,根据数据特点分开存储于SQL数据库和NoSQL数据库中,所以涉及到多个异构数据源的管理问题。本文正是在以上背景下对SQL与NoSQL集成查询的关键技术进行研究。本文首先介绍了结构安全监测领域的存储架构面临的分布式问题,说明SQL与NoSQL集成查询中间件的研究意义。通过分析近几年国内外存储架构的现状和发展趋势提出了本文的研究方向。然后重点研究了SQL与NoSQL集成查询的方案,总结出了SQL主库查询方案与独立中间件方案相结合的SQL与NoSQL集成查询中间件的架构。针对架构需求中的NoSQL数据关系化进行研究,通过分析直接型NoSQL数据三元组化算法的缺陷,设计一种基于预查询的NoSQL数据转化方案;针对架构需求中的NoSQL数据重建进行研究,分析等值连接重建算法的缺陷,设计一种基于预筛选的NoSQL数据重建方案。接着,利用改进后的新方案对SQL与NoSQL集成查询中间件进行实现,使用户能够透明地访问异构数据源。最后,搭建测试平台,对中间件的功能、NoSQL数据转化算法以及NoSQL查询模式转化算法进行测试,对比分析原算法与新方案的性能区别。实验表明,本文设计的SQL与NoSQL集成查询中间件架构是可行的,遵循此架构开发出来的中间件系统能够使得用户构建规范的SQL语句统一访问SQL和NoSQL数据,不用关心异构数据源不同的数据结构。经过实验分析,改进后的NoSQL数据转化方案和NoSQL查询模式转化方案能够显著提高查询性能,具有一定的使用价值和工程意义。