MongoDB管控系统查询优化模块的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yuzhic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着NoSQL数据库的飞速发展和大规模实践应用,越来越多的企业和研究机构,选择NoSQL数据库构建内部的高性能系统,以应对日益增长的内部业务需求和大数据的存储检索挑战。MongoDB便是其中一种优秀的NoSQL数据库,已被成千上万家企业和研究机构应用在一线生产环境中。和传统关系型数据库相比,MongoDB不基于关系代数,查询语句、索引类型与传统的关系型数据库有较大的差别,而查询语句的编写,索引设计的好坏,都是影响MongoDB查询性能的重要因素。因此如何根据MongoDB的查询特点、索引特点,对业务方Mongo DB的查询进行优化建议,成为了一个需要研究的问题。基于上述情况,本文以MongoDB慢查询日志为依据,采用流程分解、影响因素分析、语法检查、索引推荐等技术,设计并实现了对MongoDB的查询进行优化建议的系统。(1)本文首先对项目背景和用户需求进行了实地调研,重点分析了当前的优化流程和管控系统的业务背景。在此基础上,对MongoDB的查询处理过程进行了流程分解,从瓶颈资源、影响因素、优化方向三个角度对分解后的各阶段进行了分析。结合减少数据访问、返回更少数据等优化原则,最终确立了以查询谓词检查、索引评估、索引推荐、结果集数量分析作为管控系统的优化方向。(2)日志获取、判重与初步解析。系统首先读取MongoDB实例的慢查询日志,对单条日志记录,提取日志中的唯一性标识,计算对应的MD5值,利用缓存进行判重。将没有重复的原始日志保存到数据库中,接着对原始日志进行初步解析,提取关键属性,并对日志中的查询条件进行标准化处理,最后将初步解析结果保存到数据库中。(3)从查询谓词检查、索引优化、结果集数量分析三个方面,进行优化建议。利用初步解析结果,在查询谓词检查方面,对相关查询谓词进行语法层面的检查,兼容谓词和普通查询条件混用的情况。在索引评估方面,计算索引选择率,评估索引过滤能力,结合用户实例内存评估索引大小的影响,基于影响权重的原则进行最左前缀匹配评估和索引覆盖情况评估。在索引推荐方面,基于等值排序范围条件的索引建立原则,对集合进行索引推荐。在结果集数量分析方面,计算本次返回文档数量占总文档数的比重,结合语法层面投影限行谓词的检查,分析结果集返回数量的影响。系统最后将优化建议结果保存到数据库中。本论文最后对系统功能性和非功能性需求进行了测试,实验结果证明本系统能满足管控系统业务需求。本文从管控平台的角度,对MongoDB查询进行优化建议,具有一定的通用性,对相关运维平台查询优化系统的实现,具有一定的借鉴意义。
其他文献
目的:探讨腹腔镜卵巢打孔术联合中药对多囊卵巢综合征(Polycystic Ovary Syndrome,PCOS)痰湿证不孕症的治疗效果。运用Meta分析方法系统评价腹腔镜卵巢打孔术联合中药治疗PCOS不孕症的临床疗效及治疗安全性,为PCOS的临床治疗提供有力的理论依据。方法:66例PCOS痰湿证不孕患者随机分为对照组(手术组)和研究组(手术+中药组),检测治疗前后激素水平、基础卵泡数量、排卵及妊
伴随着现代科学技术的蓬勃发展,当今社会信息化程度日益提高,现代信息技术也正渗透到人们日常生活的各个领域,而教育资源管理系统的兴起与广泛应用正是一个很好的例子。教育
归纳逻辑编程(Inductive Logic Programming,ILP)是指在受限制的一阶逻辑框架中进行归纳推理。归纳逻辑编程中一个重要问题是在给定词汇不足的情况下如何扩展假设语言(Hypoth
针对当前城市出租车行业中普遍存在的交通拥堵,车辆信息不能及时有效传递以及停车场定位困难等问题,联合物联网中不断发展与普遍应用的WSN(Wireless Sensor Networks)技术,本
伴随着现代信息技术的飞速发展,税务机关的信息化水平逐年得到提升特别是在税务稽查管理方面。然而税务机关在税务查账信息化建设方面却显得相当滞后。伴随着税务管理变革的
从2012年以来,城市化建设再次成为一股热潮,在地方政府文件中多次被提及。城市化是伴随经济发展和工业化而来的,造就了现代人类文明。城市化可以扩大内需,改善产业结构,正逐
在新型网络结构发展趋势下,网络流量呈指数级上升。网络业务的发展使得光网络的部署越来越复杂,以应对越来越大的数据流量。随着日益增长的业务带宽需求以及日新月异的业务种
多孔石墨烯(Porous graphene,PG)是基于石墨烯(Graphene,G)材料的衍生化碳纳米材料,其孔结构可分为二维(2D)基面内纳米孔和三维(3D)网状微孔两种。这些孔结构使得PG不仅拥有G本身的良
随着网络技术的发展,互联网数据应用的海量化、复杂化,IP框架的固有缺陷日渐突现,难以适用未来信息化的需求。信息中心网络(information-centric networking,ICN)是未来网络
为满足下一代通信系统高容量和高传输质量的业务需求,部署低功率节点及采用大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)技术获得了越来越多的