【摘 要】
:
传统的关系型数据库在处理爆发式增长的海量数据时存在诸多缺陷,如可扩展性差,容错性低,不可靠等。而大数据技术凭借其高容错性、高可扩展性、高性能、高可用性等优势,取而代
论文部分内容阅读
传统的关系型数据库在处理爆发式增长的海量数据时存在诸多缺陷,如可扩展性差,容错性低,不可靠等。而大数据技术凭借其高容错性、高可扩展性、高性能、高可用性等优势,取而代之,成为巨量数据管理的有效解决方案。但是,目前大数据框架也有不足之处,其仅能提供基于主键的查询方案,因并不具备关系型数据库的视图、索引等机制,故而无法支持高效的join、多维条件查询等复杂操作,这限制了大数据系统在实际生产环境中的应用。针对以上问题,本文设计并实现了一种非侵入式二级索引方案。其基本原理是构建以列的值为键,以目标数据的RowKey为值的二级索引,使得在大数据平台HBase中可以通过检索相应的“键-值”数据快速查询到目标记录,故而支持基于值而非行键的复杂条件查询,如在HBase中做基于值区间的高效检索。本方案采用C/S架构,在服务器集群端,利用Observer协处理器负责索引数据的并行构造,利用EndPoint协处理器负责索引查询逻辑的并发运行,客户端只需通过Protobuf协议将复杂查询条件传递到服务端,EndPoint协处理器调用结束后将所有目标记录返回到客户端。本文二级索引方案的实验是基于环境空气质量监测大数据进行的。首先设计了HBase大数据存储模式解决海量空气质量监测数据的存储,再引入非侵入式二级索引进行复杂条件查询。实验结果表明本文所提出的二级索引方案既能支持高效的多维查询,又能保证较高的系统吞吐率,达到了预期目标。综上所述,该设计方案弥补了当前大数据管理系统的不足之处,扩展了其基于二级索引的查询功能,增强了系统的可用性。非侵入式二级索引的设计方案是合理可行的,具有一定的理论研究意义和较强的实用价值。
其他文献
采用EDTA滴定法测定RECl3(L)稀土总量,研究了玻璃计量器具、分析试剂、样品的均匀性以及非稀土金属离子等对测定结果的影响。研究结果表明:玻璃计量器具对测定结果影响较大,
随着经济体制改革的不断深入进行,大多数的企业对于成本的精细化管理越来越重视,这已经成为了增强企业经济实力的重要因素。本文最开始介绍了成本精细化管理的理论概述以及重
日本塑料和食品加工工业展览会,已于1981年11月11日至22日在上海展出结束,展品(包括图片,实样)约149台(件),参加展出的厂商共七十六家。据初步统计,这次大部分展品已由国内
生态文明建设要求我们摒弃过去片面关注经济增长而不顾资源环境状况的发展思路,尊重自然、顺应自然、保护自然。生态文明理念落实在矿产资源开发领域就是要求矿产资源开发尊
随着我国经济水平不断的提高,人们的生活娱乐时间大大增加,休闲的方法也多种多样,旅游就已经成为当前一种愉快的休闲娱乐方式。旅游景区的开展也带动了度假村等经济发展模式
在分析全国大学英语四级考试情况的基础上 ,阐述了阅读理解的重要性 ,从如何扩大词汇量、巩固所学的语法知识、积累必要的文化背景知识、掌握必要的阅读技巧等 4个方面探讨了
目的了解鼻咽癌患者放疗后3 a内颈内动脉变化及螺旋CT应用价值。方法 182例鼻咽癌患者在放疗前及放疗后3 a内行多层螺旋CT增强或CT血管造影检查,分析颈内动脉变化情况。结果
企业电气管理工作直接关系着企业是否能够持续稳定地安全生产,电气管理事故是引起企业生产风险的主要因素。随着企业自动化水平的不断提升,对电气设备的稳定科学生产的要求越
山东五大战略性新兴产业33个重点3日公布,功能陶瓷位列其中。功能陶瓷属于先进陶瓷,在电、磁、声、光、热等方面具备许多优异性能。山东省政府公布的《关于加快培育和发展战
一、社会资金投入林业的主要形式随着我国改革开放的不断深入以及社会主义市场经济的建立,社会资金不断投向林业,为林业经济发展注入了新的活力。目前,社会资金投入林业的主要形