基于HBase跨行事务系统的设计与实现

被引量 : 1次 | 上传用户:lw8307817
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近些年信息化的急速发展,分布式云计算平台Hadoop日趋完善,大数据处理已被大量使用到互联网数据当中。Hadoop框架下的分布式数据库系统HBase具有高效的处理能力、极大的存储空间、强扩展性等特点。但由于牺牲事务特性换来高处理能力的HBase也出现一些问题,不支持跨行和跨表事务功能,导致HBase的弱事务性系统无法支持传统关系型数据库的事务逻辑处理,无法实现一些场景下需要的业务功能。目前的解决方案是使用者根据自身应用的特点,根据应用场景的需要自行在HBase系统中开发事务功能代码。这样做导致方案无法公开,不仅增加了软件开发的成本周期,而且不利于HBase本身在行业间的普及与优化。随着HBase本身版本的不断升级,很多实用性的接口功能已经添加到工程代码当中,如Coprocessor协处理插件。虽然目前系统只支持了单行数据的事务性控制,但是如果能够利用好这些极具扩展性的接口,与HBase现有体系功能相结合,实现用户希望的、目前还不支持的跨行跨表事务功能,是本文重点研究的内容。针对HBase系统架构的特点和传统数据库事务性的特性,本文研究设计并实现了在分布式数据库HBase平台上的跨行跨表事务功能。通过分析Hbase系统架构与研究事务功能算法实现的原理,保证HBase本身的扩展性、高吞吐、可用性特点的前提下,结合分布式内存系统Hazelcast的高速读写能力,将其作为缓存层,在保证了数据的可靠性的同时,实现并加速了事务功能日志的读写。分析关系型数据库中事务处理算法和机制,结合HBase自身系统的构造,选取适合其系统特点的并发控制算法、资源锁算法,实现基于HBase系统的事务管理功能模块。在尽量在最小范围内修改原始处理逻辑,利用系统提供的协处理器接口Coprocessor和过滤器接口Filter设计实现事务开始、提交、回滚功能。并通过实现HBase添加二级索引的功能来体现分布式数据库同样需要完整事务特性的支持。最后搭建试验环境,对改进后的HBase系统在事务功能上与原生系统进行了对比测试。在时间,资源损耗等数据上进行了对比分析。验证添加索引功能的事务特性的正确性。并得到结论证明文设计的系统具有良好的功能与性能,满足HBase处理跨行跨表事务功能的要求。
其他文献
随着教育体制的不断改革和推进,作为基础学科的初中生物学科,已经成为当前整体教学体系当中尤为重要的一环。身为初中生物教师如何能够保证课堂教学高效、有序的进行,已经成
以STC89C52为核心设计了多功能电子时钟,硬件电路设计采用模块化的方法,分为STC89C52单片机最小系统、DS1302时钟模块、LCD1602液晶显示模块、按键模块、DS18B20温度传感器和
<正>2019年8月8日—11日,由中国杜甫研究会、四川省杜甫研究中心、四川省杜甫学会、成都杜甫草堂博物馆主办的"成都杜甫草堂博物馆第二届全国硕博论坛"在成都杜甫草堂博物馆
医务社会工作是我国医疗卫生体制改革的重要部分,也是促进医疗卫生服务共享的重要内容。针对目前我国医务社会工作发展的不足,在分析医务社会工作的发展必要性及存在的困境基
企业财务管理是企业管理中的一个重要环节,加强企业财务管理是提升企业竞争力的有效措施之一。而企业财务问题时有发生,其中一部分问题是由会计人员造成的,所以加强会计人员
以P市Q社区的"为老服务"项目为个案,运用社会支持理论,在分析与确定社会支持网络状况及其需求的基础上,从工具性支持和情感性支持两方面开展社会工作服务介入社区老年人的社
<正>运输作为物流的主要功能之一,其信息化水平的高低在很大程度上影响到整个物流活动的信息化水平,进而影响到物流运作的效率与效果。提高物流运输信息化管理水平,对于企业
随着生活的提高,园林景观在生活中发挥着越来越重要的作用,雕塑在园林景观中的应用也越来越广泛,好的雕塑能够提升景观环境,起到点景或中心景观的作用,能够让景观具有更好的
本试验研究了添加不同水平碳酸钴(CoCO3,cobalt carbonate)对泌乳奶牛瘤胃发酵、生产性能及血清生化指标的影响。本试验选择36头体况、胎次、泌乳天数及产奶量相近的健康荷斯
<正>面部毛囊性红斑黑变病是一种独特的侵犯毛囊的红斑性色素沉着病,多见于青年或中年男性,常与毛周角化病合并发生。笔者在部队代职期间曾诊断1例面部毛囊性红斑黑变病合并