基于HBase的股票仓库系统的设计与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:scientist89
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在金融、证券等传统行业中,数据库、数据仓库多使用集中硬件的物理架构,为了保障数据库系统的稳定可靠,一般多使用IBM、HP等小型机或者大型机,以及高端的海量存储。这样的架构具有管理简单,性能优良,安全性高等优点。但是也存在投入成本高,维护成本高,这些数据仓库的架构一般采用纵向扩展。为了保证数据的不丢失,一般还会创建异地数据中心,投入成本高,利用率低。由于数据量会持续增加,当纵向扩展到达目前硬件限制后,系统将会扩展性差,异地备份困难,即使增加大量系统资金投入也很难解决系统瓶颈。本文结合当前股票交易系统处理的现状,通过对系统目前存在的问题进行分析,提出以HBase数据仓库的解决方案,并且使OLTP和HBase结合使用,为用户提供服务。本文中的系统采用B/S架构进行设计,使用HBase对用户数据进行存储,Jsp和Servlet提供前台界面的展示,采用Apache提供HTTP服务,采用JEE7批处理模型对日终清算进行控制,ETL主要使用了 Goldengate用于两个Oracle数据库之间的数据实时传输,使用Sqoop将数据从Oracle同步到Hbase数据仓库。基于HBase的股票仓库系统,实现了生产数据库到Hbase数据库的准实时传输。同时实现用户股票订单查询,用户资金流水查询,股票行情,用户资产查询等功能。增加了用户资产的清算功能,用于帮助用户对自己资产变化进行分析,为用户的行为分析提供数据基础。本系统能够有效的降低股票OLTP数据库的负载,降低系统的耦合,提高系统的扩展性,当用户继续增长只需要横向扩展Hadoop和Hbase即可。
其他文献
目的对踝关节骨折手术与康复治疗的疗效进行分析。方法资料随机选自2011年10月~2013年3月我院骨科收治的踝关节骨折患者62例,将其分为两组,对照组单纯采用手术治疗,研究组则
<正> 教学目的一、要求学生掌握下列基础知识:(一)郑和下西洋。(二)华侨对开发南洋的贡献。(三)倭寇对我国东南沿海的骚扰和戚继光的抗倭事迹。(四)明军援助朝鲜击败日本侵略
引发剂容易导致PP材料性能恶化.新型助剂DMM可以在提高材料流动性的同时维持性能的稳定并有不同程度增加.结果表明:DMM用量0.3份时材料性能最佳,并根据材料流动性的高低变化,
文章运用文献资料法等研究方法对重庆地区社会武术活动、学校武术教育、竞技武术这三个方面发展现状入手进行研究。研究结果表明:竞技武术发展不够全面、高校武术发展滞后是
基于百分位数的文献计量指标是在关于相对引用指标的讨论中提出,随后被逐渐应用于研究绩效评价。在说明百分位数指标提出背景的基础上,对其概念和类型进行简要总结和比较。详
用Si/Al比为50的β沸石分子筛作催化剂,研究乙酸和辛醇的酯化反应,考察催化剂用量、醇酸物质的量、反应时间等对乙酸辛酯的酯收率的影响;比较用不同物质改性后的β沸石催化剂
目的探讨食管癌根治术后胸内吻合口瘘发生的护理对策和体会。方法回顾性分析辉县市人民医院自2008年1月至2010年12月收治的食管癌术后吻合口瘘患者8例的临床资料。结果本组病
<正>教学内容:人教版《义务教育课程标准实验教科书·数学》四年级下册第80~81页例1、例2。教学目标:1.通过动手操作和观察比较,使学生认识三角形,知道三角形的特性及三角形高
<正>虎妞是老舍在《骆驼祥子》中塑造的一位独特的女性形象,是具有悲剧精神的主体。比起小说中的祥子、小福子、老马爷俩这些悲剧形象来,虎妞属于另一类型,更具有独立价值和
期刊