论文部分内容阅读
在金融、证券等传统行业中,数据库、数据仓库多使用集中硬件的物理架构,为了保障数据库系统的稳定可靠,一般多使用IBM、HP等小型机或者大型机,以及高端的海量存储。这样的架构具有管理简单,性能优良,安全性高等优点。但是也存在投入成本高,维护成本高,这些数据仓库的架构一般采用纵向扩展。为了保证数据的不丢失,一般还会创建异地数据中心,投入成本高,利用率低。由于数据量会持续增加,当纵向扩展到达目前硬件限制后,系统将会扩展性差,异地备份困难,即使增加大量系统资金投入也很难解决系统瓶颈。本文结合当前股票交易系统处理的现状,通过对系统目前存在的问题进行分析,提出以HBase数据仓库的解决方案,并且使OLTP和HBase结合使用,为用户提供服务。本文中的系统采用B/S架构进行设计,使用HBase对用户数据进行存储,Jsp和Servlet提供前台界面的展示,采用Apache提供HTTP服务,采用JEE7批处理模型对日终清算进行控制,ETL主要使用了 Goldengate用于两个Oracle数据库之间的数据实时传输,使用Sqoop将数据从Oracle同步到Hbase数据仓库。基于HBase的股票仓库系统,实现了生产数据库到Hbase数据库的准实时传输。同时实现用户股票订单查询,用户资金流水查询,股票行情,用户资产查询等功能。增加了用户资产的清算功能,用于帮助用户对自己资产变化进行分析,为用户的行为分析提供数据基础。本系统能够有效的降低股票OLTP数据库的负载,降低系统的耦合,提高系统的扩展性,当用户继续增长只需要横向扩展Hadoop和Hbase即可。